왜 멀티모달 모델인가
암세포는 모달리티마다 서로 다른 흔적을 남깁니다 — H&E의 이미지 텍스처, 공간 전사체의 유전자 발현, 병리 보고서의 임상 컨텍스트. 한 모달리티만으로 학습된 모델은 다른 두 모달리티가 잡았어야 할 신호를 계속 놓칩니다.
VGL (Vision · Gene · Language)은 이 세 가지를 한 모델에서 함께 보게 만든 우리의 시도입니다.
아키텍처
세 가지 모달리티별 인코더가 공유 latent 공간으로 투영되며, cross-attention 레이어로 서로 엮입니다. 전체는 이미지·발현·보고서가 모두 정렬된 조직 영역에서 end-to-end로 학습됩니다.
우리에게 주는 것
- 이미지 단독·유전자 단독·이미지+유전자 쿼리를 모두 다루는 단일 임베딩 공간
- 7개 암종에서의 세포 타입 분류 zero-shot 강건성
- 다운스트림 모델(타겟 우선순위·약물 분포 예측)에 그대로 꽂히는 feature
VGL은 PortraiTARGET·PortraiTME™ 양쪽을 떠받치는 엔진 중 하나이며, 다음 버전은 mass-cytometry와 단세포 모달리티로 확장됩니다.
