공개 벤치마크의 커버리지 문제
공간 전사체 모델의 공개 벤치마크 대다수는 폐·유방·대장에 과도하게 쏠려 있습니다 — 큐레이션된 데이터가 가장 많은 암종들이죠. 이런 벤치마크에서 좋은 점수를 받는 모델이 BD 파트너가 실제로 묻는 다른 암종에서는 무너지는 일이 흔합니다.
사내 평가 스위트
모델 릴리스마다 직교한 세 가지 지표를 추적합니다:
- 7개 암종 세포타입 AUROC — NSCLC · SCLC · BRCA · COAD · PRAD · RCC · ESCA
- 코호트 간 강건성 — 샘플 단위가 아니라 환자 코호트 전체를 hold-out 했을 때의 점수 분산
- OOD 검출 — 학습에 없던 희귀 암종에서의 flagging 정확도
PortraiTME™는 현재 NSCLC 상피세포에서 0.96, hold-out 세트에서 가장 거리가 먼 암종에서 0.88의 AUROC를 기록합니다.
앞으로
공개 벤치마크는 결국 따라옵니다. 그때까지는 사내 벤치마크가 BD 파트너에게 정직한 모델 의사결정을 제공하는 유일한 방법입니다.
