Новий крок у діагностиці раку: PRISM2 від Paige та Microsoft
Розроблений спільними зусиллями Paige та Microsoft, PRISM2 став революційним інструментом у світі медичної діагностики. Використовуючи унікальну архітектуру на базі кодера-перспективника, він аналізує цілісні зображення слайдів, тренуючи алгоритм на тканинних тайлах та клінічних бесідах, які отримані з патологоанатомічних звітів. Особливістю PRISM2 є його здатність генерувати текстові відповіді на діагностичні питання, а не просто класифікувати пікселі.
Базове навчання моделі здійснювалось на 2.3 мільйонах цілісних зображень слайдів. Діалогове навчання проводилось з використанням 685,507 звітів, зібраних Memorial Sloan Kettering Cancer Center, які GPT-4o перетворював на пари запитань-відповідей. Архітектура включає два етапи: перший етап навчає кодер слайдів агрегації ознак, другий—зосереджується на вдосконаленні мовної моделі.
PRISM2 пропонує два типи ембеддингів. Базові ембеддинги створені на основі кодера слайдів і використовуються у завданнях передбачення біомаркерів. Діагностичні ембеддинги отримані завдяки підхованому стану мовної моделі на 4 мільярди параметрів, спеціально налаштованої для виявлення та підтипування ракових захворювань.
Модель демонструє видатну продуктивність, перевершуючи клінічні стандарти для виявлення раку простати та молочної залози, досягаючи 0.967 AUC у завданнях виявлення раку. Однак, показники підкреслюють важливість додаткової валідації, враховуючи що всі слайди, використані під час навчання та оцінювання, були скановані MSK. Для розгортання моделі команди можуть тестувати її ембеддинги з власними даними, хоча повна інфраструктура залишається частково закритою.
