Мой блог
Медицинская система MAI-DxO от Microsoft превзошла врачей в диагностике
В научном издании Science была опубликована рецензируемая работа, посвященная диагностической системе MAI-DxO от компании Microsoft. Авторы материала рассматривают результаты тестирования модели в рамках специализированного бенчмарка последовательной диагностики, где ИИ продемонстрировал более высокую точность по сравнению с практикующими врачами общей практики при работе со сложными клиническими случаями.
Исследование затрагивает вопросы моделирования поэтапного сбора анамнеза, оценки стоимости медицинских тестов и сравнения результатов работы алгоритмов с возможностями специалистов. Ниже подробно разобраны методология бенчмарка, ключевые показатели точности, ограничения проекта и планы разработчиков по открытию кода.
Бенчмарк для пошаговой диагностики SDBench
Для оценки возможностей искусственного интеллекта исследователи разработали специальный бенчмарк Sequential Diagnosis Benchmark, получивший сокращенное название SDBench. Данный инструмент преобразует 304 клинико-патологических описания из New England Journal of Medicine, а также 325 случаев госпитализации из отделения неотложной помощи на основе датасета MIMIC-IV-ED в интерактивные пошаговые сценарии. Каждый эпизод начинается с короткой медицинской выписки, после чего алгоритм или врач могут запрашивать данные осмотра, назначать обследования или выносить окончательное заключение.
Вспомогательные агенты и оценка стоимости
Для структурирования каждого испытания в архитектуру заложены два вспомогательных агента. Агент Gatekeeper проверяет любой запрос информации по исходной медицинской карте и формирует нейтральные синтетические результаты при отсутствии нужных данных, чтобы пропуски не подсказывали правильный ответ. В свою очередь, агент Judge оценивает итоговый диагноз по специальной шкале, разработанной врачами, где баллы 4 и 5 означают корректность назначения без изменения тактики лечения.
Расчет стоимости тестов производился на основе стандартных тарифов CPT, а вопросы по истории болезни и осмотру фиксировались в виде стандартного визита к врачу. Сама система MAI-DxO представляет собой модельную оркестровку, которая имитирует коллегию экспертов с различными ролями, применяет принципы экономически взвешенного назначения тестов на каждом шаге и агрегирует выводы по итогам нескольких независимых запусков.
Результаты тестирования на клинических кейсах
В ходе испытаний на материалах из журнала New England Journal of Medicine конфигурация системы на базе GPT-5 без ограничения бюджета показала точность на уровне 83,2% при среднем значении затрат 5431 доллар на один случай. Бюджетно-ограниченные варианты продемонстрировали 80,9% точности при расходах 2241 доллар и 79,6% при 1303 долларах. Конфигурация, ориентированная на максимальное качество, достигла 84,5% правильных ответов при стоимости 8945 долларов.
Сравнение с результатами врачей общей практики
В сопутствующем исследовании с участием врачей общая точность специалистов составила 22,3% без использования справочных материалов и 36,1% в режиме открытого доступа к литературе и сети интернет. При этом авторы зафиксировали разницу в тактике работы: врачи в среднем задавали 5,6 вопросов перед назначением первого исследования, тогда как конфигурация с GPT-5 выполняла около 25,5 запросов, реализуя детальный структурированный сбор анамнеза.
На пациентах отделений неотложной помощи система без ограничений по бюджету набрала 80,3% точности, тогда как врачи общей практики в среднем показали 46,8%. Оркестровка с помощью DxO повысила общую диагностическую точность в среднем на несколько процентных пунктов на всех протестированных базовых моделях без изменения исходных подсказок.
Ограничения исследования и авторские раскрытия
Авторы работы подчеркивают, что проведенные сравнения не свидетельствуют о превосходстве искусственного интеллекта над узкими специалистами, междисциплинарными командами или реальной клинической практикой. Разрыв в показателях неизменно сокращается при сопоставлении с экспертами. Кроме того, лабораторные симуляции не учитывают неопределенность реальной истории болезни, особенности коммуникации с пациентом и мультимодальные данные вроде медицинских изображений.
В блоке раскрытия информации указано, что все авторы являются сотрудниками компании Microsoft и владеют ее акциями. Часть исследователей зарегистрирована в качестве авторов патентных заявок на автоматизированные методологии оценки последовательной диагностики, а внешнее финансирование для проведения работы не привлекалось.
Открытый код и медицинские партнерства
Представители компании объявили об открытии исходного кода SDBench на платформе GitHub под лицензией MIT для части случаев из медицинского журнала. В репозиторий вошли компоненты бенчмарка, модули Gatekeeper, Judge и алгоритмы оценки затрат. Датасеты требуют соблюдения лицензионных условий профильных организаций, а в качестве базового набора поставляются пять полностью синтетических примеров.
В рамках партнерства с бостонским медицинским центром Beth Israel Deaconess компания планирует оценивать клинические рассуждения алгоритмов в реальных больничных условиях. Проспективное исследование предполагает взаимодействие пациентов с системой напрямую с последующим сравнением результатов с независимыми оценками врачей.
