NVIDIA выпустила Cosmos3-H-Dreams: генеративную модель мира для роботизированной хирургии

Компания NVIDIA представила специализированную разработку в области машинного обучения для медицины — генеративная модель Cosmos3-H-Dreams для хирургии стала интерактивной системой симуляции на базе видеоряда, обученной на записях реальных клинических операций холецистэктомии. Архитектура способна воспроизводить отклик операционного поля в режиме реального времени, опираясь на физические команды кинематики хирургического робота.

Новая генеративная модель Cosmos3-H-Dreams функционирует на базе стека Cosmos 3 и оптимизирована с помощью библиотеки потокового вывода FlashDreams. По данным разработчиков, система поддерживает интерактивное управление с минимальной задержкой на базе одной рабочей станции с графическим ускорителем NVIDIA RTX PRO 6000. Веса модели и сопутствующий исходный код опубликованы на платформах Hugging Face и GitHub под лицензией NVIDIA Open Model License, разрешающей как исследовательское, так и коммерческое применение. К целевым сценариям использования относятся тестирование алгоритмов автономной роботизированной хирургии, интерактивное исследование виртуальной среды через телеуправление и синтез аугментированных данных для обучения прикладных медицинских алгоритмов.

От настольной симуляции швов к сложным клиническим условиям

Проект Cosmos3-H-Dreams стал прямым развитием предшествующей модели Cosmos-H-Dreams, которая базировалась на архитектуре Cosmos-Predict2.5 и ориентировалась на симуляцию базового наложения швов на настольном комплексе dVRK. Базовый принцип моделей мира такого класса заключается в том, что нейросеть обучается визуальной динамике напрямую по синхронизированному видеоряду и кинематическим показателям манипуляторов, не прибегая к явному расчету трехмерной геометрии сцены, физики деформации тканей и контактного взаимодействия.

С выходом Cosmos3-H-Dreams этот подход был перенесен в контекст реальных полостных операций. В клинических условиях моделирование существенно усложняется: ткани растягиваются и смещаются под воздействием инструментов, блики от операционного освещения меняют форму, анатомические структуры перекрывают друг друга, а электрохирургический дым снижает видимость. Кроме того, в процессе длительной интерактивной симуляции даже незначительные ошибки генерации могут накапливаться, приводя к искажению геометрии инструментов или анатомии органов, что требовало принципиально иных подходов к стабильности вывода.

Архитектура Mixture-of-Transformers и процесс дистилляции

Фундаментом для системы послужила открытая модель Cosmos3-H-Embodied-Nano объемом 16 миллиардов параметров, предварительно натренированная на масштабном массиве манипуляционных данных Open-H-Embodiment. Для создания хирургической системы двунаправленная модель-учитель была адаптирована под видео и кинематику роботизированной холецистэктомии. Итоговый объем Cosmos3-H-Dreams составляет около 15,17 миллиарда параметров.

В основе системы лежит архитектура Mixture-of-Transformers, в которой модуль рассуждений на базе Qwen3-VL-8B-Instruct объединен с экспертом латентной диффузии. Обработка данных происходит в латентном пространстве VAE-модели Wan2.2, дополненном специализированными слоями эмбеддинга действий для кинематического кондиционирования. Вектор управления включает 28 измерений на каждый шаг времени — по 14 параметров на каждый манипулятор:

• трехмерное перемещение инструмента относительно опорной точки;
• параметры ориентации в пространстве (6D-ротация);
• положение и степень раскрытия браншей;
• активация коагуляционной электрохирургической энергии;
• нажатие аппаратной кнопки на джойстике и координаты отклонения мини-джойстика.

Для интеграции робота Versius управляющий интерфейс был расширен с исходных 20 измерений до 28, при этом предварительно обученные веса для позиционирования и захвата сохранились, а новые каналы управления были инициализированы нулями. Обучение велось на кадрах с разрешением 832 на 480 точек при частоте управляющих сигналов 10 Гц.

Процесс подготовки интерактивной модели включал несколько этапов. Сначала двунаправленный учитель дообучался на горизонте предсказания в 24 будущих кадра в течение 2000 итераций, а затем — на горизонте в 72 кадра (7,2 секунды при 10 Гц) на протяжении 4400 шагов. Учитель требовал 35 шагов сэмплирования диффузии для генерации сцены, что исключало работу в реальном времени. Для ускорения была проведена дистилляция в блок-причинную (block-causal) модель-ученик: первые 1000 итераций выполнялись методом causal teacher forcing, после чего следовали 300 итераций по методике Self-Forcing с сопоставлением распределений относительно зафиксированного учителя.

Итоговая модель-ученик формирует видеоряд авторегрессионным способом с использованием кэша ключей и значений (KV-cache) всего за четыре шага шумоподавления на каждый латентный кадр. При этом каждый латентный шаг принимает четыре последовательных вектора действий (0,4 секунды при 10 Гц) и генерирует четыре видеокадра, что обеспечивает непрерывную потоковую трансляцию. Дополнительно выпущен отдельный чекпоинт с двумя шагами шумоподавления. Он обучался независимо и обеспечивает повышенную кадровую частоту при некотором снижении визуальной детализации. Для предотвращения разрастания памяти во время непрерывных сессий симуляции потоковый конвейер FlashDreams задействует модуль FadeMem, сжимающий накопленный KV-кэш.

Обучающая выборка и валидация на отложенных данных

Для тонкой настройки архитектуры использовались внутренние записи клинических операций холецистэктомии, выполненных хирургами на роботизированной системе CMR Surgical Versius. Исходный массив насчитывал 4792 эпизода общей продолжительностью около 17 миллионов кадров с исходной частотой 60 Гц в разрешении 1080p, которые для задач обучения были приведены к частоте 10 Гц. Действия оператора извлекались из аппаратной телеметрии робота, а факт присутствия инструментов в кадре размечался вручную.

К обучающим сэмплам предъявлялись строгие критерии фильтрации: в анализируемое окно включались только те фрагменты, где на всем протяжении непрерывно присутствовали и активно работали ровно два инструмента — граспер Cadiere на левом манипуляторе и монополярный крючок на правом. Отрезки, сопровождавшиеся активным перемещением эндоскопической камеры выше установленного порога, исключались из набора данных.

Итоговый тренировочный массив включил 64 записи общей длительностью около 526 минут уникального видео (183 528 окон для горизонта в 24 кадра и 436 минут на 106 820 окон для 72-кадрового горизонта). Разделение на обучающую и валидационную части производилось на уровне целых процедур: 98% времени вошло в тренировочную выборку, а 2% было зарезервировано для тестов.

Отложенная контрольная панель состояла из 10 записей общей длительностью 10,6 минуты (примерно 6400 кадров при 10 Гц). Тестовый бенчмарк включал 48 тестов на качество отображения, 12 сценариев оценки кинематического контроля, серии тестов на вращение инструментов на углы до 15 градусов и непрерывные сессии симуляции продолжительностью 30,4 секунды. Данные представляли собой исключительно внутрибрюшной эндоскопический обзор без идентификационных признаков пациентов, текстовых пометок или звуковых дорожек.

Производительность, системные требования и открытый код

Согласно опубликованным тестам, скорость работы модели зависит от целевой аппаратной конфигурации и числа шагов диффузии:

• NVIDIA RTX PRO 6000 Blackwell Workstation Edition: 30 кадров в секунду при четырех шагах диффузии и 43,2 кадра в секунду при двух шагах в разрешении 832×480;
• Версия Max-Q: 20,2 и 31,2 кадра в секунду соответственно при аналогичном разрешении;
• Система DGX Spark: 16,9 кадра в секунду в облегченном разрешении 512×288 точек;
• NVIDIA Hopper H100: поддерживается для выполнения вычислений и обучения.

Основными микроархитектурами для запуска названы NVIDIA Blackwell и Hopper под управлением операционных систем семейства Linux. Обучение и вывод выполнялись в смешанной точности BF16, а экспорт весовых коэффициентов доступен в формате FP32.

Репозиторий проекта на GitHub распространяется под лицензией Apache-2.0. Кодовая база поддерживает как автономный рендеринг ранее записанных траекторий инструментов в видеофайлы MP4, так и интерактивное управление с использованием гарнитур с поддержкой WebXR и пары контроллеров с пространственным трекингом. Для локального запуска требуются дистрибутив Linux, видеокарта с поддержкой CUDA и более 32 ГБ видеопамяти при стандартном разрешении 832×480, интерпретатор Python 3.12 и менеджер пакетов uv.

Вместе с моделью разработчики опубликовали руководство по адаптации и дообучению учителя вместе с дистилляцией Self-Forcing, что дает возможность переносить архитектуру на другие медицинские манипуляторы и датасеты при условии точной синхронизации видеопотока и совпадения форматов нормализации управляющих сигналов.

Текущие ограничения модели Cosmos3-H-Dreams и направления исследований

В описании разработки подчеркивается, что визуальная правдоподобность сцены является лишь начальным критерием валидации, но не гарантирует абсолютной биомеханической достоверности симуляции. Если виртуальная среда визуально реалистична, но не реагирует с высокой точностью на физические команды оператора, она непригодна для интерактивной отработки медицинских навыков.

Компания обозначила ключевые направления для дальнейшей работы над системой:

• моделирование полного цикла холецистэктомии с фиксацией промежуточных этапов и критериев успешности вмешательства;
• гибридизация генеративных визуальных моделей с классическими физико-математическими симуляторами;
• проведение масштабных слепых тестов с участием практикующих хирургов;
• расширение перечня поддерживаемых хирургических инструментов и манипуляторов;
• обучение и валидация автономных управляющих алгоритмов в замкнутом контуре с симулятором.

Разработчики отмечают, что текущая версия Cosmos3-H-Dreams выступает исключительно исследовательским инструментом и не имеет сертификации для применения в клинической практике или непосредственного оказания помощи пациентам.