Мой блог
Odyssey-3: мировая модель, которая учит роботов физике по видео
Развитие современных нейросетей движется в сторону создания систем, способных не просто генерировать контент, но и понимать законы реального физического мира. Именно такую задачу решает компания Odyssey, представившая универсальную обучаемую систему Odyssey-3 для симуляции физических процессов и управления робототехникой.
В этой публикации рассматриваются архитектура модели, особенности её обучения на разнообразных визуальных данных, результаты бенчмарков и возможности практического применения в автономных системах.
Что такое мировая модель
Большие языковые модели специализируются на прогнозировании следующего текстового токена. В свою очередь, мировая модель предсказывает следующее состояние окружающей среды: она анализирует предысторию, учитывает внешнее воздействие (например, шаг вперед или поворот руля) и рассчитывает дальнейшее развитие ситуации.
Разработчики характеризуют Odyssey-3 как динамическую систему, способную моделировать перемещение объектов, их пространственное взаимодействие и эволюцию сценариев во времени. Базовые знания о физике, динамике и причинно-следственных связях извлекаются из обширных массивов визуальных наблюдений. Полученная основа применяется как интерактивный симулятор окружения или как фундамент для настройки управляющих политик различных устройств.
Кто за этим стоит
Основатели компании Odyssey Оливер Кэмерон и Джефф Хоук около десяти лет работали в сфере беспилотного транспорта. Их подход строится на концепции, согласно которой для принятия решений автономной машине необходимо точно прогнозировать обстановку вокруг себя. Проект был запущен в 2023 году с целью перенести этот принцип за рамки автомобильных дорог.
Авторы технологии указывают на фундаментальное ограничение робототехники, которая долгое время развивалась через создание узкоспециализированных систем под конкретные задачи. Такой подход требует колоссальных объемов специализированных датасетов. Человек же накапливает интуитивное понимание физических законов и последствий столкновений с раннего возраста путем пассивного наблюдения за миром, что позволяет ему быстрее адаптироваться к новым инструментам.
Как устроена модель
Техническая база Odyssey-3 построена на базе авторегрессионного диффузионного трансформера. Архитектура и процесс подготовки модели включают несколько ключевых этапов.
Обучающие данные
Для тренировки системы используется комбинированная выборка из трех основных источников:
- Интернет-видеоматериалы с временной разметкой и верифицированными событиями.
- Записи игрового процесса с синхронизированными действиями мыши и клавиатуры.
- Симуляции взаимодействия твердых тел, снабженные детальными метаданными.
Первая категория данных обеспечивает общий охват закономерностей, вторая связывает действия с их последствиями, а третья предоставляет точную физическую основу.
Обучение и дистилляция
На первом этапе создается многошаговый видео-диффузионный трансформер, принимающий промпты и временные управляющие сигналы. Затем модель переводится в авторегрессионный режим с использованием механизмов teacher forcing и каузальных масок, исключающих заглядывание в будущее.
Поскольку стандартные диффузионные алгоритмы требуют много шагов на кадр, для работы в реальном времени была применена процедура посттренинга, объединяющая distribution-matching и adversarial distillation. Это позволило создать облегченную версию модели для интерактивного превью в браузере.
Варианты поставок
Линейка включает две основные конфигурации: базовую Odyssey-3 с разрешением 480p и старшую Odyssey-3 Pro с разрешением 720p. Пользователи превью могут перемещаться по сгенерированному виртуальному пространству, управлять камерой и внедрять динамические события в процесс генерации.
Физика: рекорд с оговоркой
Оценка возможностей модели проводилась на бенчмарке Physics-IQ Verified, созданном Anates Labs и DeepMind. Системе демонстрируют фрагмент реального физического эксперимента из области оптики, механики или термодинамики и оценивают корректность его продолжения.
Лучшие показатели старшей версии получены в режиме best-of-8, когда результат выбирается из восьми попыток. Без этого условия показатели оказываются скромнее, хотя и сохраняют высокие значения. Разработчики также оценивают экономическую эффективность генерации, рассчитывая затраты на основе условной стоимости машинного времени графических ускорителей.
Миры, в которых хочется жить
Тестирование в рамках бенчмарка WorldMark охватывает качество следования управлению, визуальные характеристики и сохранение памяти о среде. Оценка производилась по тринадцати метрикам на внутренних запусках компании.
В некоторых категориях решения Odyssey занимают лидирующие позиции, в то время как в других уступают альтернативным разработкам. Представители компании отмечают, что данные метрики отражают лишь отдельные свойства сгенерированных сред, поэтому для конкретных физических применений требуется дополнительная проверка.
От картинки к железу
Практическое применение мировой модели заключается в её использовании в качестве интеллектуального ядра для различных устройств. Замороженная базовая сеть дополняется небольшим обучаемым модулем, который переводит внутренние представления в управляющие команды.
Робототехника и манипуляторы
Используя небольшие объемы демонстрационных данных, роботы выполняют бытовые задачи вроде пересыпания предметов или закрытия коробок. В ходе работы фиксируется способность системы к корректировке захвата при промахах без предварительного обучения на неудачных попытках.
Гуманоиды и транспорт
На базе Odyssey-3 создаются политики управления человекоподобными роботами, демонстрирующие устойчивость к изменениям освещения. Автономные автомобили, обученные на симулированных данных, способны передвигаться по заданным маршрутам, а навигационные системы дронов обеспечивают облет препятствий в закрытых помещениях.
Мир как тренажёр для других ИИ
Генерация виртуальных сред позволяет использовать их в качестве полигона для тренировки других автономных агентов. В рамках концепции рекурсивного обучения агенты выявляют слабые места модели, способствуя её совершенствованию, а симуляции используются для безопасной отработки сложных сценариев поведения.
Скептический взгляд
Несмотря на высокие результаты в тестах, эксперты указывают на необходимость критической оценки анонсов. Рекордные показатели достигаются за счет выбора лучших попыток, а часть оценок получена разработчиками самостоятельно. Кроме того, физическая точность видеоряда не всегда гарантирует эффективность реального управления, а многие демонстрационные тесты выполнены в симуляторах. На момент публикации открытая документация по API и публичные тарифы не были представлены.
Итоги
Появление систем вроде Odyssey-3 отражает стремление создать единую предобученную базу для физического мира по аналогии с языковыми моделями. Проект демонстрирует технологические достижения в области генерации динамических сред, однако их реальная эффективность в условиях непредсказуемой физической среды еще требует подтверждения.
