AGIBOT выпустила набор данных Physical Reasoning для обучения роботов логике действий

Современный робот может безупречно захватить предмет, но при этом ошибиться в базовой задаче пополнению мини-бара, если не понимает контекста ситуации. Для устранения этого пробела был представлен новый набор данных Physical Reasoning, нацеленный на развитие пространственного и логического мышления у автономных систем в рамках проекта AGIBOT WORLD 2026.

Платформа призвана связать воедино общую цель задачи, изменяющиеся условия окружающей среды, историю выполненных шагов и реальные физические движения манипуляторов. Главная идея заключается в сборе разнообразных маршрутов достижения одной и той же цели, что позволяет обучать роботов адаптировать свои решения по ходу выполнения работы.

Одна цель и несколько правильных последовательностей действий

Четвертый релиз смещает акцент в проектировании задач со сложных механических движений на принятие интеллектуальных решений. Вместо простой записи фиксированных последовательностей разработчики варьируют количество объектов, наличие преград, доступное пространство и текущий прогресс выполнения.

На примере обслуживания мини-бара для достижения целевого показателя в три полные бутылки требуется сначала определить пустые емкости, подсчитать уже имеющиеся на месте полноценные образцы, а затем решить, что именно нужно убрать и добавить. Успешный захват является лишь частью работы, так как машине необходима внутренняя модель желаемого конечного состояния для сравнения с текущей реальностью.

Другой сценарий связан с извлечением ключа, спрятанного за коробкой. Прямой захват срабатывает при наличии достаточного свободного пространства, но если предмет загорожен, его предварительное смещение становится обязательным условием. Поиск в выдвижных ящиках порождает проблему памяти, поскольку одно лишь статичное изображение с камеры не позволяет системе понять, какие отделения уже проверялись ранее.

Подобные примеры подчеркивают главную практическую сложность в области физического искусственного интеллекта. Политика, слепо копирующая видимые движения эксперта, способна принять неверное решение при отсутствии контекста. Варьируя условия вокруг общей цели, датасет делает такие зависимости доступными для полноценного обучения моделей.

Девять базовых способностей с нарастающей сложностью

Создатели структурировали релиз вокруг девяти ключевых навыков: отбора объектов по атрибутам, выбора с учетом контекста, оценки осуществимости манипуляций, анализа предпосылок для действий, целенаправленного поиска, отслеживания состояний и количеств, долгосрочного планирования, сохранения памяти и упорядочивания подзадач.

В повседневной деятельности эти способности тесно переплетаются. Пополнение запасов требует распознавания, подсчета и контроля прогресса, а поиск предмета объединяет поисковую стратегию с историей предыдущих попыток. Длинные бытовые сценарии задействуют сразу несколько подобных суждений последовательно, где каждое последующее действие меняет стартовые условия для следующего шага.

Все задачи разделены на три категории сложности: простую, среднюю и сложную. Простые сценарии охватывают единичные суждения выбора, тогда как ограничения по количеству и предварительные условия добавляют комплексности. Итоговая структура помогает исследователям изучать изолированные навыки перед их совместным тестированием.

Дополнительно в материал включены аннотации результатов выполнения, включая выбор предметов, точность размещения и достижение требуемого объема. Наличие как успешных, так и ошибочных примеров поддерживает исследования в области распознавания отклонений и корректировки последующих решений робота.

Связывание текстовых инструкций с физическими действиями

Техническая ценность датасета заключается в том, как именно аннотации соединяют различные уровни задачи. Высокоуровневая инструкция задает общую цель, а кадры задач, сегменты подзадач и конкретные шаги описывают ее структурный прогресс. Исследователи могут использовать эти связи для определения активной подзадачи.

На уровне движений аннотации Dense Prompt детализируют целевой объект, зону манипуляций, роли обеих рук, траекторию, состояние захвата и ожидаемый результат. Ограничивающие рамки, точки и линии траектории связывают язык с конкретными координатами пространства, предоставляя обучаемой системе более четкие ориентиры.

В репозитории также описываются успешные и состязательные сегменты для отсеивания отвлекающих факторов и проверки результатов. Такие примеры помогают формулировать вопросы о том, был ли выбран правильный объект и завершен ли запрошенный шаг.

Подобные аннотации созданы для поддержки обучения, объединяющего модель принятия решений с политикой действий. Модель выбора подзадачи определяет цель, манипулятор выполняет операцию, а изменившееся состояние среды формирует вводные данные для следующего шага.

Интеграция релиза в робототехническую платформу AGIBOT

Общий репозиторий проекта описывает реальные данные, собранные на аппаратной платформе G2. Задокументированный формат следует стандартам LeRobot, включая данные эпизодов, метаданные и раздельные видеопотоки с камер на голове и запястьях робота.

Продуктовая страница аппаратного обеспечения позиционирует устройство для задач воплощенного интеллекта и манипуляций с силовым управлением. Четвертый релиз расширяет инфраструктуру данных, затрагивая уровень принятия решений и рабочей памяти робота.

Для репозитория заявлена лицензия Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Условие некоммерческого использования выступает важным фактором для разработчиков, рассматривающих возможность внедрения данных в коммерческие конечные продукты.

Перспективы применения физического рассуждения

В сфере гостеприимства, бытовых услуг и розничной торговли востребованы роботы, способные достигать результатов в меняющихся условиях внешней среды. Наведение порядка на столе или пополнение полок магазина требуют постоянного контроля текущей обстановки и оценки необходимости дальнейших действий.

Новый релиз предоставляет учебный материал именно для таких сценариев, хотя наличие датасета автоматически не гарантирует безупречную работу конкретных моделей в незнакомой обстановке. По заявлениям представителей компании, эти данные уже легли в основу нового агентского каркаса и базовой модели следующего поколения.

Главный сдвиг заключается в обучении роботов пониманию взаимосвязей между поставленной целью, текущей обстановкой и последствиями предыдущих шагов. Исследователи могут детально изучить этот подход через проект AGIBOT WORLD и связанные с ним ресурсы.