Grabette: революция в сборе данных для обучения роботов

Современная робототехника столкнулась с критической проблемой нехватки данных. Несмотря на наличие передовых архитектур для обучения моделей — от VLA-трансформеров и диффузионных политик до алгоритмов сопоставления потоков (flow-matching) и моделей мира — индустрии катастрофически не хватает разнообразных, качественных данных о манипуляциях, полученных в реальных условиях. Традиционная телеоперация остается крайне дорогостоящим и трудоемким процессом: она требует наличия самого робота, а использование специфических методов сбора данных может быть утомительным для оператора, отнимать долгие часы и создавать существенные логистические и аппаратные сложности. Масштабировать такой подход для охвата огромного спектра задач и сред, необходимых для создания универсальных систем, практически невозможно.

Однако для сбора робототехнических данных вам больше не нужен сам робот. Достаточно человеческой руки, устройства захвата, камеры и способа восстановления 6-степенной (6-DoF) траектории движений. Если вы зафиксировали демонстрацию, у вас появились данные, на которых робот может учиться. Именно эту задачу решает Grabette — открытая и доступная система для записи манипуляционных данных, которую мы представляем сегодня. Просто возьмите устройство, запишите выполнение задачи собственной рукой и получите готовый, «чистый» датасет, пригодный для обучения роботов. Никаких роботов, никаких лабораторий, никакой сложной оснастки для телеоперации. Глобальная цель проекта амбициозна: сделать запись демонстрации столь же простой, как съемка видео, чтобы каждый мог внести свой вклад. Мы хотим превратить Grabette в фундамент для создания огромного, открытого и коллективного набора данных о манипуляциях, который ни одна лаборатория не смогла бы собрать в одиночку.

Философия открытого доступа и наследие UMI

Grabette напрямую вдохновлен проектом Universal Manipulation Interface (UMI) от Стэнфордского университета, который доказал работоспособность концепции ручного захвата с широкоугольной камерой типа «рыбий глаз» для записи демонстраций в «полевых» условиях, последующего восстановления траекторий через SLAM и обучения визомоторных политик. Хотя на рынке уже существуют закрытые решения, такие как MEgo от Agibot, DAS от Genrobot или специализированная перчатка от Sunday Robotics, нашей целью было создание максимально доступного инструмента. Мы стремились снизить барьер между состоянием «у меня есть задача» и «у меня есть обученная модель» до минимума.

Grabette идеально вписывается в современную экосистему открытого ПО: интеграция с LeRobot для работы с данными, использование Hugging Face Hub для обмена результатами и облачный конвейер обработки, запускаемый прямо из браузера без необходимости установки дополнительного софта. Система спроектирована так, чтобы её мог собрать каждый на обычном верстаке, использовать в реальных условиях и загружать данные для общего блага. Мы развивали Grabette несколько месяцев и теперь рады поделиться этой разработкой с сообществом.

Техническое устройство и аппаратная независимость

Grabette представляет собой портативный захват, оснащенный всем необходимым для полноценной реконструкции манипуляций. Устройство несет на себе две камеры, каждая из которых выполняет свою критически важную роль. Это разделение функций преднамеренно: доступная широкоугольная камера типа «рыбий глаз» обеспечивает контекстную визуализацию, необходимую для политики обучения (аналог запястной камеры робота), в то время как RGBD-камера берет на себя наиболее тяжелую часть работы — надежное отслеживание 6-DoF траектории. Пока пользователь записывает данные с помощью Grabette, его «роботизированный близнец» по имени Gripette (роботизированный эффектор) используется для физического выполнения движений после завершения обучения. Эти устройства имеют общую «аппаратную ДНК».

Проект построен на принципах абсолютной открытости:

• Компоненты: использование стандартных датчиков, доступных для свободной покупки — Raspberry Pi, стандартная Pi Camera, камера глубины OAK-D, магнитные энкодеры. Никаких закрытых пайплайнов или «привязки» к вендору.
• Робото-агностичность: ни формат данных, ни процесс захвата не предполагают использования конкретной модели манипулятора. Демонстрации сохраняются в виде локальных 6-DoF декартовых координат относительно камеры плюс состояние захвата.
• Универсальность: полученный результат — это стандартный датасет LeRobot, который можно использовать для различных типов роботов и алгоритмов обучения.

Релиз позволяет пользователю пройти путь от «хочу продемонстрировать задачу» до «имею датасет, готовый для обучения» быстро и без глубоких экспертных знаний. Система использует единый тактовый сигнал для синхронизации данных с камер (цвет, глубина, IMU) и энкодеров захвата. Управление предельно простое: нажали кнопку — начали запись, нажали снова — остановили и сохранили на Raspberry Pi. Через браузерный дашборд Grabette можно выбрать нужные эпизоды для создания датасета и запустить постобработку одним кликом.

Будущее проекта и призыв к участию

Датасет ценен лишь тогда, когда он реально обучает. Чтобы продемонстрировать цикл работы от начала до конца, мы включили полный пример использования, включающий 200 записанных демонстраций. Важно понимать: наш релиз — это система для сбора данных, а примеры лишь иллюстрируют её возможности. Ваши данные Grabette будут работать с любым методом, поддерживающим формат LeRobot. Проблема дефицита данных не может быть решена усилиями одной лаборатории — она требует вклада огромного сообщества. Вы можете помочь в создании этого массива: соберите собственный экземпляр Grabette, запишите интересующие вас задачи и поделитесь ими на Hugging Face Hub. Каждый эпизод делает открытый датасет масштабнее и разнообразнее, а каждый вкладчик помогает сделать робототехнику менее зависимой от дорогостоящего проприетарного оборудования.

Этот выпуск — только начало. Grabette продолжит развиваться. Мы уже готовим к выходу «Casquette» — наголовное устройство для захвата демонстраций с точки зрения от первого лица (проект пока в стадии разработки). Однако самый важный следующий шаг зависит не только от нас, но и от вас: начните записывать, и давайте построим этот датасет вместе. Мы призываем всех присоединиться к проекту на GitHub, использовать наше пространство на Hugging Face и вносить свой вклад в общее развитие робототехники.

Источник: huggingface.co