Инструмент Grabette и проблема сбора данных для робототехники

В сфере робототехники сегодня наблюдается своеобразный дефицит ресурсов. В распоряжении исследователей имеются мощные и способные архитектуры политик управления, среди которых можно выделить визуально-языково-агентные системы на базе трансформеров, диффузионные алгоритмы, методы сопоставления потоков и даже передовые модели мира, а также производительные графические процессоры, необходимые для их полноценного обучения. Однако главной нехваткой остается массивный, разнообразный объем реальных данных манипуляции. Традиционное телеуправление роботом с целью сбора таких сведений может оказаться чрезмерно дорогим и трудоемким процессом: во-первых, для этого в принципе требуется сам робот. В зависимости от выбранного метода операторского контроля процедура сбора данных способна быстро утомить пользователя, если на выполнение задач уходят целые часы, а также повлечь за собой серьезные аппаратные и логистические сложности. Масштабировать такой подход под колоссальное разнообразие повседневных задач и условий окружающей среды крайне проблематично.

Концепция ручного сбора информации без использования робота

Тем не менее, для накопления информации о работе роботов вовсе необязательно задействовать физическое устройство. Вполне достаточно человеческой руки, простого захвата, камеры и эффективного способа восстановления траектории движения руки в шести степенях свободы (6-DoF). Стоит лишь зафиксировать демонстрационный процесс, и в руках оказывается готовый массив информации, на котором сможет обучаться искусственный интеллект робота. Именно такое решение разработчики представили под названием Grabette — открытую и бюджетную систему для записи манипуляционных данных. Достаточно взять устройство в руку, записать выполнение задачи собственными руками и на выходе получить чистый набор данных, полностью подготовленный для обучения робототехники. Никаких дорогостоящих роботов, специализированных лабораторий или громоздких пультов телеуправления.

В этом и заключается главная стратегическая цель: если процесс записи демонстрации станет таким же элементарным, как съемка обычного видеоролика, свой вклад сможет внести абсолютно каждый человек. Авторы проекта рассчитывают, что Grabette послужит основой для формирования масштабного, открытого и совместного массива данных о манипуляциях, создать который силами лишь одной отдельной исследовательской лаборатории просто невозможно. Идейным вдохновителем для разработки послужила Универсальная интерфейсная система манипуляций (UMI), созданная специалистами из Стэнфорда. UMI представляет собой ручной захват с широкоугольной камерой «рыбий глаз», которая фиксирует демонстрации в реальных условиях, восстанавливает траектории движения камер при помощи алгоритмов одновременной локализации и картирования (SLAM) и успешно обучает на этих данных визуально-моторные стратегии. Проект UMI наглядно доказал жизнеспособность такого подхода.

Экосистема и сравнение с существующими аналогами

На рынке существуют и другие устройства, в основном закрытые коммерческие продукты, такие как захват MEgo от компании Agibot, захват DAS разработки Genrobot, а также перчатка для захвата навыков от Sunday Robotics. Приоритетом разработчиков Grabette было стремление сделать технологию предельно простой в применении, чтобы максимально сократить путь от идеи «у меня есть задача» до результата «у меня есть обученная модель». Устройство органично вписано в современную открытую экосистему: для работы с наборами данных используется LeRobot, для обмена информацией применяется платформа Hugging Face Hub, а весь процесс обработки данных запускается прямо из интернет-браузера без необходимости что-либо устанавливать на компьютер.

Систему Grabette может собрать на своем рабочем столе любой энтузиаст, успешно применять ее на практике в полевых условиях и передавать собранные данные в общий фонд. Авторы трудились над созданием этого инструмента на протяжении многих месяцев и теперь считают его достаточно доработанным и стабильным для широкого релиза. Устройство представляет собой портативный захват, оснащенный всем необходимым комплектом оборудования для полной реконструкции манипуляционной демонстрации. На корпусе установлены две камеры, причем у каждой из них строго своя уникальная роль. Разделение функционала было внедрено намеренно: недорогая широкоугольная камера с объективом «рыбий глаз» предоставляет алгоритму управления богатый контекстом обзор, схожий с перспективой камеры на запястье робота, в то время как камера RGBD берет на себя наиболее сложные вычислительные задачи по надежному отслеживанию положения в шести степенях свободы.

Аппаратная часть и полная независимость от конкретных моделей

Пока Grabette фиксирует данные во время выполнения задач пользователем, для последующего воспроизведения выученных движений она опирается на своего роботизированного двойника. Так появилось устройство Gripette — роботизированный конечный исполнитель (сменный манипулятор), созданный как прямой аналог ручного Grabette. Обе разработки разделяют единую аппаратную ДНК, где Grabette выступает в роли левостороннего портативного записывающего инструмента, а Gripette — в качестве правостороннего робототехнического захвата. При этом все компоненты полностью открыты и доступны в рамках принципов open source. В конструкции применяются стандартные датчики, которые можно свободно приобрести в магазинах, без закрытых конвейеров или привязки к проприетарным экосистемам. Набор деталей включает миниатюрный компьютер Raspberry Pi, стандартную камеру для него, готоводоступную глубиновую камеру OAK-D и магнитные энкодеры. Смысл концепции заключается в том, что любой желающий может самостоятельно собрать устройство из легко заказываемых деталей.

Архитектура изначально проектировалась как абсолютно независимая от конкретных моделей роботов-манипуляторов. Ни процесс захвата информации, ни формат данных не завязаны на особенности какой-то определенной руки. Демонстрации сохраняются в виде локальных по отношению к камере декартовых координат положения в шести степенях свободы вместе со статусом самого захвата. Итоговым продуктом выступает стандартный набор данных LeRobot на платформе Hugging Face Hub, благодаря чему одна и та же собранная информация может успешно управлять совершенно разными типами роботов и применяться в различных методах машинного обучения, хотя на самой механической руке все же потребуется установить парный захват Gripette.

Процесс работы с данными и перспективы развития

Данный релиз позволяет каждому пользователю быстро и без предварительной профессиональной подготовки пройти путь от желания продемонстрировать определенную задачу до получения готового к обучению набора данных. Достаточно нажать кнопку, после чего данные с наблюдательной камеры, трекинговой камеры (включая цвет, глубину и инерциальный измерительный блок IMU), а также показатели угловых энкодеров захвата начинают фиксироваться одновременно. Для обеспечения идеальной синхронизации используется один общий внутренний системный таймер. Повторное нажатие кнопки останавливает запись эпизода, после чего информация сохраняется локально на карте памяти мини-компьютера Raspberry Pi.

Далее пользователю нужно лишь открыть панель управления Grabette в своем веб-браузере, выбрать записанные эпизоды для включения в итоговый датасет и запустить постобработку всего одним щелчком мыши. После этого все готово для старта процесса обучения моделей. Поскольку любой набор данных ценен лишь тогда, когда на нем действительно можно обучить работающую систему, авторы подготовили комплексный сквозной пример для демонстрации работоспособности. Важно подчеркнуть, что это лишь демонстрация открывающихся возможностей, а не конечный коммерческий продукт — главным релизом является именно сама система записи. Полученные с помощью Grabette данные совместимы с любыми методами, способными обрабатывать датасеты стандарта LeRobot.

Проблема нехватки обучающих данных не может быть решена усилиями лишь одной научной группы — для этого требуется активное участие глобального сообщества, записывающего демонстрации повсеместно. Теперь каждый может помочь в формировании этого массива: собрать устройство Grabette, записать интересующие трудовые операции и поделиться ими на Хабе. Каждый новый записанный эпизод делает общий открытый датасет массивнее и разнообразнее, а каждый новый участник делает робототехническое обучение чуть менее зависимым от дорогостоящего специализированного оборудования. Текущий релиз знаменует собой лишь начало большого пути, и проект продолжит развиваться. В скором времени разработчики планируют представить дополнительные устройства, включая головную систему фиксации ракурса от первого лица Casquette, которая дополнит Grabette для эгоцентрической съемки (проект находится в стадии активной доработки). Но важнейший следующий шаг зависит не только от авторов платформы, но и от пользователей: пора начинать запись, чтобы совместными усилиями создать по-настоящему масштабный датасет.

Источник: huggingface.co