Загрузка 0
ПОДЕЛИТЬСЯ

Мой блог

Листай вниз

Где заканчивается самостоятельность ИИ-агента: итоги тестирования в физическом мире

Где заканчивается самостоятельность ИИ-агента: итоги тестирования в физическом мире

Масштабное исследование автономных возможностей искусственного интеллекта показало, как современный ИИ-агент успешно справляется с повседневными задачами в цифровой и физической среде, управляя браузером, банковской картой и телефонными звонками.

В ходе многонедельных испытаний разработанный исследователями агент выполнял рутинные поручения: заказывал кофе по расписанию, бронировал столики в ресторанах, оформлял авиабилеты и подбирал комплектующие для персональных компьютеров.

Где заканчивается самостоятельность ИИ-агента: итоги тестирования в физическом мире
Где заканчивается самостоятельность ИИ-агента: итоги тестирования в физическом мире — изображение 9
Где заканчивается самостоятельность ИИ-агента: итоги тестирования в физическом мире — изображение 10
Где заканчивается самостоятельность ИИ-агента: итоги тестирования в физическом мире — изображение 11

Организация и инструменты эксперимента

Для проведения тестов был создан специальный программный харнесс, управляющий моделями и вызовом внешних инструментов. К системе подключили почти три сотни интеграций, включая API популярных российских сервисов для поиска, карт, путешествий и доставки еды. Для задач задействовали более десяти языковых моделей через собственный графический кластер и внешних провайдеров, причем агент самостоятельно подбирал подходящую модель под конкретную задачу с учетом ее сложности, стоимости и текущей нагрузки.

Реклама

Дополнительные каналы связи и интерфейсы

Там, где отсутствовали готовые программные интерфейсы, система использовала браузерного агента, собственную почту, мессенджеры и специализированную ИИ-звонилку с несколькими номерами. В телефонных разговорах и переписке бот всегда предупреждал собеседников о своем статусе ассистента. Все операции с реальными покупками и звонками проводились через облачную инфраструктуру, в то время как локальные десктопные функции ограничивались текстовыми диалогами и памятью устройства.

Браузерный агент оформляет авиабилет на сайте
Процесс автоматического заполнения данных и покупки билета в браузере

Практические задачи и реальные кейсы

Тестирование охватило самые разные сценарии взаимодействия с внешними службами — от фоновых покупок до телефонных переговоров с администраторами организаций.

Регулярные фоновые заказы

В рамках проверки автономности агенту поручили заказывать кофе в одном из интернет-магазинов каждые два дня по утрам. Система самостоятельно оформляла и оплачивала доставку прямо к двери без дополнительных напоминаний. Подобные эксперименты показали необходимость жестких условий остановки: без заданного лимита бюджета или конечной даты исправно работающий алгоритм продолжает бесконечно повторять покупку.

Оформление билетов и конфигурация оборудования

Агент успешно справился с покупкой авиабилета, получив доступ к браузеру и платежным реквизитам. Он самостоятельно нашел нужный рейс, заполнил персональные данные пассажира и завершил транзакцию. В других тестах проверялась работа с сайтами без совершения платежей: расчет конфигурации серверов в облачной панели управления и подбор комплектующих для сборки ПК в каталоге магазина.

Телефонные звонки и взаимодействие с заведениями

Голосовые сценарии проверялись на массовом бронировании столиков в ресторанах. Из-за большого числа тестовых звонков номер исследователей попал в черные списки некоторых заведений, включая известные московские рестораны. Подобная активность выявила дисбаланс: автоматизированная система может совершать неограниченное число вызовов, тогда как рабочее время администраторов строго ограничено, что требует внедрения специализированных API для автоматического бронирования.

Нестандартные сценарии бронирования

Во время поездки на фестиваль бот забронировал гостиничный номер по телефону, поскольку у отеля отсутствовала система онлайн-бронирования. Администраторы заведения быстро распознали робота по характерному диалогу, но продолжили оформление. В другом случае с рестораном агент успешно заполнил заявку через веб-форму, а при бронировании бани в Дубае продолжил диалог с менеджером через мессенджер после получения заявки с сайта.

Главный экран десктопного приложения для macOS
Интерфейс локального приложения для macOS

Анализ ошибок и выводы из испытаний

Статистика показала, что подавляющее большинство сбоев — около 94% зафиксированных ошибок — приходилось на внешние интеграции, инструменты и сторонние серверы. Наличие большого числа подключенных протоколов не гарантирует успешное выполнение поручения, так как разные сервисы реализуют разную логику поиска, заказа и подтверждения.

Окно создания ботса с настройкой имени и инструкций
Параметры создания индивидуального бота: имя, облик и инструкции

Важные выводы для разработки

Опыт тестирования позволил сформулировать ключевые требования к автономным системам:

Каталог встроенных моделей и данные о ресурсах компьютера
Выбор моделей и информация о доступных ресурсах системы
  • Для регулярных задач критически важны четкие лимиты по бюджету и условиям завершения.
  • Финансовые операции требуют жестких прав доступа, защищенных реквизитов и механизмов защиты от повторных списаний.
  • Понятие «готово» при бронировании может означать отправку формы, списание средств или реальное подтверждение администратора.

Локальный режим работы на macOS

Десктопная версия приложения для персональных компьютеров функционирует автономно без отправки запросов в облако после загрузки моделей. Пользователи могут выбирать различные языковые версии семейства Qwen, настраивать персональных ботов с инструкциями и сохранять информацию в локальной памяти устройства.

Настройки локальной памяти компьютера и памяти аккаунта
Разделение локальной памяти устройства и облачной памяти аккаунта
Параметры глобального быстрого запроса Quick Ask
Конфигурация горячих клавиш для вызова быстрого помощника

Возможности локального ПО

Встроенные инструменты позволяют анализировать переданный текстовый материал, выделяя ключевые пункты или составляя планы на основе заметок. Глобальное окно быстрого вызова дает возможность мгновенно переводить фразы или разбирать абзацы из любых других запущенных программ на компьютере.

01.