ALTK-Evolve: как обученная память выводит ИИ-агентов в лидеры τ²-bench без фронтирных моделей

Современные подходы к оптимизации ИИ-агентов зачастую требуют дорогостоящего изменения весов или тонкой настройки. Однако методика ALTK-Evolve демонстрирует, как применение извлеченных из опыта поведенческих правил позволяет базовым моделям успешно справляться со сложными задачами технической поддержки в бенчмарке τ²-bench.

В основе системы лежит анализ прошлых попыток агента решить тренировочные задачи. Полученные данные транслируются в краткие руководства и добавляются прямо в системный промпт, что повышает эффективность работы без вмешательства в архитектуру нейросети.

Особенности тестирования policy-bound задач в τ²-bench

Специализированный бенчмарк τ²-bench от компании Sierra оценивает способность ИИ-агентов вести диалоги с клиентами в условиях реальных ограничений. Каждый сценарий объединяет агента с симулятором пользователя на базе LLM, обладающим конкретной целью, набором профильных инструментов (поиск заказов, оформление возвратов, перебронирование рейсов) и текстовым регламентом компании.

Агент должен выявлять нужные детали, строго соблюдать корпоративную политику и выполнять зачастую необратимые действия. Успех засчитывается лишь тогда, когда финальное состояние базы данных полностью совпадает с ожидаемым результатом. Тестирование охватывает две ключевые сферы: розничную торговлю (retail) и авиаперевозки (airline).

Базовая архитектура ReAct и интеграция гайдлайнов

В экспериментах применяется стандартная реализация агента с циклом THINK → ACT, где в роли агента выступает модель gpt-4.1, а симулятором пользователя управляет gpt-5.5 при четырех попытках на каждую задачу. Единственным изменением становится добавление блока выученных правил в конец системного промпта в формате обычного списка markdown.

Правила извлекаются из траекторий агента на обучающем наборе данных с помощью той же базовой модели и применяются без каких-либо изменений на тестовой выборке. Это позволяет зафиксировать правила аутентификации пользователей, подтверждения транзакций и обработки возвратов.

Влияние объема рекомендаций на надежность и точность

Объем внедряемых инструкций напрямую влияет на результаты работы системы. Каждое правило обладает счетчиком поддержки — количеством уникальных тренировочных задач, в которых оно было задействовано. Исследователи сравнивают базовую конфигурацию без гайдлайнов, вариант с высоким порогом поддержки (sup3) и полный набор правил (lossless).

Эффективность оценивается по двум параметрам: средней точности (Mean Accuracy) и строгому показателю надежности Pass^4, который фиксирует успешное прохождение задачи во всех четырех попытках подряд.

Различия в оптимальном объеме правил для разных доменов

В сфере розничной торговли увеличение количества правил стабильно улучшает все метрики: компактный набор sup3 лишь незначительно превосходит базовый уровень, тогда как полный комплект lossless обеспечивает максимальный прирост точности и надежности.

В авиационной сфере ситуация меняется на противоположную в отношении надежности. Полный комплект лидирует по точности, однако более компактное ядро sup3 демонстрирует более высокий и стабильный показатель Pass^4, доказывая необходимость адаптации объема правил под конкретную предметную область.

Анализ токенов, стоимости и длительности диалогов

Внедрение дополнительных инструкций увеличивает затраты на входные токены промпта, однако это не приводит к удлинению диалогов. Напротив, анализ успешных сессий показывает, что использование полного набора правил сокращает количество шагов ассистента в среднем на 0.3–0.4 хода в обоих доменах.

Сокращение числа шагов минимизирует задержки в режиме реального времени, так как каждый шаг представляет собой отдельный сетевой запрос. Увеличение расходов на стороне ввода в реальных условиях частично нивелируется за счет кэширования промптов, делая такую схему экономически оправданной.

Применение выученных правил с фронтирными моделями

Для проверки эффективности методики на более мощных системах аналогичное тестирование провели с использованием модели gpt-5.5 как для самого агента, так и для извлечения правил. В этой конфигурации максимальный уровень поддержки правил составил два, сформировав конфигурацию sup2.

Добавление сгенерированных инструкций к сильной модели также обеспечило прирост точности и надежности, подняв показатель Pass^4 до 70%. Это подтверждает универсальность подхода независимо от исходной мощности базовой модели.

Сравнение результатов в рейтинговой таблице τ²-bench

По результатам тестирования на полном базовом наборе данных подход ALTK-Evolve позволил агентам занять лидирующие позиции. В розничной торговле агент на базе gpt-4.1 с выученными правилами достиг показателя Pass^4 на уровне 67.5%, опередив системы, прошедшие специальную тонкую настройку на синтетических данных.

В авиационной сфере интеграция gpt-5.5 с аналогичными правилами вывела систему на первое место с результатом 82.0%, обойдя все существующие фронтирные решения. Такой результат доказывает жизнеспособность концепции обучения агентов на уровне промптов без модификации весов.