Мой блог
IBM Research применила метод ALTK-Evolve для улучшения ИИ-агентов техподдержки
Исследователи IBM Research представили результаты применения метода ALTK-Evolve, который позволяет ИИ-агентам техподдержки самостоятельно формировать свод правил на основе анализа собственных обучающих прогонов. Авторы разработки выяснили, что добавление таких инструкций в системный промпт стандартных моделей существенно повышает надежность их работы на бенчмарках.
В ходе испытаний методика позволила базовой модели GPT-4.1 занять лидирующие позиции в ритейл-домене симуляционного бенчмарка τ²-bench. При этом подход не требует изменения весов нейросети или ручной разметки данных, опираясь исключительно на автоматическое извлечение паттернов успешного и неуспешного поведения.
Особенности метода и организация тестирования
Система τ²-bench, поддерживаемая Sierra Research, представляет собой симуляционную среду для оценки работы клиентских сервисов. Каждая предметная область включает фиксированную политику взаимодействия, набор инструментов и комплекс тестовых задач. В исследовании IBM использовались сценарии для розничной торговли и авиаперевозок, где агент взаимодействует с симулятором клиента на базе другой языковой модели, а результат оценивается по точности изменения состояния базы данных.
В качестве архитектуры агента применялся базовый ReAct-вариант с двухфазным циклом размышления и действия (THINK-ACT). Модель gpt-4.1 использовалась для выполнения задач и извлечения правил, а gpt-5.5 выступала в роли симулятора клиента. Единственной модификацией стало добавление к системному промпту маркдаун-списка с автоматически сгенерированными инструкциями. Эти правила извлекались из траекторий агента на тренировочных задачах и применялись без изменений на тестовом наборе.
Каждое правило получает показатель поддержки — количество обучающих задач, в которых оно было зафиксировано. В исследовании сопоставлялись три конфигурации:
- базовый вариант без дополнительных инструкций;
- конфигурация sup3, включающая только правила с поддержкой от трех и выше;
- полный набор lossless, сохраняющий все извлеченные рекомендации.
Результаты тестирования в ритейле и авиаперевозках
Оценка производилась по двум ключевым метрикам: среднему уровню точности (Mean Accuracy) как показателю возможностей системы и метрике Pass^4, отражающей процент задач, успешно решенных во всех четырех попытках, что характеризует надежность ИИ.
На тестовой выборке из 40 задач в розничной торговле стандартный агент показал точность 78,1% и 57,5% по метрике Pass^4. Конфигурация sup3 достигла 78,8% и 60,0%, тогда как полный набор lossless продемонстрировал 82,5% точности и 67,5% по Pass^4, что означает прирост на 4,4 и 10 процентных пунктов по сравнению с базовым уровнем.
Для 20 тестовых задач в авиационной сфере базовый агент зафиксировал 57,5% точности и 35,0% Pass^4. Вариант sup3 поднял показатели до 60,0% и 45,0%, а полномасштабный набор lossless достиг 65,0% и 40,0%. Доменные различия повлияли на оптимальный объем инструкций: в ритейле лучшие результаты показал полный массив правил, а в авиаперевозках наиболее эффективной оказалась компактная сборка sup3.
Анализ затрат и лидерство в бенчмарках
Расходы на обработку запросов возрастали пропорционально увеличению длины промпта. В ритейле средняя стоимость диалога увеличилась с 0,084 доллара у базовой версии до 0.139 доллара при использовании lossless-набора, что составляет рост на 65%. В авиаперевозках затраты поднялись с 0,081 до 0.107 доллара. При этом успешные диалоги с инструкциями завершались за меньшее число шагов со стороны ассистента, что снижает общую задержку ответа для пользователя, а расходы на длинный промпт частично компенсируются за счет технологий кэширования.
Повторный запуск тестов для авиакомпаний с использованием модели gpt-5.5 в качестве основного агента и экстрактора правил показал еще более высокие результаты. Базовый уровень gpt-5.5 обеспечил 72,5% точности и 55,0% Pass^4, вариант с поддержкой sup2 достиг 80,0% и 70,0%, а lossless-конфигурация зафиксировала 82,5% точности и 70,0% по надежности.
По данным таблиц лидеров τ²-bench, ритейл-агент IBM занял первую строку с показателем Pass^4 на уровне 67,5%, обогнав специализированные модели, дообученные на синтетических данных. Агент на базе gpt-5.5 для авиаперевозок также вышел на первое место с результатом 82,0%, опередив другие передовые разработки. Исследователи подчеркивают, что предложенная методика позволяет улучшать готовые модели без трудоемкого обновления весов и ручного сбора размеченных данных.
