Мой блог
Экспериментальная система ELM: выбор функций и аргументов без генерации текста
При интеграции внешних инструментов в диалоговые системы ключевое значение имеет корректность обработки двух сценариев: когда требуется задействовать конкретный инструмент и когда ни один из доступных вариантов не подходит. В рамках отдельного исследования сопоставляются два подхода к решению этой задачи — классическая генерация вызова языковой моделью и схема, при которой код извлекает кандидатов, а модель лишь выбирает среди них подходящие функции и аргументы.
В ходе тестов изучается собственная экспериментальная разработка автора под названием экспериментальная система ELM. Особенность этого решения заключается в отказе от генерации текста вызова самой нейросетью в пользу строгого выбора из готовых вариантов, сформированных программно.
Разделение выбора функции и создания значения
Архитектура ELM устроена так, что вспомогательный программный код находит в текстовом запросе потенциальные кандидаты для заполнения аргументов. Затем специальная нейросеть, выполняющая роль судьи, выбирает нужную функцию и конкретные значения из предложенного набора. Такой судья оценивает вероятности ответов в заданном формате, исключая свободную генерацию текста.
Подобный подход имеет четкие ограничения. Задачи поиска нужного инструмента и генерации отсутствующего в тексте запроса значения существенно различаются. Если в исходных данных нет требуемого параметра, простая нарезка подстрок оказывается неэффективной. Для оценки точности применялся стандартизированный набор тестов BFCL, где предварительные прогоны показали хорошие результаты на задачах с отказом от нерелевантных инструментов, но выявили трудности при сборке сложных аргументов.
Перенос проверки в официальный раннер
Для обеспечения сопоставимости результатов проект был интегрирован в официальный оценочный пакет bfcl-eval с использованием актуальных наборов данных и встроенных правил синтаксической проверки абстрактных деревьев. Первые тесты на мини-выборках выявили архитектурную особенность: первоначальный обработчик возвращал лишь одиночный вызов, тогда как для параллельных категорий требовалось формирование массива вызовов в едином ответе.
После доработки многовызовов и исправления путей сохранения рабочих директорий в скриптах тестирования удалось провести полный прогон. Автоматизация конвейеров сборки и проверки была скорректирована во избежание ложных сигналов об успешном завершении задач после системных сбоев.
Сравнение систем по категориям
Сравнительное тестирование охватывало пять однотуровых категорий на языке Python: simple, multiple, parallel, parallel_multiple и irrelevance. В качестве контрольного решения выступала модель Bonsai-2-27B, которая самостоятельно генерировала вызовы через стандартный интерфейс. Суммарный итог показал превосходство стандартного подхода в задачах сборки, однако на категории irrelevance, проверяющей корректность отказа, экспериментальная схема продемонстрировала значительно более высокие показатели.
Анализ допущенных ошибок показал, что в базовых категориях подавляющая часть сбоев связана с неверными значениями или типами аргументов, тогда как ошибки в выборе имен функций практически не фиксировались. В параллельных категориях основной причиной неудач стало определение корректного количества вызовов.
Оценка времени выполнения и вычислительных затрат
Замеры производительности показали разницу в скорости обработки запросов и расчетных затратах. Экспериментальное решение обрабатывало запись быстрее контрольной модели, демонстрируя меньшие прогнозируемые затраты на масштабные прогоны. При этом методика подсчета ресурсов различалась: для ELM фиксировались показатели входных токенов судьи и нижняя оценка пикового потребления оперативной памяти по RSS-метрикам дочерних процессов, в то время как для локальной модели учитывался объем загруженных весов.
Границы применимости метода
Полученные выводы справедливы для рассмотренных однотуровых категорий Python. Многошаговые сценарии, требующие сохранения состояния диалога и промежуточного исполнения инструментов, в данном исследовании не проверялись. Набор live-категорий продемонстрировал высокую степень совместимости с ограничениями механизма подстрок, однако полноценное измерение точности на них требует дополнительных запусков.
