Мой блог
Инструмент AutoHarness заставляет ИИ-агентов выстраивать контекст и правила для сложных задач
Современные языковые модели и ИИ-агенты часто испытывают трудности со сложными комплексными задачами, где требуется следовать строгим ограничениям, опираться на точные референсы и проверять собственные результаты. Эксперименты с моделью Claude Code (Opus 5.5) при выполнении творческих и технических заданий показывают, что в стандартном режиме агенты склонны полагаться на память и упускать критические требования. Для решения этой проблемы был разработан инструмент AutoHarness, который автоматизирует подготовку документации, создание брифов и независимый контроль качества.
В основе подхода лежит строгая методология декомпозиции и верификации, исключающая самооценку модели. Автоматизированный каркас заставляет ИИ искать профильные знания, подготавливать инструменты и передавать итоговую проверку специализированным агентам-критикам, что существенно повышает стабильность и точность генерации без использования внешних генеративных сервисов.
Тестовая задача и ограничения моделей
Показательным примером для оценки возможностей ИИ-агентов стало задание нарисовать сцену из фильма «Бегущий по лезвию 2049» средствами векторной графики SVG. По условиям эксперимента запрещалось использовать сторонние внешние генераторы SVG, из-за чего модель должна была самостоятельно выстраивать код, задавая точные координаты и пропорции.
Практика показала, что в исходных условиях агенты проваливают подобные тесты: они не изучают реальные визуальные референсы, опираясь лишь на обрывочные данные памяти или энциклопедические статьи, а после завершения работы не способны адекватно исправить ошибки, улучшая один элемент ценой поломки другого.
Методика вопросов и системный подход
Для преодоления типичных ошибок ИИ-агентов был сформулирован перечень обязательных вопросов, которые модель должна задавать себе перед началом работы. К ним относятся проверка наличия документации, поиск прецедентов, оценка имеющихся инструментов, определение критериев качества и фиксация момента окончания работы.
Поскольку ручной ввод этих вопросов при каждом запуске неэффективен, а модели свойственно со временем терять заданный контекст, возникла необходимость делегировать процесс специальному навыку. Разработчик отмечает сходство с инженерными регламентами в авиации, где любая деятельность строго документируется, а при отсутствии нормативной базы инженеры обязаны сначала составить регламент.
Как устроен процесс работы AutoHarness
Перед тем как приступить к исполнению задания, агент выполняет подготовительный этап, разбивая задачу на ключевые предметные области. Для визуальных проектов это может быть композиция, цветовая гамма и человеческая фигура. По каждой категории система ищет доверенные навыки или MCP-серверы из каталогов вроде маркетплейса Anthropic.
Проверка навыков и безопасности
Поскольку автоматическая установка компонентов из публичных источников связана с рисками безопасности, каждый найденный скилл предварительно тестируется во временной директории на предмет опасных команд. Непроверенные элементы активируются только после ручного подтверждения оператором. Если подходящего инструмента нет, модель пишет его самостоятельно, фиксируя все знания в виде кода навыка.
Формирование брифа и замеры
После подготовки инструментов агент фиксирует исходные данные: измеряет пропорции, расположение элементов и цветовую палитру референса. Затем составляется краткий бриф, включающий целевые требования к результату, заданные ограничения и методику самопроверки. До утверждения брифа защитные хуки блокируют любые изменения файлов рабочей директории.
Верификация и независимый аудит
Поскольку код в чистом виде агент «не видит», для проверки результатов сгенерированный SVG-файл открывается в браузере, после чего делается скриншот. Полученное изображение размещается рядом с оригинальным кадром, а специальный скрипт сопоставляет визуальные параметры с начальными замерами.
Исключение субъективности через агентов-критиков
Важной частью концепции является отказ от доверия к самооценке агента-разработчика. В тестах по исправлению уязвимостей кодтерминал склонен оценивать собственные изменения как незначительные (minor), в то время как независимый аудитор выявляет критические проблемы безопасности (blocker).
Для исключения предвзятости проверка кода или графики выполняется вслепую: второй агент получает две версии под условными обозначениями без указания того, какая из них является новой. Отзыв завершается строго регламентированной оценкой, а специальный механизм идентификаторов предотвращает подмену или повторное использование старых рецензий. Если обнаруживается критическая ошибка, агент обязан сначала обновить правила в скилле и только после этого приступать к исправлениям.
Архитектура защиты правил
Поскольку инструкции в системном промпте нередко игнорируются моделями в процессе долгих вычислений, AutoHarness разделен на две сущности: текстовое руководство для агента и исполняемый скрипт в терминале. Скрипт контролирует выполнение каждого шага, сверяя действия с системным журналом задачи и блокируя выполнение команд при нарушении последовательности.
Для оценки эффективности самих написанных скиллов применяется парное тестирование, где идентичные задания выполняются двумя агентами (с новым навыком и без него), а нейтральный судья оценивает результаты в слепом тесте.
Итоги применения инструмента
Тестирование показало, что связка базовой модели с фреймворком AutoHarness демонстрирует более прогнозируемые и качественные результаты при решении сложных и визуальных задач. Поскольку комплексная подготовка и этап аудита требуют дополнительных вычислительных затрат и токенов, для простых правок предусмотрен облегченный режим без глубокого поиска.
Инструмент поддерживает работу с популярными средами и интерфейсами взаимодействия с моделями, включая Claude Code, Codex CLI, Gemini CLI, Antigravity CLI, Qwen Code и GigaCode. Исходный код проекта опубликован в открытом репозитории для технического анализа и доработки сообществом.
