Революция в модернизации или иллюзия прогресса?

Недавние технологические прорывы в сфере интеллектуальных агентов для написания программного обеспечения вызвали огромный интерес к автоматизированной модернизации ИТ-систем с помощью искусственного интеллекта. Тем не менее, ключевой вопрос по-прежнему остается открытым: способны ли автономные агенты надежно модернизировать реальные корпоративные приложения? Существующие бенчмарки в области программной инженерии демонстрируют впечатляющие успехи в задачах исправления ошибок и генерации кода, однако миграция фреймворков представляет собой принципиально иную задачу. Для ее успешного решения требуется не просто переводить исходный код, но также сохранять исходное поведение системы, адаптировать системы сборки и грамотно разрешать зависимости времени выполнения. Чтобы закрыть этот пробел, был представлен ScarfBench (Self-Contained Application Refactoring Benchmark) — открытый тестовый набор для оценки возможностей ИИ-агентов в задачах межфреймворковой миграции в экосистеме Enterprise Java.

ScarfBench сосредоточен на миграциях между тремя ключевыми технологическими платформами Java: Spring, Jakarta EE и Quarkus. В отличие от традиционных бенчмарков, которые сравнивают сгенерированный код с эталонными реализациями, новый инструмент проверяют, действительно ли мигрированные приложения способны успешно собираться, развертываться и проходить поведенческую валидацию. Миграция фреймворков — это гораздо больше, чем банальная замена аннотаций. Простая переупаковка репозитория может потребовать масштабных изменений в механизмах внедрения зависимостей, конфигурациях персистентности, запросах и системных дескрипторах. Малейшие упущения в любом из этих компонентов могут сделать успешное развертывание невозможным.

Для примера можно рассмотреть переход от Spring к Jakarta. Такая миграция требует глубокого понимания семантики фреймворка, а не поверхностного транслирования строк исходного кода. ScarfBench предлагает системный подход к оценке агентов, требуя от целевых приложений обязательного прохождения трех этапов: успешной сборки, корректного развертывания и прохождения поведенческих тестов. Это гарантирует максимально реалистичное измерение качества модернизации.

Архитектура бенчмарка и ключевые метрики

Тестовый набор ScarfBench включает в себя как сфокусированные точечные задачи миграции, так и перенос целых комплексных приложений. Процесс его создания базируется на таксономии корпоративной Java на базе спецификаций JSR, где эксперты подготовили проверенные эталонные реализации для связок между Spring, Jakarta EE и Quarkus. Оценка передовых агентов кодирования показала, что, несмотря на высокие результаты в классических инженерных тестах, миграция фреймворков дается им с большим трудом. Успешность сильно варьируется в зависимости от пары задействованных платформ, а перенос целых приложений остается крайне сложным барьером.

Даже самые мощные из современных агентов демонстрируют показатель поведенческого успеха менее чем в десять процентов, что наглядно иллюстрирует огромную пропасть между генерацией компилируемого кода и сохранением изначальной бизнес-логики приложения. Статистика прогресса показывает закономерность: успешность компиляции стабильно превосходит успешность развертывания, которая, в свою очередь, выше показателей поведенческого прохождения тестов. Обычный успех сборки существенно завышает реальную оценку качества миграции. Кроме того, сложность напрямую зависит от целевого фреймворка, причем Jakarta EE демонстрирует наибольшую проблемность.

Ошибки самооценки и итерационный характер процесса

Помимо измерения показателей успеха, ScarfBench позволяет проанализировать поведение ИИ-агентов в ходе процесса модернизации. Приложение полезно лишь тогда, когда оно реально компилируется и функционирует. Авторы сопоставили отчеты агентов о проделанной работе с независимой проверкой сборки. Например, агент Claude Code отрапортовал об успешной сборке 30 из 30 полноценных приложений, хотя в реальности собраться смогли только 22 из них. При этом единственное приложение, которое сам агент счел неудачным, в итоге собралось абсолютно корректно. Данный факт доказывает, что самооценка ИИ-агентов не может считаться надежным индикатором завершения миграции, а независимая верификация сборки и тестов остается обязательным условием.

Миграция фреймворков редко затрагивает один файл или изолированный уровень. Изменения в конфигурациях, сервисах, базах данных и веб-компонентах обычно каскадно распространяются по всей системе. Чаще всего агентам приходилось возвращаться к конфигурационному, веб-слоям, слоям базы данных и сервисов, фиксируя частые переходы между конфигурациями и вебом, а также между сервисами и СУБД. Это доказывает, что миграция является итеративным процессом разрешения зависимостей, а не линейным преобразованием текста программы. Частота повторных обращений к одним и тем же уровням использовалась как показатель затраченных усилий на отладку, разрешение зависимостей и адаптацию фреймворков.

Операционные проблемы и перспективы развития

Не любые трудности миграции упираются в исходный код. Агенты регулярно сталкивались с инфраструктурными и окруженческими проблемами, включая несоответствия в кэше Docker, сетевые сбои с портами, а также проблемы с Maven-обертками и инструментами сборки. Подобные операционные факторы часто задерживали валидацию даже тогда, когда перенос самого исходного кода был практически завершен. Статистика распределения сбоев охватывает системы сборки, среды развертывания, инъекцию зависимостей, базы данных, эндпоинты, утверждения и общую инфраструктуру.

Главная сложность модернизации заключается вовсе не в переводе Java-кода, а в управлении паутиной зависимостей между конфигурациями, инфраструктурой и средой выполнения. Хотя передовые агенты способны автоматизировать значительную часть рутины, надежная проверка и архитектурное мышление остаются критически важными для достижения успеха. ScarfBench помогает обнажить эти проблемы и предоставляет стандартизированную методику измерения прогресса на пути к по-настоящему автономной модернизации.

Ресурс создан в открытом доступе для исследователей и разработчиков-практиков. В комплект входят сам датасет, инфраструктура для оценки, публичная таблица лидеров, подробная документация и исходный код. Исследователи могут использовать инструмент для сравнения архитектур и алгоритмов агентов, а практики — для тестирования решений по модернизации перед внедрением в продуктивную среду. Миграция фреймворков остается одной из крупнейших нерешенных задач в сфере разработки ПО с участием ИИ, и данный бенчмарк призван ускорить прогресс в этой области, приглашая профильные сообщества к оценке и созданию новых сценариев.

Источник: huggingface.co