Система рецензирования Beyond Imitation от Sakana AI выявляет 73% ошибок

Компания Sakana AI представила исследовательскую работу Beyond Imitation, посвященную системам рецензирования научных статей на базе искусственного интеллекта. В фокусе нового проекта оказалась способность ИИ находить намеренно внедренные ошибки, тогда как большинство стандартных инструментов оцениваются лишь по степени копирования человеческих рецензий. Для проверки разработаны специализированный бенчмарк и агентная архитектура Multi-Layered Review.

Интерпретация результатов показывает, что сочетание продуманного дизайна пайплайна и правильного выбора языковых моделей существенно повышает надежность автоматического анализа академических публикаций.

Краткие характеристики системы Multi-Layered Review

Масштаб тестирования охватил 1164 искусственно добавленных противоречия на базе 257 научных работ из пяти ведущих конференций. Архитектура Multi-Layered Review обрабатывает до 10 страниц основного текста с помощью готовых API-моделей Claude Sonnet 4 и Claude Haiku 3.5 без использования графических ускорителей или дополнительного обучения. Стоимость одной проверки составляет около 0,47 доллара.

Показатели точности превысили результаты всех четырех протестированных базовых систем, сохранив при этом высокую степень корреляции с оценками людей. Наилучший результат зафиксирован при поиске критических ошибок в ключевых утверждениях с использованием четырех проходов.

Особенности архитектуры Multi-Layered Review

Многоуровневый агентный подход направлен на глубокое понимание документа перед его критикой. В процессе задействованы три специализированных агента на базе стандартных моделей Claude.

Распределение ролей между агентами

Агент приложений, использующий модель Claude Haiku 3.5, формирует краткую сводку экспериментов и деталей реализации из приложений к статье. Литературный агент на основе Claude Sonnet 4 выполняет веб-поиск для контекстуализации работы на фоне предыдущих исследований, хотя эта опция может отключаться. Основной агент рецензирования задействует трехшаговую цепочку промптов, вдохновленную методикой Кешава.

Этапы анализа текста

На первом этапе создается общая схема документа. Второй этап предполагает детальное чтение с фиксацией слабых мест, скрытых допущений и пробелов. На заключительном этапе все данные объединяются в единый отчет, включающий сильные и слабые стороны, вопросы к авторам, рекомендацию, итоговый балл и список задач.

Методология создания бенчмарка противоречий

Исследователи собрали 257 лицензированных статей с конференций ACL, AISTATS, CVPR, ICML 2025 и NeurIPS 2024 для внедрения проверяемых ошибок. С помощью модели Gemini 2.5 Pro был построен граф знаний для каждого документа, отражающий связи между утверждениями, доказательствами и методами.

Степень серьезности дефекта определялась по расстоянию узла от главного утверждения. Нулевое расстояние соответствует центральному тезису, а большие значения — второстепенным деталям. Модель GPT-4.1 перезаписывала по одному узлу на каждом уровне расстояния для создания противоречий. Итоговый набор данных составил 1164 точки. Оценку качества рецензий выполняла модель o3, зафиксировав 99,9% точности на чистых текстах и 81,6% чувствительности при ручной проверке.

Эффективность обнаружения ошибок

Архитектура MLR превзошла все альтернативные решения. При выполнении четырех проходов система выявила 73,43% противоречий в нулевой точке и 40,95% ошибок в целом. Лучший из существующих аналогов, AgentReview, показал результат в 14,81% для нулевой точки. Одиночная рецензия MLR обнаруживала 60,79% критических сбоев.

Анализ влияния модели и архитектуры

Замена модели GPT-4.1 на Claude Sonnet 4 в базовом варианте LLM-Review подняла уровень обнаружения ошибок в нулевой точке с 14,56% до 35.40%. При этом архитектурные особенности MLR добавляли еще около 25 процентных пунктов эффективности. С увеличением расстояния узла от главного утверждения точность прогнозируемо снижается.

На реальных отозванных статьях из базы WithdrarXiv-Check показатели оказались скромнее. Система зафиксировала 26,07% совпадений по категории похожих текстов и 16,11% по точным совпадениям, тогда как сильнейшие базовые решения набрали 18,48% и 9,00% соответственно.

Соответствие оценок человеческим рецензиям

В вопросах выставления баллов алгоритм демонстрирует высокую степень согласия с экспертами. На материалах ICLR 2025 предсказанные оценки MLR показали коэффициент корреляции Пирсона с человеческими оценками на уровне 0,586, при этом базовый показатель согласованности между людьми составлял 0,742. На ICML 2025 показатели искусственного интеллекта и рецензентов-людей составили 0,439 против 0,429.

В отношении фокуса оценок наблюдаются расхождения. Алгоритм уделяет больше внимания валидности методов и экспериментам, в то время как люди выше оценивают новизну и ясность изложения. Авторы рассматривают такой подход как дополнение, а не замену экспертной оценке.

Финансовые затраты на выполнение анализа

Средняя стоимость одной проверки с помощью MLR составляет около 0,47 доллара без учета опционального литературного агента. Система обрабатывает 189 062 токена на входе, что примерно вдвое меньше показателей сопоставимого решения AI Reviewer, требующего 403 654 токена.

Использование упрощенного варианта с одним промптом сокращает расходы примерно на две трети, однако точность обнаружения дефектов на тестовой выборке снижается приблизительно на 3,5 пункта.