Период полураспада бенчмарков ИИ сократился до 19 месяцев: анализ выживаемости

Разработчики систем искусственного интеллекта регулярно сталкиваются с тем, что тестовые наборы данных стремительно теряют актуальность. Эмпирическое исследование 224 тестовых наборов за период с 2018 по 2026 год показало, что медианный срок службы метрик резко сокращается: для тестов нового поколения период полураспада бенчмарка ИИ составляет всего 19 месяцев против 38 месяцев у систем, созданных до 2023 года. При этом сокращение жизненного цикла связано не со снижением планки сложности, а с удвоившейся скоростью развития самих моделей.

Анализ основан на отчетах девяти ведущих технологических лабораторий (включая OpenAI, Anthropic, Google, Meta, xAI и DeepSeek) и учитывает как преодоление порога насыщения алгоритмами, так и выбывание тестов из-за внутренних ошибок разметки. Полученные закономерности позволяют количественно оценить, сколько времени требуется новым моделям для преодоления тестовых наборов и почему привычные методы подсчета медианной продолжительности жизни дают искаженную картину.

Проблема измерения жизненного цикла тестов

Поводом для масштабной статистической работы стала практическая проблема: при создании узкоспециализированного набора OenoBench (3 266 вопросов о вине на основе 38 104 фактов) ведущие языковые модели на старте показали точность около 83%. Без понимания реальной динамики устаревания тестов невозможно объективно определить, какой запас сложности на релизе является достаточным.

Существующие в индустрии публикации фиксируют отдельные аспекты этой проблемы: например, исследования Dynabench и работы в Nature Communications демонстрируют формы кривых насыщения, а база Epoch AI отслеживает прогресс фронтира. Однако они не отвечают на вопрос о продолжительности жизни наборов с математическим учетом еще действующих испытаний. Решением задачи стал полноценный анализ выживаемости на представительной выборке индустриальных тестов.

Критерии выбывания: что считается смертью бенчмарка

Для исключения субъективных интерпретаций правила фиксации «смерти» бенчмарка были зафиксированы в формальном кодбуке до начала разметки данных. Дата выбывания определяется по наступлению наиболее раннего из пяти формальных событий:

• Критерий A (человеческий уровень): лучший публичный результат превысил человеческий бейзлайн (при условии, что сам бейзлайн составляет не менее 85% шкалы и измерен людьми на том же сплите).
• Критерий B (абсолютный порог): лучший результат достиг или превысил 90% по основной метрике, если адекватный человеческий бейзлайн отсутствует.
• Критерий C (отзыв авторами): создатели официально заморозили прием результатов, объявили набор устаревшим либо признали насыщение причиной закрытия.
• Критерий D (целевая планка организаторов): взят конкретный заранее установленный порог (например, 85% в соревновании ARC Prize).
• Критерий E (независимая компрометация): утечка ответов в обучающие выборки, обнаружение тривиального обхода архитектуры либо выявление более 20% дефектных задач в ходе внешнего аудита, после которого лаборатории прекращают отчитываться по метрике.

Если о тесте никто не отчитывается в течение 12 месяцев, он признается заброшенным и исключается из активного наблюдения. В зачет принимаются любые публично валидированные решения (отдельные модели, агентные обвязки, ансамбли), за исключением использования внешних инструментов в тех тестах, где это прямо запрещено исходным протоколом (GPQA, MMLU, AIME).

На практике эти правила работают предсказуемо. Набор GPQA Diamond завершил цикл через 24 месяца по критерию B после преодоления планки 91,9% моделью Gemini 3 Pro. Экзамен MMLU закрылся по тому же критерию за 39 месяцев, когда Gemini Ultra преодолела 90%. Набор ARC-AGI-2 достиг целевой отметки организаторов за 13 месяцев (85% у GPT-5.5). В свою очередь, Humanity’s Last Exam выбыл через 19 месяцев по критерию дефектов: масштабный аудит команды Qwen показал, что без исправлений пригодны лишь 668 вопросов из 2 500, после чего лаборатории начали отказываться от исходной версии.

Формирование выборки и статистические ловушки

Чтобы избежать смещения выборки в сторону широко известных долгоживущих тестов, отбор проводился по строгим входным условиям: бенчмарк включался в анализ только при наличии отчетов минимум двух лабораторий из девяти отслеживаемых, либо при упоминании в трех независимых релизах одной компании. Каждая подверсия, измененный протокол или ежегодный срез соревнований (например, AIME разных лет или редакции SWE-bench) рассматривались как самостоятельные единицы. В выборку не включались субъективные арены без фиксированного потолка, внутренние закрытые тесты и оценки общего поведения без верифицируемых правильных ответов.

Итоговый массив включил 224 бенчмарка на базе 230 релизов моделей. При этом 175 наборов появились в 2023 году или позже. Подобная структура выборки создает методологическую ловушку при наивном расчете медианы: если просто считать средний возраст выбывших тестов по годам, получается иллюзия десятикратного ускорения (с 26 месяцев для когорты 2016–2019 годов до 2,5 месяцев в 2026 году). Однако недавние бенчмарки чисто физически не успели прожить дольше нескольких месяцев, и среди них фиксируются только аномально короткие циклы.

Проверка с помощью нулевой модели (генерация случайных сроков жизни из неизменного исторического распределения с отсечкой наблюдения) подтвердила, что падение медианы у свежих когорт неизбежно даже при полном отсутствии реального ускорения прогресса. Для получения объективных выводов требуется использование аппарата анализа дожития с учетом цензурированных данных.

Оценка Каплана–Мейера: период полураспада бенчмарка ИИ

Расчет кривых выживаемости по методу Каплана–Мейера показал общее медианное время до насыщения в 23 месяца для всей выборки. Однако при разделении данных на исторические периоды выявился фундаментальный структурный сдвиг:

• Для когорты 2016–2022 годов период полураспада составил 38 месяцев (в первый год выбывало лишь 4% наборов).
• Для тестов, запущенных в 2023 году и позднее, показатель сократился ровно вдвое — до 19 месяцев (в первый год закрывается около трети тестов).

Модель пропорциональных рисков Кокса указывает на то, что с каждым последующим годом появления бенчмарка относительный риск его закрытия возрастает примерно на 22%. Разрыв между эпохами сохраняется даже в том случае, если ужесточить критерии и учитывать исключительно «чистые» результаты одиночных моделей без агентных надстроек (в таком сценарии показатели составляют 68 месяцев против 26).

Запас сложности и скорость алгоритмов

Возникает вопрос: не стали ли составители тестов выпускать заведомо простые задания? Расчет запаса сложности на момент релиза опровергает эту гипотезу. Анализ в логитах (логарифмических шансах, обеспечивающих линейность траекторий) показал, что медианный стартовый задел у старых наборов составлял 2,02 логита (около 35 процентных пунктов до потолка), тогда как у современных — 2,14 логита (38 процентных пунктов). Современные тесты выходят даже с чуть большим запасом прочности.

Ключевым фактором стала именно скорость движения фронтира нейросетей. По независимым замерам Epoch AI, на старых бенчмарках показатели лидеров росли в среднем на 0,75 логита в год, тогда как на новых рост ускорился до 1,56 логита в год — в два раза быстрее. Деление стартового запаса на темп прироста дает расчетные сроки жизни около 32 месяцев для старых и 16 месяцев для новых наборов, что предельно близко к эмпирическим 38 и 19 месяцам.

В ряде сценариев тесты оказываются насыщенными непосредственно в момент анонса. Регулярные олимпиадные наборы (AIME, HMMT, USAMO последних лет) преодолевают порог в 90% буквально в первые недели после публикации задач, превращаясь в одноразовые замеры.

Причины выбывания и специфика агентных сред

Из 116 зафиксированных случаев выбывания 84 пришлись на преодоление планки моделями, а 12 — на досрочное признание насыщения разработчиками. Однако оставшиеся 20 случаев связаны с конструктивными дефектами самих наборов задач. Оценка конкурирующих рисков по методу Аалена–Йохансена демонстрирует резкий рост роли ошибок валидации в последние годы:

• Среди тестов эпохи 2016–2022 годов за первые два года от дефектов не закрылся ни один бенчмарк.
• Среди релизов с 2023 года за два года от ошибок разметки погибает 14% наборов, еще 5% забрасываются, а моделями преодолеваются 45%.

Каждый седьмой современный тестовый пакет признается негодным еще до того, как его решат нейросети. Главным источником этой проблемы выступают интерактивные агентные среды: из 29 закрывшихся агентных платформ почти половина (13 штук) сошли с дистанции из-за собственных ошибок и недоопределенности сценариев. Среды вроде Terminal-Bench, SWE-bench или τ-bench неоднократно перевыпускались с масштабной отбраковкой некорректных задач, что фактически обнуляло предыдущие таблицы лидеров.

Практические выводы для авторов новых метрик

На основе статистического анализа формируются четкие инженерные правила для разработчиков систем оценивания:

• Реалистичный горизонт планирования: статический тестовый набор без встроенных механизмов постоянного обновления задач рассчитан максимум на полтора-два года применимости.
• Управление запасом на старте: каждый дополнительный логит разрыва между лидером и потолком увеличивает ожидаемую продолжительность жизни метрики примерно в полтора раза. Если топовая модель на релизе набирает более 80%, жизненный цикл теста составит считанные месяцы. Для двухлетнего горизонта лидер на старте должен решать не более 30–35% задач.
• Фиксация критериев насыщения: разработчикам необходимо явно публиковать задокументированный человеческий бейзлайн на том же сплите, иначе де-факто закрытием будет считаться отметка в 90%.
• Строгий версионинг агентных сред: интерактивным тестам требуется предварительный аудит окружения до публикации. Введение префиксов и жесткая фиксация зависимостей критически важны, поскольку смена версий обесценивает историю сопоставлений.
• Неэффективность сокрытия данных: удержание тестового сплита в тайне защищает от прямой утечки данных при обучении, но не замедляет общий прогресс архитектур.

Для исходного теста OenoBench модель предсказывает вероятность закрытия в течение 9–14 месяцев, если индустрия начнет целенаправленно оптимизировать алгоритмы под его задачи. В то же время узкоспециализированные домены, находящиеся в стороне от фронтирной оптимизации, могут сохранять устойчивость дольше, отражая реальную динамику общих когнитивных способностей систем.