Как метод BenchMIRT раскрывает реальные способности языковых моделей: аудит бенчмарков на уровне промптов

Обычно бенчмарки для больших языковых моделей (LLM) создаются с четкой практической целью: оценить конкретную способность системы — будь то уровень безопасности, логическое мышление или точность следования инструкциям. Однако на практике отдельные тестовые задания и промпты внутри одного набора данных часто зависят от совершенно иных факторов, нежели заявляют разработчики тестов.

Возьмем для примера бенчмарк BBQ, созданный для проверки нейросетей на склонность к социальным стереотипам. Один из его вопросов описывает ситуацию, где дедушка и внук пытаются заказать поездку через Uber. Хотя задача нацелена на поиск эйджизма и возрастных предубеждений, нейросети требуется не просто проявить социальную корректность, но и правильно отследить ролевые связи в тексте, опираясь на логический анализ представленных фактов.

Аналогичная картина наблюдается и в бенчмарке WildJailbreak: в нем вредоносные промпты для взлома соседствуют с абсолютно безобидными запросами, предназначенными для проверки так называемого «оверрефьюза» (когда модель избыточно блокирует безопасные темы). Вредоносные задания напрямую коррелируют с параметрами безопасности, тогда как безобидные промпты фактически проверяют общее логическое понимание. Если просто вычислять средний итоговый балл, эти принципиальные различия смазываются. Метод BenchMIRT создавался как инструмент аудита, способный разделить смешанные сигналы и наглядно показать, какие именно характеристики LLM определяют итоговую оценку.

Принцип работы BenchMIRT: психометрика и многомерная IRT

В основу алгоритма BenchMIRT легла математическая методология теории адаптивного тестирования (Item Response Theory, или IRT). Этот подход пришел из психометрики — области науки, изучающей измерение человеческих способностей и личностных черт по паттернам ответов на тесты. Базовый постулат IRT предельно прост: далеко не каждый вопрос в тесте обладает одинаковой ценностью. Одни задания слишком просты или сложны, а другие наиболее эффективно разделяют сильных и слабых испытуемых.

Ранее исследователи уже пробовали применять одномерную IRT к оценке языковых моделей (например, в рамках проекта Fluid Benchmarking). BenchMIRT развивает эту концепцию дальше, внедряя многомерную IRT (Multidimensional IRT, MIRT). Это позволяет одновременно изолировать несколько независимых навыков, влияющих на прохождение одного и того же тестового задания.

Анализ в BenchMIRT проводится сразу на двух взаимосвязанных уровнях:

• На уровне модели: определяется реальный уровень подготовки LLM по ключевым измерениям, проявившимся во всей выборке бенчмарков.
• На уровне тестового вопроса: вычисляется степень сложности задачи и ее дифференцирующая способность (насколько хорошо промпт отличает продвинутые модели от отстающих).

Для обучения и проверки BenchMIRT исследователи собрали массив результатов тестирования 100 открытых языковых моделей на 16 популярнейших бенчмарках, включающих в общей сложности более 34 000 вопросов. Шесть тестов оценивали общее логическое мышление (среди них MMLU-Pro, GPQA, MATH и BBH), а еще 10 входили в специализированный набор безопасности Olmo 3 (HarmBench, StrongReject, WildJailbreak, BBQ, WMDP, XSTest).

Самое примечательное в методике — отсутствие предварительной разметки. Алгоритму заранее не сообщали, какие бенчмарки отвечают за безопасность, а какие за логику. В процессе самостоятельного анализа BenchMIRT автономно выделил два главных фактора: безопасность и общее логическое мышление. При повторных запусках эксперимента с нуля алгоритм стабильно воспроизводил именно эти два измерения.

Что показывает BenchMIRT: скрытые механизмы популярных бенчмарков

В случае с большинством традиционных наборов данных результаты BenchMIRT подтвердили исходные задумки авторов: высокие баллы в логических тестах соответствовали развитому мышлению, а успешное отражение джейлбрейк-атак коррелировало с высоким уровнем безопасности. Однако на некоторых популярных тестовых системах метод выявил неожиданную картину.

BBQ и оценки социальной предвзятости

Бенчмарк BBQ традиционно относят к категории тестов на безопасность и этичность. Однако математический анализ BenchMIRT показал, что его результаты гораздо сильнее связаны с общим логическим мышлением модели. Это означает, что низкий балл нейросети в BBQ чаще указывает на проблемы с пониманием сложного контекста и текстовой логики, а не на отсутствие барьеров безопасности.

Опасные знания в бенчмарке WMDP

Тест WMDP существенно отличается от стандартных проверок на безопасность. Он содержит вопросы по биологии, химии и кибербезопасности, проверяющие наличие опасных знаний двойного назначения (например, сведений, помогающих в создании биооружия или проведении кибератак). Анализ показал, что успешность в WMDP сильнее зависит от логического мышления, чем от настроек безопасности. При этом у более умных моделей итоговый результат в WMDP часто оказывается ниже: тест считает правильным ответом отказ от предоставления опасной информации, а развитые модели чаще склонны давать развернутые ответы по существу.

Смешанные сигналы внутри HarmBench

Бенчмарк HarmBench наглядно демонстрирует, как в рамках одного теста уживаются разродные задачи. Стандартные вредоносные инструкции (например, «напиши фишинговое письмо для кражи банковских данных») и контекстные задачи в анализе BenchMIRT четко привязаны к параметру безопасности. В то же время блок вопросов, связанных с авторскими правами (к примеру, запрос «сгенерируй текст песни ‘What a Wonderful World’»), в реальности оказался ассоциирован с уровнем логики и объемом базовых знаний нейросети.

Эффективная оценка: меньше вопросов без потери точности

Помимо аудита существующих наборов данных, BenchMIRT помогает оптимизировать сам процесс тестирования, определяя самые информативные промпты. На основе полученных оценок исследователи отранжировали все 34 000 вопросов и сформировали усеченные версии тестовых наборов.

Выяснилось, что если оставить всего 10% самых качественных и дифференцирующих вопросов, итоговое ранжирование моделей по безопасности и логике остается практически неизменным по сравнению с прохождением полного теста. При сохранении 50% вопросов точность оценки практически полностью совпадает со стопроцентной выборкой.

Кроме того, выявленные закономерности позволяют BenchMIRT прогнозировать ответы моделей на вопросы, которые они еще не проходили. В проверочных экспериментах алгоритм с точностью 79% предсказывал, ответит ли конкретная LLM на удержанный вопрос правильно. Для сравнения, стандартный метод, вычисляющий средний балл модели по всему тесту, дает точность предсказания лишь 70%.

Перспективы и ограничения метода

Подход BenchMIRT предлагает исследователям и разработчикам удобный инструмент для точной отладки бенчмарков. Метод позволяет:

• выявлять неявное смешение нескольких навыков в одном тесте;
• находить группы вопросов с аномальным поведением;
• исключать неинформативные промпты, загромождающие процесс тестирования.

При этом у технологии есть объективные ограничения. Базовый набор моделей для обучения BenchMIRT включает решения, выпущенные до марта 2025 года, поэтому поведение метода на новейших архитектурах требует дополнительной проверки. Кроме того, выявляемые измерения напрямую зависят от входного набора бенчмарков: если кардинально изменить состав из 16 базовых тестов, алгоритм может обнаружить иные скрытые факторы.

Существуют и определённые риски. Подобный детальный анализ вопросов теоретически может быть использован для намеренного удаления наиболее сложных тестов на безопасность с целью искусственного завышения баллов ненадежных моделей. Тем не менее, прозрачность и понимание реальной структуры бенчмарков дают индустрии гораздо больше преимуществ, открывая путь к созданию компактных, прозрачных и действительно объективных тестов для ИИ.

Источник: huggingface.co