Традиционные бенчмарки часто упускают из виду ключевые условия и параметры, делающие системы голосового управления и современные технологии, выполняющие распознавание речи, надежными и эффективными. Именно поэтому разработчики внедряют отложенные тестовые наборы в Real World VoiceEQ, Open-ASR Leaderboard и Far-field ASR Leaderboard, чтобы эффективнее оценивать качество систем. Однако расширение спектра измерений не решает проблему полностью. Это явление, известное как оптимизация под бенчмарки или «бенчмаксинг», активно обсуждается в сфере машинного обучения, однако его количественная оценка долгое время оставалась сложной задачей. Последние исследования предлагают специализированные тесты для измерения этого эффекта.

Оценка открытых моделей распознавания речи

В ходе тестирования 11 популярных открытых моделей автоматического распознавания речи выяснилось, что некоторые системы с наивысшими баллами дословно воспроизводили эталонные транскрипты из датасетов VoxPopuli и LibriSpeech. Это происходило даже в тех ситуациях, когда аудиодорожка противоречила тексту, ключевые слова были приглушены или запись допускала разные варианты расшифровки. В ряде случаев модели ориентировались не только на сказанное, но и на скрытые акустические признаки. В результате их итоговые баллы завышали реальные возможности универсальной расшифровки голоса.

Проверка на ошибки в датасете VoxPopuli

Известно, что база VoxPopuli содержит значительное количество ошибок транскрипции. Специальный тест проверяет поведение ведущих моделей при столкновении с такими неточностями: стремятся ли они точно зафиксировать звучащую речь или слепо копируют ошибочный эталон. Для масштабной проверки применяется ансамбль независимых моделей с низким уровнем фонетических ошибок. По соответствующим метрикам оценивается степень соответствия текста звуковому ряду.

Результаты работы ансамбля позволяют выявлять фрагменты, где модели единогласно расходятся с эталонным текстом бенчмарка. Выборочная проверка таких случаев с привлечением разметки человека помогает подтвердить корректность исправленных вариантов. Например, в одном из фрагментов VoxPopuli слышна фраза «Thank you, Mr. President», однако в эталонной расшифровке вводная часть отсутствует. Часть протестированных систем воспроизвела ошибочный вариант вопреки реальному звуку, копируя также стиль оформления бенчмарка.

Акустические подсказки и реакция моделей

При использовании аналогичного контента, озвученного новыми голосами или синтезированными аудиозаписями, такое поведение часто ослабевает или исчезает. В тестовых примерах большинство моделей возвращается к точной расшифровке аудиосигнала для клонированной записи. Это указывает на то, что алгоритмы реагируют на акустические маркеры, помогающие распознать принадлежность к бенчмарку, и генерируют ожидаемый текст.

Официальный эталонный текст для конкретного фрагмента выглядит определенным образом, однако звуковой файл содержит дополнительные вводные слова. Часть моделей успешно справляется с задачей и фиксирует реальное звучание, в то время как другие повторяют ошибки эталона.

CohereLabs/cohere-transcribe-03-2026

Все транскрипции представляют собой вывод моделей до нормализации. Тестирование охватывает оригинальную запись VoxPopuli, клонированный голос того же спикера и клонированный голос парламентского оратора, записанный после даты отсечения данных. В сводке для модели CohereLabs на реальном клипе зафиксирована ошибка, на клоне того же спикера — ошибка, а на свежем клоне — корректный результат. Другие архитектуры демонстрируют схожие или отличные паттерны поведения, причем некоторые системы ошибаются во всех сценариях, а другие адаптируются к свежим данным.

Интересно, что отдельные модели переключаются между воспроизведением бенчмарка на реальном клипе и корректным распознаванием на клоне. Если же синтезировать предложение заново с помощью универсального голоса TTS, не связанного с парламентскими записями, большинство моделей восстанавливает утерянную формулировку. Полученные результаты доказывают, что эта проблема носит широко распространенный характер.

Примененная методология выявила потенциальные ошибки в эталонных данных примерно в 40% проанализированных тестовых клипов VoxPopuli. Системы с наименьшим уровнем ошибок на бенчмарках с наибольшей вероятностью копируют эти чужие ошибки. Дополнительные тесты с удалением звука на месте чисел также показали, что некоторые алгоритмы склонны достраивать пропущенные данные или конкретные годы вопреки полной тишине на аудиодорожке.

CohereLabs/cohere-transcribe-03-2026

Анализ результатов конкретных моделей в таблицах бенчмарков показывает характерные особенности работы систем. Часть моделей обоснованно не воспроизводит слова из эталонной транскрипции, опираясь на реальное аудио, другие же фиксируют ошибочный, не подтвержденный аудиоматериалом контент.

Рассмотрим пример обработки фрагмента проекта бюджета за 2011 год с замаскированными числами. Эталонный текст содержал определенные числовые показатели, в то время как фактическая аудиозапись существенно отличалась. Различные архитектуры справились с этим заданием по-разному: часть систем выдала точные числовые значения, другие использовали цифровую запись, а некоторые добавили непредусмотренные междометия или ошибочные окончания.

Показатели восстановления данных оказывались выше на публичных бенчмарках и снижались на отложенных или свежесобранных аудиоматериалах. На датасете LibriSpeech некоторые модели воспроизводили замаскированные числа примерно в 30–40% примеров, несмотря на предварительное удаление цифр из аудио. Для проверки этой гипотезы исследователи использовали зонд орфографического переключения, определяющий зависимость написания от ожиданий экзаменаторов.

Особенности орфографического выбора и переключения между вариантами

Когда модели систематически подстраиваются под написание, зафиксированное в эталонной транскрипции каждого конкретного теста, это указывает на их способность улавливать ожидания разработчиков бенчмарков. Внутри датасета LibriSpeech исследователи проверяют внутринаборное переключение, затрагивающее орфографическую традицию. Для оценки этого явления измеряется уровень переключения, показывающий, насколько стабильно модель выбирает определенное написание.

Второй метод оценивает межкорпусное переключение, при котором каждый бенчмарк использует определенное орфографическое правило. Несколько моделей преодолевают порог случайного выбора, достигая высокой точности переключения. Это свидетельствует о том, что системы способны распознавать происхождение аудиофрагмента и подстраиваться под ожидаемый стандарт написания.

Для проверки того, распространяется ли подобное поведение за рамки стандартных тестов, были собраны свежие аудиоданные из тех же исходных доменов. Тем не менее, при работе с новыми записями многие модели прекращают подстраиваться под эталон и возвращаются к более точной расшифровке звукового сигнала. К аналогичным выводам приводят и другие эксперименты с удалением контекста или добавлением разговорной речи.

В совокупности полученные результаты показывают, что алгоритмы способны корректно обрабатывать произнесенные слова, однако задействуют акустический контекст, чтобы решить, следовать ли исходному звуку или регламенту теста. Для специалистов это подчеркивает критическую важность применения полностью изолированных тестовых наборов и оценки технологий шире, чем по простому показателю частоты ошибок на одном бенчмарке. Разработчикам тестов рекомендуется отказаться от стандартных выборок в пользу разделения на основе временных меток и метаданных для более точного измерения прогресса.

Источник: huggingface.co