Мой блог
NVIDIA Nemotron 3.5 Transcribe и Granary v2: Мультиязычное распознавание речи с поддержкой промптов
Современные речевые технологии часто сталкиваются с тем, что точная расшифровка слов не дает ответов на вопросы о том, кто именно говорил, как перевести текст на другой язык или корректно оформить специфические термины. Для решения подобных задач создана модель NVIDIA Nemotron 3.5 Transcribe, объединяющая возможности транскрипции, диаризации, перевода и ответов на вопросы по аудио.
Новая открытая разработка доступна на платформах Hugging Face и ModelScope вместе с датасетом Granary v2, что позволяет разработчикам не только использовать готовую языковую модель с поддержкой текстовых инструкций, но и адаптировать ее под конкретные предметные области.
Управление распознаванием речи при помощи естественного языка
Архитектура модели позволяет направлять процесс обработки записей с помощью простых текстовых инструкций. Один и тот же контрольный пункт может выполнять транскрипцию с разметкой спикеров, переводить аудиоматериал на английский язык или отвечать на вопросы о содержании встречи. Поддерживается работа с записями длительностью до одного часа и разделение до восьми говорящих участников.
Для работы со сложной специфической лексикой применяется предварительный контекстный ввод терминов. Разработчики могут указывать возможные ключевые слова, которые модель будет использовать строго при поддержке аудиосигнала. Помимо этого, поддерживаются временные метки на уровне отдельных слов, что удобно для синхронизации текста с видеозаписями лекций или учебных материалов.
Результаты на бенчмарках и производительность
Среди моделей с открытыми весами новинка занимает лидирующие позиции на независимых тестах, демонстрируя высокую точность расшифровки и эффективное разделение голосов.
На бенчмарке Hugging Face Open ASR для английского языка модель показала средний уровень ошибок (WER) на отметке 5,33%. В тестах Artificial Analysis инструмент демонстрирует показатель 2,8% AA-WER, используя около 4 миллиардов активных параметров благодаря гибридной структуре Mamba-Transformer и смеси экспертов.
В задачах диаризации на платформе David AI система фиксирует наименьший уровень ошибок (DER) в 18,26% среди 21 языка, а в бенчмарке VoiceArena показывает лучшие результаты по метрике cpWER для полных сессий с пересекающейся речью.
Аппаратная часть может ограничиваться одним графическим ускорителем NVIDIA. На серверах с картами Blackwell при использовании пониженной точности обработка ста часов аудиоматериала занимает менее трех минут.
Датасет Granary v2 и конвейер курации данных
Качественное обучение речевых моделей требует четких целевых форматов. Набор данных Granary v2 включает информацию по 48 языкам и 16 источникам, охватывая сотни тысяч часов записей. Конвейер подготовки данных строится на базе инструментов NeMo Curator.
Для каждого фрагмента аудиосигнала система формирует несколько вариантов текста: дословный с естественными паузами-паразитами, а также нормализованный с инверсией текста и без нее. Дополнительно извлекаются короткие описания аудио, данные о переключении языков и пары для вопросов и ответов.
Процесс подготовки включает несколько стадий, начиная с аудиопрoверки и разделения дорожек до автоматической маршрутизации через основные и резервные модели распознавания. Фильтрация отсеивает зашумленные и обрезанные фрагменты, оставляя массив высококачественных данных для обучения.
Адаптация модели под узкоспециализированные домены
В случаях, когда стандартных возможностей недостаточно, применяется тонкая настройка с использованием специализированных наборов данных. На примере медицинских бенчмарков показано, что сочетание точных промптов и дообучения через инструменты NeMo Speech существенно снижает количество ошибок.
Синтетическая генерация данных разделяет написание терминов и их звучание, используя различные голоса для расширения вариативности. Процесс дообучения задействует методы адаптации языковых моделей (LoRA), после чего контрольные точки усредняются для получения финальной версии системы.
Развертывание готовых контрольных точек возможно локально с помощью утилит vLLM или через готовые хостинговые эндпоинты. Открытые манифесты и инструкции позволяют адаптировать систему под любые профессиональные требования.
