Масштабирование языковых моделей: 2,8 триллиона токенов для индийских языков

Масштабирование языковых моделей для редких и региональных языков требует огромных объемов размеченных данных. Разработчики представили масштабный корпус Nemotron-pretraining-Indic-v1, включающий около 2,8 триллиона токенов для 22 официальных языков Индии.

Проект разработан силами специалистов NVIDIA, Индийского технологического института в Мадрасе (IIT Madras) и исследовательской лаборатории AI4Bharat. В открытый доступ также выкладывается GPU-ускоренный конвейер генерации данных, который использовался при создании датасета.

Состав корпуса данных и конфигурации скриптов

Полученный корпус охватывает 34 языково-скриптовые конфигурации. Он содержит данные на родных алфавитах для всех 22 языков, а также романизированный текст (написанный латиницей без перевода на английский) для 12 языков. Такой подход позволяет учитывать особенности письма разных аудиторий и гибко настраивать смеси для обучения нейросетей.

Токенный состав включает свыше 2,6 триллиона токенов на родных алфавитах и более 224 миллиардов романизированных токенов (подсчет велся с использованием токенизатора Gemma-4). При этом разделение на нативную графику и латиницу помогает моделировать различное визуальное и текстовое представление информации в рамках единой смысловой базы.

Процесс генерации: от английских документов к индийским данным

Первоисточником для синтетических текстов служат 15 подмножеств репозитория Nemotron-CC-v2, которые включают веб-страницы, математические статьи, программный код и материалы формата «вопрос-ответ». Для автоматизированной обработки применяется NeMo Data Designer — открытый фреймворк NVIDIA для генерации синтетических данных.

Особенности работы с двенадцатью языками

Для первой группы из двенадцати языков документы переводятся целиком, чтобы модель сохраняла контекст между абзацами, таблицами и формулами. В качестве базового переводчика и оценщика используется модель Gemma-4-31B-it. Промпты настраиваются так, чтобы отделять переводимую прозу от технического контента, который нужно оставлять без изменений (код, URL, математические выражения).

Каждый результат оценивается по методике, вдохновленной стандартом Multidimensional Quality Metrics (MQM). Порогом отпускаются варианты с оценкой не ниже 75 баллов из 100. Если текст набирает меньше, задействуется механизм обратной связи для исправления ошибок. Для двенадцати языков также создается романизированная версия на базе проверенных нативных переводов.

Сценарий для остальных десяти языков

Для оставшихся десяти языков рабочий процесс адаптирован под особенности синтаксиса и стабильности письма. Перевод выполняется через инструмент Indic Translate от некоммерческого центра Bodhan AI. Проверка качества также проводится с помощью Gemma-4-31B-it, однако исправление текстов через обратную связь здесь не применяется, а на выходе формируются только данные на родных алфавитах.

Результаты предварительного обучения и выводы

Интеграция 10 миллиардов токенов из нового корпуса в этап дополнительного предварительного обучения (Continued Pretraining, CPT) модели Nemotron 3.5 Super VL привела к улучшению показателей. В частности, выросли баллы на пяти ключевых бенчмарках знаний и рассуждений: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy и Indic GSM8K.

Новый релиз предоставляет разработчикам готовые инструменты для оценки, загрузки через Hugging Face Datasets с поддержкой потоковой передачи, а также плагин для кастомизации процесса генерации под собственные домены. Авторы отмечают, что синтетические данные дополняют, но не заменяют естественно написанный контент, поэтому для лучших результатов их рекомендуется комбинировать с реальными текстами на региональных языках.