NVIDIA выпустила Nemotron 3.5 Super VL — открытую мультимодальную модель для ИИ-агентов

Компания NVIDIA представила открытую мультимодальную модель Nemotron 3.5 Super VL, разработанную для создания постоянных корпоративных ИИ-агентов. Новинка сочетает 120 миллиардов общих параметров с архитектурой смешения экспертов (MoE), при этом на один токен задействуется 12 миллиардов параметров.

Эта архитектура позволяет модели обрабатывать текстовые запросы, изображения, документы и видеоматериалы, выполнять логические задачи, вызывать внешние инструменты и генерировать код в рамках единого пайплайна. Для разработчиков это означает замену нескольких специализированных моделей (текстовых и визуальных) одним открытым чекпоинтом. Дополнительно разработчики анонсировали две компактные версии: Nemotron 3.5 Bolt 74B-A9B и Bolt E4B.

Основные характеристики и краткая сводка

Общий объем архитектуры составляет 120 млрд параметров при 12 млрд активных (MoE). Контекстное окно поддерживает длину до 1 миллиона токенов. Для запуска NVFP4-чекпоинта требуется один аппаратный узел вроде DGX Spark, ускоритель H200, два чипа H100 или система GB200, также доступна версия в формате BF16.

Заявлены высокие показатели в логических рассуждениях, агентском программировании и визуальном анализе документов. По данным создателей, производительность на одном GPU превосходит аналогичные открытые решения в несколько раз. Результаты варьируются от 89.90 балла в тесте GPQA-Diamond (NVFP4) до 17.78 балла в банковском бенчмарке tau3-bench.

Что представляет собой Nemotron 3.5 Super VL?

Новинка позиционируется как открытая мультимодальная агентская система. Веса распространяются по лицензии OpenMDW-1.1. Вместе с моделью NVIDIA выложила открытые датасеты, рецепты обучения и среды для обучения с подкреплением в NeMo Gym.

В карточке модели указана поддержка текстовых, визуальных и видеовходов с выводом текста. Обработка видео ограничена клипами MP4 продолжительностью до 2 минут. Режим рассуждений можно включать или отключать прямо в шаблоне чата.

Особенности архитектуры

В основе лежит бэкенд, объединяющий слои Mamba-2, механизмы смешения экспертов (MoE) и классические слои внимания. Каждый MoE-слой содержит 512 маршрутизируемых экспертов. Визуальный энкодер C-RADIO и специальный коннектор передают изображения, страницы документов и видеофреймы в языковую часть модели.

Высокая скорость работы достигается за счет четырех методик:

• Многотокенное предсказание: встроенный компонент предлагает несколько токенов, проверяемых за один прямой проход.
• LiLiCorr: спекулятивный генератор для систем DGX Spark, ускоряющий создание токенов до 2.3 раза.
• NVFP4 с дистилляцией: 4-битные веса и активации на платформе Blackwell, либо 4-битные веса с 16-битными активациями на другом оборудовании.
• Повторное использование контекста: кэширование префиксов сохраняет кэш внимания и состояния Mamba между шагами диалога.

Модель была получена путем дистилляции из Nemotron 3 Ultra. По информации команды, обучение проводилось примерно на 26 триллионах токенов, а этап доработки (post-training) включал около 3.8 миллиона образцов и обучение с подкреплением в десятках сред. Предварительное обучение также было дополнено 10 миллиардами токенов на индийских языках.

Результаты тестирования на бенчмарках

Все приводимые показатели отражают данные, опубликованные самой NVIDIA для NVFP4-чекпоинта. В задачах на логику (GPQA-Diamond) модель набирает 89.90 балла, в программировании (SWE-bench Verified) — 71.07 балла, а в тестах на использование терминала (Terminal-Bench 2.1) — 60.80 балла.

В веб-задачах (BrowseComp) результат составляет 77.5 балла, в следовании инструкциям (IFBench) — 71.50 балла, в анализе графиков (CharXiv) — 79.88 балла, а при обработке документов (MMLongBench-Doc) — 62.82 балла. Задачи компьютерного использования (OSWorld-Verified) оцениваются в 52.3 балла.

В испытаниях агентских фреймворков Super VL превосходит предыдущую версию Nemotron 3 Ultra: 63.44% против 56.33% на Hermes Bench и 87.05% против 84.3% на LangChain, несмотря на то, что модель Ultra обладает примерно в 4.6 раза большим общим числом параметров. Через эндпоинт Baseten фиксируется более 600 выходных токенов в секунду в агентских сценариях Artificial Analysis.

Сравнение с аналогичными открытыми моделями

Сравнение с конкурирующими решениями (такими как Qwen3.5-122B-A10B, Inkling-Small и Nemotron 3 Ultra) демонстрирует близкие показатели в ряде тестов, однако метрики получены самими разработчиками на разных версиях бенчмарков, поэтому небольшие разрывы в баллах требуют осторожной интерпретации.

Например, Qwen3.5-122B-A10B имеет 122 млрд параметров (10 млрд активных) и поддерживает контекст от 262k до 1 млн токенов. Модель от NVIDIA предлагает 120 млрд параметров (12 млрд активных) и нативный контекст до 1 миллиона токенов при открытой лицензии OpenMDW-1.1.

Варианты развертывания для разработчиков

Модель доступна на платформах Hugging Face, OpenRouter, ModelScope, а также в виде NVIDIA NIM. Поддерживаемые среды выполнения включают vLLM, SGLang и TensorRT-LLM на архитектурах Blackwell и Hopper. Локальный запуск возможен через llama.cpp и Unsloth.

Для производственных сценариев рецепты Dynamo добавляют маршрутизацию с учетом KV-кэша. На 16 графических процессорах B200 при скорости 50 токенов в секунду на пользователя NVIDIA заявляет об обслуживании в 8 раз большего числа пользователей и снижении задержки первого токена на 85%.

Инструменты NeMo AutoModel применяются для дообучения (SFT и LoRA), а NeMo RL — для обучения с подкреплением. В качестве практических примеров приводятся кейсы Scale AI (снижение затрат в 40 раз и уменьшение задержки в 5 раз), Ramp (рост пропускной способности до 50%) и AI21 (повышение точности на 40%).

Семейство моделей Nemotron 3.5 Bolt

Модификация Nemotron 3.5 Bolt 74B-A9B ориентирована на локальных агентов. Модель является результатом дистилляции из Super VL. Родная 2-битная квантизация позволяет ей помещаться в 24 ГБ памяти на системах с видеокартами RTX и платформах DGX Spark. Решение поддерживает работу с Hugging Face, llama.cpp, Ollama, LM Studio, Unsloth и vLLM.

Версия Bolt E4B с объемом 4 ГБ предназначена для голосовых помощников и встраиваемых агентов на базе GeForce RTX, Jetson, RTX и DGX Spark.