Мой блог
Meta выпустила Muse Spark Open: модель с 816 млрд параметров и контекстом 1M
Подразделение Meta Superintelligence Labs представило Muse Spark Open — открытую версию языковой модели Muse Spark. Новинка представляет собой архитектуру Mixture-of-Experts с общим объемом в 816 миллиардов параметров, из которых для каждого токена активируется 42 миллиарда.
Мультимодальная система способна обрабатывать текстовые запросы, изображения, видео и аудио, выдавая текстовый ответ. Объем поддерживаемого контекста составляет 1 миллион токенов, а веса модели доступны в форматах BF16 и NVFP4.
Что такое Muse Spark Open?
Модель создана для задач программирования и долгосрочных агентских сценариев. Открытая версия прошла дополнительный этап пост-тренинга для повышения безопасности, что делает её устойчивее без необходимости задействовать внешние системные фильтры.
Особенности архитектуры
Техническая документация указывает наличие 62 слоев и скрытой размерности 8192. Каждый слой MoE включает 256 экспертов, а маршрутизация top-k активирует по 8 экспертов на один токен. Механизм внимания построен на основе grouped-query и содержит 128 голов запросов и 16 голов ключей/значений. За обработку визуальных данных отвечает отдельный модуль Perception Encoder емкостью 1,8 миллиарда параметров. Словарь модели насчитывает 202 048 токенов, а обучающая выборка охватывает свыше ста языков. Глубина рассуждений регулируется параметром reasoning_effort со значениями low, medium, high и xhigh, где по умолчанию выставлен уровень xhigh.
Результаты тестирования на бенчмарках
Разработчики провели сравнение с конкурирующими решениями, включая Kimi K3, GLM 5.3 и Qwen3.8, при максимальной глубине рассуждений. Наилучшие результаты зафиксированы в тестах на использование инструментов и надежность знаний: в испытании MCP-Atlas модель набрала 89.2 балла, опередив соперников, а в JobBench показала 61.8 балла.
При этом слабым местом оказалось программирование. В тесте Terminal-Bench 2.1 показатель составил 76.4 балла, что уступает результатам Kimi K3 (85.0), GLM 5.3 (83.9) и Qwen3.8 (82.0). Индекс Artificial Analysis Intelligence Index зафиксирован на отметке 39.
Системные требования и необходимое железо
Для запуска в формате BF16 требуются веса весом около 1,6 ТБ и объем видеопамяти не менее 2 ТБ. Квантование NVFP4 затрагивает только экспертные блоки, уменьшая общий объем до 530 ГБ, а рекомендуемый объем VRAM составляет от 700 ГБ.
В условиях дата-центра версию NVFP4 можно запустить на 4 графических процессорах Blackwell Ultra или на 8 картах H200. На декстопном уровне поддерживается связка из двух компьютеров Mac Studio с чипами M5 Ultra по 512 ГБ памяти каждый, объединенных через Thunderbolt 5 с поддержкой RDMA, где фреймворк MLX распределяет слои между устройствами. На рабочих станциях динамические GGUF-модели от Unsloth сжаты до 2 бит и помещаются примерно в 300 ГБ комбинированной памяти.
Инструменты для запуска и инфраструктура
С первого дня поддерживаются такие движки и фреймворки, как SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp и Unsloth. Облачные API доступны на платформах Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI. Платформа OpenRouter устанавливает расценки на уровне 1,25 доллара за 1 миллион входных токенов и 4,25 доллара за 1 миллион выходных токенов.
Для ускорения декодирования предусмотрены две вспомогательные модели: DFlash V2 для SGLang и DSpark для vLLM. На чипах AMD MI355X использование DFlash V2 увеличивает пропускную способность для одиночного запроса в 3,7 раза. Дообучение поддерживается инструментами TorchTitan, Hugging Face TRL и NVIDIA NeMo AutoModel.
Условия лицензирования Muse Model License
Лицензия разрешает использование, дообучение, дистилляцию и распространение модели. Основные требования заключаются в необходимости размещать надпись «Built with Muse Spark Open» в создаваемых продуктах. Для провайдеров сервисов Model-as-a-Service с годовой выручкой свыше 20 миллионов долларов требуется заключение отдельного соглашения с Meta, в то время как внутреннее использование, исследования и внедрение функций в собственные продукты освобождены от этого требования.
