Открытая модель Beam на 501B параметров: архитектура, запуск и тонкая настройка

Американская лаборатория Reflection совместно с командой Hugging Face выпустила веса флагманской нейросети Reflection Beam-501B-A23B. Это масштабная открытая модель Beam с 501 миллиардом параметров, распространяемая по свободной лицензии Apache 2.0 и ориентированная на написание программного кода, автономные агентные сценарии и работу со сверхдлинным контекстом до 1 миллиона токенов.

Благодаря разреженной архитектуре Mixture of Experts (MoE) на каждый генерируемый токен активируется всего 23 миллиарда параметров, что позволяет системе сочетать высокую скорость выполнения запросов с эрудицией сверхкрупных языковых сетей. Модель комплектуется выделенным открытым рантаймом на Rust, нативной интеграцией в стек Transformers, vLLM и SGLang, а также готовыми инструкциями для SFT и обучения с подкреплением.

Архитектура и ключевые особенности модели Beam

Текстовая открытая модель Beam разработана для решения сложных алгоритмических задач и агентных цепочек, требующих глубокого контекстуального анализа. Внутренняя структура декодера включает 52 слоя со скрытой размерностью 5120 и опирается на сочетание локального скользящего внимания и глобальных контекстных проекций.

Механизм внимания и гибридная схема слоев

В декодере задействовано 43 слоя со скользящим окном (sliding-window attention) размером 512 токенов и 9 глобальных слоев, охватывающих весь контекст целиком (каждый шестой слой плюс финальный). Эти типы слоев принципиально различаются способом кодирования позиций. Слои скользящего окна применяют стандартные ротационные эмбеддинги RoPE, критически важные на коротких дистанциях. В глобальных слоях позиционные эмбеддинги отсутствуют вовсе: вместо них вектор запроса умножается на масштабирующий множитель вида (1 + (pos + 1) / 2048) ** 0.1, не позволяющий распределению softmax вырождаться по мере удлинения последовательности.

Внимание сгруппировано по схеме GQA (Grouped-Query Attention): 48 голов запросов (Q) и 8 голов ключей/значений (KV), нормализованных через RMSNorm. Перед финальной выходной проекцией каждый канал каждой головы масштабируется обучаемым сигмоидным гейтом, рассчитываемым напрямую из входа в слой.

Экспертные блоки Mixture of Experts

Первые 3 слоя нейросети построены на плотных блоках SwiGLU MLP. Оставшиеся 49 слоев содержат разреженные блоки MoE, каждый из которых включает 256 независимых экспертов SwiGLU с промежуточной размерностью 2560 (около 39 миллионов параметров на эксперта). На экспертные блоки приходится 98,4% общего объема параметров Beam.

Маршрутизатор использует групповую схему маршрутизации, схожую с DeepSeek-V3: все 256 экспертов оцениваются сигмоидой, делятся на 8 групп по 32 эксперта, после чего отбираются 4 лучшие группы (по сумме двух максимальных оценок внутри группы), а уже в них выделяются 8 итоговых экспертов. Общий разделяемый эксперт отсутствует, а выходы экспертов комбинируются с весами маршрутизатора и умножаются на коэффициент 2,5. Поскольку для каждого токена задействовано лишь 8 экспертов, реальный объем вычислений соответствует модели на 23B параметров, хотя для размещения всей структуры требуется объем памяти полноразмерной 501B-сети.

Балансировка резидуального потока

Существенным отличием архитектуры стала модификация резидуальных связей (Residual Stream). В стандартном трансформере выходы подслоев суммируются с единичным коэффициентом, из-за чего скрытое состояние неограниченно растет в глубину. В Beam входной эмбеддинг считается шагом 1. На каждом последующем шаге k выход подслоя складывается с весом 1/sqrt(k), а текущий накопительный поток берется с весом sqrt((k-1)/k).

Сумма квадратов весов строго равна единице, благодаря чему шкала значений резидуального потока остается стабильной от первого до последнего слоя, а после 104 сложений все промежуточные выходы имеют одинаковый вес в финальном представлении. Каждый подслой дополнительно нормализуется на входе и выходе, а выходные логиты ограничиваются мягким порогом tanh softcap в диапазоне ±30. Прецизионные расчеты в FP32 жестко зафиксированы для софткэпа, маршрутизатора, произведения SwiGLU, слоев RMSNorm, RoPE и масштабирования запросов.

Эффективность при обработке длинного контекста

Гибридная компоновка внимания резко сокращает затраты памяти на KV-кэш. При стандартном подходе сохранение контекста в 1 миллион токенов на 52 полных слоях потребовало бы порядка 208 ГБ на последовательность в формате BF16. В Beam полный контекст хранят только 9 глобальных слоев, тогда как 43 слоя скользящего окна фиксируют исключительно последние 512 токенов. В результате потребление кэша падает до 36,08 ГБ на миллион токенов — сокращение более чем в 5,5 раз.

Результаты тестирования и бенчмарки

По официальным данным лаборатории Reflection, квантование практически не снижает качество генерации по сравнению с исходным весом BF16. В задачах на программную инженерию SWEBench Verified показатель модели составляет 81,6% (BF16), 80,2% (FP8) и 80,7% (NVFP4). На бенчмарке Terminal Bench v2.1 зафиксировано 80,1% в BF16 и 78,2% в NVFP4, а в DeepSWE v1.1 — 43,3% против 42,7% соответственно.

В тестах на сложное математическое мышление AIME 2026 открытая модель Beam достигла 97,7% в BF16, 98,0% в FP8 и 97,5% в NVFP4. Логический бенчмарк GPQA Diamond демонстрирует точность 90,6% (BF16) и 89,3% (NVFP4), а решение задач по программированию LiveCodeBench — 88,3% и 87,4%. При вызове внешних инструментов через интерфейс MCP Atlas точность сохраняется на уровне 80,5–81,5% во всех вариантах точности весов.

Требования к аппаратному обеспечению

Полноразмерный чекпоинт BF16 занимает около 1 ТБ в формате safetensors, поэтому для продакшена наиболее практичен формат NVFP4, сжимающий веса до примерно 280 ГБ с сохранением чувствительных слоев в BF16. Нативная поддержка формата NVFP4 реализована в архитектуре NVIDIA Blackwell.

Один ускоритель NVIDIA B200 оснащен 180 ГБ памяти HBM3e, поэтому пара карт суммарно дает 360 ГБ — этого объема достаточно для загрузки весов, но почти не остается резерва под активации и длинный KV-кэш. Для полноценного развертывания с поддержкой длинного контекста и параллельных сессий рекомендуется кластер из четырех B200 (720 ГБ) либо двух B300 (по 288 ГБ каждый). На архитектуре NVIDIA Hopper (H200) или Ampere предпочтительно использовать чекпоинты в формате FP8 на 8 или 16 графических процессорах.

Развертывание и инференс

Для запуска Beam доступна готовая инфраструктурная поддержка первого дня в ключевых библиотеках машинного обучения с открытым исходным кодом.

Интеграция с библиотекой Transformers

Для запуска через стандартный пайплайн Hugging Face необходима версия пакета не ниже transformers>=5.20.1. Текстовая генерация запускается штатным методом pipeline("text-generation", model="reflection/Beam-1.0-501B-A23B", device_map="auto").

Обработка диалогов и форматирование рассуждений

При использовании низкоуровневых классов AutoModelForCausalLM и AutoTokenizer токенизатор применяет специальный шаблон чата с параметром reasoning_effort (по умолчанию “medium”, с доступными градациями low, high, xhigh и max). Встроенная функция tokenizer.parse_response автоматически разбирает сгенерированный текст, разделяя фазу рассуждений (thinking trace), финальный ответ и аргументы вызовов внешних функций без необходимости писать регулярные выражения.

Вызов внешних инструментов (Tool Calling)

Beam формулирует аргументы вызовов функций встроенной XML-подобной грамматикой. Если передать схему инструментов в apply_chat_template и затем передать ее в parse_response, парсер автоматически преобразует строковые значения параметров в заявленные типы (например, строгую типизацию чисел и флагов).

Многоузловая конфигурация с Expert Parallelism

Модель поддерживает параллелизм по экспертам (Expert Parallelism, EP) через DistributedConfig. Внимание, плотные слои, эмбеддинги и LM-head дублируются на каждом устройстве (около 16 ГБ в BF16), а 256 экспертов распределяются по картам. Скрипт запускается через утилиту torchrun на 16 ускорителях H200 (по 78 ГБ весов на карту). Количество доступных GPU обязано быть кратным числу экспертов (256).

Высокопроизводительный инференс в vLLM

Фреймворк vLLM поддерживает запуск BF16-чекпоинта на двух узлах 8x H200 (тензорный параллелизм 16) с публикацией OpenAI-совместимого API. Для резкого ускорения инференса авторы предлагают спекулятивное декодирование алгоритмом DFlash2: легковесная черновая модель reflection/dflash2-drafter-preview генерирует вперед до 15 токенов, которые Beam верифицирует за один прямой проход.

Обслуживание через SGLang

Инференс-движок SGLang также оптимизирован для Beam со спекулятивным декодированием DFlash2. На серверах Blackwell конфигурация NVFP4 запускается на четырех B300 с бэкендом внимания trtllm_mha и размером страниц 64. Для систем Hopper на 8x H200 используется FP8-чекпоинт с бэкендом fa3 (FlashAttention 3) и параллелизмом TP=8.

Облачные провайдеры и Inference Endpoints

Пользователи без собственной аппаратной базы Blackwell или Hopper могут запускать Beam через Hugging Face Inference Providers (при участии Baseten, Fireworks и Together) по стандартному протоколу OpenAI, а также развертывать выделенные экземпляры через Hugging Face Inference Endpoints одной консольной командой hf endpoints catalog deploy --repo reflection/Beam-1.0-501B-A23B --name beam.

Практические тесты поведения модели (Vibe Evals)

Разработчики Hugging Face провели выборочное качественное тестирование Reflection Beam-501B-A23B на пяти нетривиальных сценариях, сравнив режимы рассуждений низкой (low) и высокой (high) интенсивности:

• Многошаговый вызов инструментов: обработка сложного складского заказа с расчетом тарифов, резервов и сроков доставки успешно выполнена в обоих режимах (544 токена рассуждений на low, 811 на high).
• Поиск в длинном контексте по кодовой базе: при низком усилии модель корректно определила поведение программы и привела все 6 ссылок, но отклонилась от формата парсера; режим высокой интенсивности потратил 5007 токенов рассуждений и дал идеальный валидный результат.
• Терминальные задачи в песочнице: анализ и отладка утилиты CLI для работы с CSV-файлами успешно решены в обоих режимах с сохранением всех тестов.
• Математические доказательства: в олимпиадной задаче уровня AIME режим low дал правильный ответ, но пропустил доказательство, тогда как high сформировал полное математическое доказательство через корни из единицы (2809 токенов).
• Структурированный вывод: сборка неупорядоченного журнала ревизий в строгий JSON с обработкой дат и валют безошибочно выполнена в обоих вариантах.

Постобучение и адаптация

Для адаптации весов под собственные сценарии предложены методики контролируемого дообучения и обучения с подкреплением.

Контролируемое дообучение (SFT) через TRL

С использованием библиотеки TRL (модуль SFTTrainer) и адаптеров LoRA через PEFT авторы провели эксперимент по обучению модели сохранять язык рассуждений в соответствии с языком запроса пользователя. Обучение проводилось на датасете Multilingual-Thinking. Связка из шардирования весов, FlashAttention 4, упаковки последовательностей и параллелизма по экспертам позволила запустить LoRA SFT на одном узле с 8 картами B300 со скоростью около 19 000 токенов в секунду (аналогичный процесс на H100 требует 4 узла). После одной эпохи точность соблюдения языка рассуждений на валидационном наборе выросла с 3/16 у базовой модели до 16/16 у дообученной.

Обучение с подкреплением GRPO во фреймворке Miles

Команды Reflection и RadixArk подготовили рецепт обучения модели по алгоритму Group Relative Policy Optimization (GRPO) в среде Miles в формате BF16. Пайплайн объединяет вычисления в Megatron, генерацию вариантов (rollouts) в SGLang и синхронизацию весов через Miles.

Тестовый запуск проводился на датасете DAPO-Math-17K с валидацией по AIME25 в кластере Ray из 12 узлов по 8x H200 (всего 96 карт: 64 под обучение, 32 под инференс):

• На этапе сэмплирования передаются 32 промпта с генерацией по 8 ответов (всего 256 последовательностей).
• Оценка осуществляется проверкой финального ответа в рамке с мягким штрафом за превышение длины ответа.
• Один шаг оптимизатора Adam (learning rate 1e-6) с параллелизмом TP=8, EP=8, DP=8 и полным пересчетом активаций. Состояние оптимизатора непрерывно сбрасывается на локальные NVMe-накопители узлов (требуется от 2 ТБ дискового пространства на ноду).
• Генерация следующего сэмпла происходит асинхронно параллельно шагу оптимизации.

Оптимизация параметров с помощью LoRA

Для снижения аппаратных требований GRPO можно запускать с адаптерами LoRA (ранг 16) на четырех узлах по 8x H200 (16 карт на обучение, 16 на генерацию). В этом случае базовые веса заморожены, адаптеры навешиваются на слои внимания, плотные MLP и экспертные блоки, а состояние оптимизатора целиком помещается в видеопамять, устраняя потребность в скоростном NVMe-оффлоадинге.

Примеры прикладных сценариев

Чтобы продемонстрировать возможности модели, авторы первоисточника протестировали открытую модель Beam в трех реальных задачах системной разработки.

Создание нативного macOS-приложения

С помощью агентного окружения Pi модели Beam поставили задачу с нуля написать утилиту BeamSpeak для macOS. Приложение размещается в строке меню, вызывается по нажатию горячих клавиш ⌘⇧Space, перехватывает звук с микрофона и в режиме офлайн транскрибирует речь в текст через локальный движок MLX и модель Parakeet v3, автоматически вставляя результат в активное окно по месту курсора. Модель справилась с формированием кода, обработкой системных разрешений и управлением буфером обмена.

Многоагентная разработка программного кода

В бенчмарке ProgramBench исследователи сопоставили три конфигурации работы Beam: одиночный агент, пять равноправных агентов, взаимодействующих через общий репозиторий Git, и ведущий агент с асинхронным делегированием подзадач. Задача заключалась в воссоздании исходного кода программ по их скомпилированным бинарным файлам и документации. Многоагентные структуры продемонстрировали более высокий темп успешного прохождения закрытых тестов при фиксированном лимите API-токенов в 8 миллионов и двухчасовом тайм-лимите.

Обучение легковесной модели принятия решений

В третьем эксперименте Beam использовали как управляющего агента для обучения компактной модели маршрутизации инцидентов технической поддержки. С помощью Unsloth на базе Qwen3.5-0.8B за три эпохи была обучена специализированная модель классификации на 2300 синтетических инцидентах. В результате точность определения ответственной команды, критичности сбоя и необходимости срочного оповещения выросла с 4,69% (у промптированной базовой модели) до 76,25%, а задержка обработки тикета сократилась с 1218 мс до 102 мс (ускорение в 11,9 раза).