Модель LFM2.5-24B-A2B для локальных ИИ-агентов

Современная архитектура LFM2.5-24B-A2B представляет собой компактную систему с 24 миллиардами параметров, из которых в каждый момент времени активно лишь 2 миллиарда. Решение создано для запуска быстрых и конфиденциальных автономных агентов непосредственно на локальных устройствах пользователя, обеспечивая эффективную обработку запросов и вызов внешних инструментов.

Интерфейс модели ориентирован на построение логических цепочек рассуждений перед выдачей финального ответа. Благодаря экспертной структуре MoE каждый токен рассуждения обходится недорого, что позволяет поддерживать непрерывную работу интеллектуальных агентов на обычном потребительском «железе» без необходимости отправки конфиденциальных данных на удаленные облачные серверы.

Особенности архитектуры и обучение агента

Новая модель сохраняет базовую структуру своего предшественника LFM2-24B-A2B, включая 40 слоев и 64 эксперта на каждый блок MoE с маршрутизацией top-4. При этом контекстное окно было существенно расширено — с 32 тысяч до 131 тысячи токенов. Кроме того, была проведена модернизация токенизатора прямого включения, что позволило увеличить размер словаря с 65K до 128K элементов для более качественной обработки нелатинских символов.

Процесс предварительного обучения был масштабирован с 17 до 33 триллионов токенов. На этапе промежуточного обучения разработчики добавили еще 2 триллиона токенов для контекста 32K с упором на логику, математические задачи, программирование, следование инструкциям и многоязычные тексты, а также 300 миллиардов токенов для расширенного контекста 131K. Финальная пост-тренировочная доработка превращает базовую нейросеть в полноценного агента через пять стадий, включая контролируемую тонкую настройку, дистилляцию знаний и специализированное обучение с подкреплением в популярных программных средах.

Результаты бенчмарков и производительность

Разработчики сравнили новинку с конкурирующими решениями вроде Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it и Nemotron-3.5-Lightning на 16 различных бенчмарках. Тестирование охватывало работу с инструментами, проверку знаний, выполнение инструкций, математику и написание кода. Несмотря на меньшее количество активных параметров, модель успешно конкурирует с аналогами, обладающими на 50% большим общим объемом параметров.

Сильные стороны решения проявляются в сценариях использования инструментов и соблюдении инструкций. Модель лидирует или делит первенство в пяти из восьми профильных тестов, включая AutomationBench, BFCLv4, ToolSandbox, LiveClaw и τ³-Bench Banking, а вAutomationBench показатель превышает результат ближайшего конкурента более чем в три раза. При этом в задачах на общие знания и кодинг более крупные аналоги сохраняют преимущество, поэтому для таких сценариев рекомендуется подключать поисковые модули или внешние базы знаний.

Скорость инференса на центральных и графических процессорах

Экосистема программного обеспечения обеспечивает поддержку модели с первого дня релиза через такие инструменты, как llama.cpp, MLX, vLLM, SGLang и ONNX. На стороне пользовательских устройств новинка демонстрирует высокую скорость декодирования среди аналогичных MoE-архитектур.

При тестировании на аппаратном обеспечении устройство под управлением Apple M5 Max выдавало скорость декомпрессии в 184 токена в секунду, а система с процессором Ryzen AI Max+ 395 достигала 114 токенов в секунду при минимальном потреблении оперативной памяти. В условиях серверного запуска на одиночном графическом ускорителе NVIDIA B300 при высокой параллелизации скорость генерации превышает 21 тысячу выходных токенов в секунду.

Практическое использование и интеграция

Для развертывания модели в собственных скриптах потребуется установить обновленную библиотеку transformers версии не ниже 5.0.0. Загрузка весов и инициализация токенизатора выполняются стандартными методами через класс AutoModelForCausalLM с указанием пути к репозиторию разработчиков.

Интеграция в агентские окружения, такие как Hermes Agent, осуществляется путем локального запуска модели за любым бэкендом, совместимым с API OpenAI. В зависимости от выбранного сервера — будь то llama.cpp, vLLM, SGLang или LM Studio — настраивается соответствующий сетевой порт для приема запросов, после чего агент получает возможность автономно вызывать системные инструменты и выполнять многошаговые сценарии.