Создание специализированных мультимодальных моделей с архитектурой LFM3

Линейка базовых моделей Liquid Foundation Models нового поколения предлагает разработчикам унифицированную основу для создания специализированного интеллекта. Новая архитектура объединяет текст, визуальные данные, аудио, омниканальные возможности и модули принятия решений в единой базовой структуре параметром около двух миллиардов. С помощью решения Liquid Foundation Models можно гибко настраивать систему под конкретные сценарии и развертывать ее непосредственно на конечном оборудовании.

По сравнению с предыдущим семейством архитектур, новое поколение приносит сразу четыре ключевых улучшения. Среди них возросшая производительность на параметр благодаря новому гибридному подходу и измененному процессу обучения, объединение всех модальностей на одном базисе, полная оптимизация для периферийных устройств, а также упрощенная адаптация под конкретные задачи на одной графической карте.

Разработка более выразительной базовой архитектуры

Прошлые версии доказали, что комбинация коротких сверток и механизмов внимания способна эффективно работать локально без потери точности. При проектировании нового поколения разработчики применили поисковый алгоритм архитектуры с обратной связью по аппаратному обеспечению, чтобы оптимизировать систему под агентские сценарии. Поиск охватил четырнадцать аппаратных конфигураций от смартфонов и одноплатных компьютеров до облачных серверов и специализированных нейросетевых процессоров.

Особенности внутренней структуры LFM3-1.7B-Base

Базовая версия модели содержит двадцать четыре слоя и четыре принципиальных архитектурных изменения. Набор слоев включает тринадцать штук шлюзованных коротких сверток, пять слоев внимания со скользящим окном размером в 256 токенов, а также шесть слоев глобального внимания. Размер ядра сверток был увеличен до семи. В схему добавлено шлюзованное внимание с сигмоидным фильтром для каждого направления, частичное вращательное позиционное кодирование и нормализация в виде «сэндвича», удерживающая активации в заданных пределах.

Благодаря этому модель демонстрирует высокую скорость при работе с длинными контекстами. Предобучение выполнялось на массиве из два2 триллионов токенов с использованием словаря на 128 тысяч элементов. Финальная стадия мид-тренинга включила три с половиной триллиона токенов отборных данных с акцентом на агентские сценарии и вызовы внешних инструментов, что позволило расширить контекстное окно до 256 тысяч токенов.

Шесть моделей на едином фундаменте

Все варианты новой линейки ответвляются от единого базового ядра. Вместо громоздких универсальных решений можно выбрать вариант под конкретные типы входных данных, произвести настройку и запустить его на локальном устройстве. Текстовая версия работает с текстом, визуальная обрабатывает текстовые запросы, изображения и видео, а аудиоверсия принимает текст и звук, выдавая речевые ответы.

Визуальные и звуковые модификации получили собственные фирменные энкодеры. Визуальный компонент объединяет свертки и механизм внимания, требуя в три раза меньше вычислительных ресурсов, чем аналогичные компоненты прошлых поколений. Аудиомодуль совмещает скользящее внимание с короткими свертками и функционирует полностью причинно, обеспечивая минимальную задержку до первого сгенерированного токена.

Практическое применение моделей LFM3

Все представленные варианты функционируют в экосистеме библиотек transformers. Для каждого решения подготовлены конфигурации под различные популярные движки инференса.

Использование LFM3-1.7B

Текстовая модификация задействуется при необходимости запуска локальных агентов, вызова инструментов или структурированного вывода. Решение оптимизировано для работы в составе агентских платформ, демонстрируя высокие результаты в задачах автоматизации на веб-страницах и в бизнес-приложениях.

Для запуска базового текстового варианта устанавливается актуальная версия пакета transformers, после чего модель загружается через стандартный пайплайн генерации текста с помощью Python-кода.

Работа с LFM3-VL-2B

Визуально-языковая модель применяется для локального распознавания изображений и видеоматериалов. Архитектура поэтапно анализирует данные перед формированием ответа, обнаруживая объекты и определяя их пространственное положение. Для запуска требуется инсталляция пакета transformers пятой версии с зависимостями для работы с графикой и библиотекой torch.

Применение LFM3-Audio-2B

Аудиомодификация используется для голосового общения, синтеза и распознавания речи, а также перевода на восемнадцать языков. Система принимает текст или аудиопоток и выдает ответ в текстовом или речевом формате. Интеграция требует установки звуковых зависимостей вроде librosa и soundfile совместно с библиотекой transformers.

Возможности LFM3-Omni-2B

Омниканальный вариант объединяет функции работы с текстом, изображениями, видео и звуком в рамках одной локальной системы, заменяя сразу несколько специализированных моделей. Решение способно отвечать на голосовые вопросы по поводу демонстрируемых изображений или видеоматериалов со звуковым сопровождением.

Применение моделей d1-2B и d1-omni-2B

Модели линейки d1 предназначены для быстрого получения структурированных решений вместо генерации произвольного текста. На основе поданной ситуации и набора вопросов система дает ответы в едином проходе с вычислением вероятностей. Вариант d1-2B обрабатывает текст, фотографии и видеозаписи, тогда как d1-omni-2B учитывает звуковые входные данные.

Тонкая настройка под конкретные задачи

Компактный размер позволяет адаптировать модель под конкретные требования с помощью короткого цикла дообучения на одной видеокарте. Доступные ноутбуки с инструкциями охватывают подготовку данных и оценку результатов для текстовых, визуальных и мультимодальных вариантов.

Адаптация для робототехники

На базе визуальной модели созданы специализированные компоненты для робототехнических систем, отвечающие за координацию, навигацию и манипуляцию предметами. Оркестратор управляет роботизированной рукой через вызовы инструментов, навигатор строит маршруты по визуальным данным, а манипулятор преобразует изображения и состояние робота в последовательности непрерывных физических действий.

Начало работы и доступность

Все модели распространяются с открытыми весами и доступны на профильных платформах для загрузки. Разработчики могут использовать базовые версии для собственного пост-обучения, применять готовые скрипты тонкой настройки или интегрировать решения в локальные агентские среды.