Мой блог
Модели Granite Switch 4.1 объединяют чат, принятие решений и распознавание речи
Проект модельной архитектуры Granite Switch, представленный прошлой весной, обеспечивает модульный подход к разработке моделей и развивается благодаря выходу версии Granite Switch 4.1. Новые конфигурации, вооруженные адаптером решений и самым быстрым ASR-решением с таблицы лидеров OpenASR, способны гибко переключаться между естественными текстовыми ответами, общими и специализированными задачами принятия решений, а также обработкой разговорной речи — и все это на базе одного хостинг-эндпоинта.
В конфигурации моделей Granite-Switch-4.1-8B и -30B входят новый адаптер Decision aLoRA для общего назначения (например, v1/systemone), специализированный охранный модуль Guardian aLoRA, который в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash на связанных с безопасностью задачах принятия решений, а также встроенный для задач транскрипции Granite-Speech-5.0-Turbo-CTC, являющийся самой быстрой ASR-моделью на лидерборде OpenASR.
Особенности архитектуры и производительность
Все три упомянутые технологии вместе с базовой моделью объединены в единую систему, занимая объем видеопамяти (VRAM) на графическом процессоре, примерно сопоставимый с требованиями самой базовой модели по отдельности. За счет этого удается достичь большего набора возможностей с меньшим количеством GPU.
Адаптеры Switch были созданы как эффективные с точки зрения кэширования активируемые модули (Activated LoRAs), благодаря чему KV-кэш, сформированный при генерации базовой модели, может повторно использоваться для любых последующих решений на базе адаптеров. Сочетание недавних вкладов команды в vLLM для ускорения инференса низкоранговых адаптеров и колокционного речевого энкодера (ASR encoder) обеспечивает молниеносную скорость при переключении между запросами чата, запросами на принятие решений и голосовыми запросами.
Наглядным примером выступает пространство Speech-to-Decisions на Hugging Face, где модель granite-switch-4.1-8b выполняет транскрипцию аудио, генерирует краткие выдержки (резюме), производит скрининг на наличие вредоносного контента и тестирует 15 других определяемых пользователем флагов — и все это работает на одном эндпоинте в реальном времени.
Сравнение с аналогами и библиотеки решений
Модели принятия решений не являются новинкой. Предыдущий выпуск библиотек Granite Libraries предлагает репозиторий специализированных адаптеров «decision model» и прочих специализированных адаптеров задач, которые можно компоновать в кастомные модели Granite Switch. И хотя Jev и другие закрытые модели принятия решений делают упор на универсальность, разработчики выяснили, что многие специализированные адаптеры granitelib способны превосходить универсальные системы на задачах специализированной классификации, обеспечивая более высокую точность.
Общая память KV-кэша базовой модели позволяет добавлять экспертов-специалистов рядом с универсальным адаптером решений практически без дополнительных затрат. Пользователь получает широкое покрытие от универсала и высокую точность от узких специалистов по интересующим задачам. В условной «гонке» между Granite-Switch-4.1-30B (замороженная база Granite + 4 специализированных aLoRA) и Jev-27B (замороженная база Qwen + 1 универсальная LoRA для принятия решений) конфигурация Granite-Switch-4.1-30B смогла завершить реальный пятишаговый рабочий процесс RAG значительно быстрее своего конкурента.
Создание собственных конфигураций Granite Switch
Модели версий Granite-Switch-4.1-8B и -30B выпускаются в комплектации «все включено» (с предустановленным набором полезных адаптеров). Однако использовать именно эту версию необязательно: любой желающий может самостоятельно скомпоновать собственную модель Granite Switch, смешивая и сопоставляя адаптеры из Granite Libraries для наилучшего соответствия личным требованиям.
В дальнейшем разработчики видят огромные возможности для сообщества по составлению и расширению моделей Granite Switch с помощью кастомных и сторонних адаптеров. Планируется выпустить специальный Adapter SDK для обучения адаптеров в Mellea наряду с другими учебными пособиями и поддержкой Granite Switch. Подобные адаптеры могут представлять собой специализированные модули классификации для дополнения рабочих процессов принятия решений или компоненты для специализированных текстовых задач. Допускается даже применение кастомных адаптеров, чтобы обучить 3-миллиардную (3B) версию параметрической модели Granite играть в классическую игру Doom: аналогично Jev, такая кастомная 3B-модель Granite Switch принимала молниеносные решения для навигации в игре, но делала это со скоростью 60–100 решений в секунду против 10 решений в секунду у Jev. В отличие от Jev, эта модель Granite Switch во время игры также способна озвучивать происходящее и отвечать на вопросы.
Ресурсы для начала работы
Для ознакомления с технологией доступны официальные карточки моделей Granite Switch 4.1, демонстрационное пространство Speech-to-Decisions, репозиторий Granite Switch на GitHub, блог о релизе оригинальных Granite Switch и Granite Libraries, а также интерактивная среда для запуска собственной гонки aLoRA против LoRA на платформе Colab.
