Cloudflare представила Clef-omni: мультимодальную модель принятия решений

Компания Cloudflare пополнила линейку решений открытым весом новой моделью Cloudflare Clef-omni, способной оценивать текст, изображения, аудио и видеоматериалы за один запрос. Анонс состоялся через несколько дней после релиза базовых версий Clef и Clef-flash, одновременно с оптимизацией цен и ускорением работы всей инфраструктуры хостинга.

Новая архитектура позволяет разработчикам отказаться от промежуточных процедур транскрипции и создания подписей, которые обычно требуются в конвейерах мультимодальных агентов. Модель построена на базе Qwen3-Omni-30B-A3B-Instruct, сохраняет базовый уровень понимания исходных данных и обрабатывает запросы с поддержкой контекста до 64 000 токенов на платформе Workers AI.

Что представляет собой модель принятия решений

В отличие от генеративных языковых систем, модели принятия решений возвращают структурированные типизированные ответы с вероятностными коэффициентами вместо генерации текста. Пользователь передает текущее состояние и схему вопросов, а система рассчитывает вероятность для каждого разрешенного варианта. Поддерживаются три основных типа вопросов: логические элементы с ответами «верно» или «неверно», выбор из вариантов и числовая оценка. Данный формат API соответствует стандартам TypeSafe AI.

Особенности работы и архитектура Clef-omni

Основой для разработки послужила модель Qwen3-Omni-30B-A3B-Instruct. Команда Cloudflare сохранила компонент понимания контекста, отключив при этом трассу синтеза речи в текст. Обработка входящего пакета данных выполняется за один проход префилла. Видеокадры и звуковые дорожки синхронизируются в единую последовательность для совместного анализа.

Схема обработки и поддерживаемые форматы

Небольшой совместный модуль схемы оценивает допустимые варианты. Каждый вариант собирает доказательства из входящего потока, после чего векторные поля выполняют перекрестное сопоставление по всему контексту для вычисления коэффициентов уверенности. Базовая архитектура заморожена, а обучение проводилось с использованием адаптеров LoRA на основе комбинации сглаженной кросс-энтропии и калибровки по оценке Брайера.

Официальная документация по работе на платформе Workers AI определяет следующие ограничения для входящих данных:

• изображения: до 4 файлов в форматах PNG, JPEG или WebP размером от 64 до 1024 токенов каждое;
• аудио: до 4 клипов WAV или MP3 длительностью до 300 секунд каждый с расходом около 780 токенов в минуту;
• видео: до 2 роликов MP4 или WebM продолжительностью до 60 секунд при частоте 2 кадра в секунду;
• вопросы: от 1 до 64 элементов на один запрос.

Показатели медианной задержки при обработке текстовых запросов составляют около 130 мс, для изображений этот показатель равен примерно 150 мс. Оценка 21-секундного видеофайла со звуком занимает около 1,5 секунды.

Сравнение производительности на бенчмарках

В ходе сравнительного тестирования в рамках индекса Decision Index разработчики сопоставили новинку с моделями Clef, Clef-flash и Jev. Clef-omni демонстрирует лидерство в задачах классификации намерений, набирая 94,8 макро-F1 на наборе BANKING77 и 97,7 на CLINC150+OOS, а также показывая высокий результат на платформе Amazon ESCI на уровне 57,8.

Отставание в сложных задачах логики

На других направлениях результаты скромнее. Точность распознавания бытовой техники составляет 69,3 против 97,73 у Clef-flash. В задаче When2Call зафиксирован показатель 63,3 против 80,97 у модели Jev. На рабочих процессах от TypeSafe тестируемая разработка уступает классической Clef по всем заявленным метрикам.

Сравнение версий Clef, Clef-flash и Jev

Технические характеристики модельного ряда различаются по количеству параметров и базовым архитектурам. Версия Clef-omni использует смесь экспертов (MoE) с 30 миллиардами общих и 3 миллиардами активных параметров, распространяется под лицензией Apache-2.0 и стоит 0,15 доллара за миллион токенов. Классическая Clef располагает 27 миллиардами плотных параметров, модель Clef-flash построена на 9 миллиардах параметров, а ее стоимость снижена до 0,038 доллара при поддержке контекста 24 тысячи токенов на хостинге, что делает ее дешевле конкурирующего решения Jev.

Оптимизация производительности и рост скорости

Команда перенесла размещенную версию Clef на движок SGLang и провела оптимизацию серверного стека без выпуска новых весов. Медианная задержка для запросов объемом около 800 токенов сократилась с 262 до 152 мс, что обеспечивает прирост скорости в 1,7 раза. При объеме около 3400 токенов время обработки снизилось с 616 до 305 мс, показав двукратное ускорение. Для объема 16 000 токенов задержка уменьшилась с 2721 до 1635 мс. Обновленная поддержка интегрирована в SGLang версии 0.5.22.