Обзор EmbeddingGemma 2: мультимодальная модель эмбеддингов от Google

Осенью 2026 года подразделение Google DeepMind представила открытую модель эмбеддингов EmbeddingGemma 2, способную преобразовывать в единые векторные представления текстовую информацию, программный код, графические изображения, видеоматериалы и аудиозаписи. Главной особенностью разработки стал компактный размер, позволяющий выполнять векторный поиск непосредственно на потребительских устройствах без обращения к облачным серверам.

Все модальности обрабатываются в рамках общего 768-мерного пространства, что дает возможность напрямую сопоставлять данные разных типов — например, производить поиск видеофайлов по текстовому запросу. В данном материале рассматриваются архитектурные особенности модели, принципы ее работы, практические аспекты интеграции и возможные технические нюансы при развертывании.

Что представляют собой эмбеддинги

Векторное представление или эмбеддинг представляет собой упорядоченный набор числовых значений, отражающий смысловое наполнение конкретного объекта. Семантически близкие сущности получают в пространстве соседние векторы. Подобный подход позволяет вычислять косинусную близость между запросом и базой документов, реализуя семантический поиск, механизмы RAG, кластеризацию, фильтрацию дубликатов и рекомендательные алгоритмы.

Традиционной сложностью подобных систем была несовместимость векторов, полученных с помощью специализированных моделей для разных типов контента. Новая архитектура устраняет это ограничение, объединяя текст, изображения и мультимедиа в едином пространстве.

Основные характеристики и нововведения

Вторая версия линейки получила ряд существенных улучшений относительно предшественницы, вышедшей осенью 2025 года и ориентированной исключительно на текстовые данные. Базовая архитектура опирается на наработки Gemma 4 с общим числом параметров около 740 миллионов.

Модель распространяется по открытой лицензии Apache 2.0, поддерживает более ста языков и демонстрирует повышенную точность при работе с исходным кодом. Максимальный размер контекста увеличен до 8192 токенов. Кроме того, поддерживается технология Matryoshka Representation Learning, позволяющая использовать векторы уменьшенной размерности.

Архитектурное устройство модели

Текстовая составляющая архитектуры реализована в виде специализированного компактного трансформера. Конфигурация включает 24 слоя при размерности модели 512 и скрытой размерности FFN 2048. Общее количество голов внимания равняется четырем, причем используется схема с двумя локальными и одной глобальной KV-головами.

Особенности обработки внимания и словаря

В модели применяется сочетание локального и глобального механизмов внимания. Пять слоев из шести анализируют лишь локальное окно размером 1024 токена, в то время как каждый шестой слой обрабатывает всю последовательность целиком, оптимизируя расходование системных ресурсов на длинных входах.

Словарь модели насчитывает 262 144 токена. Основную часть параметров табличного типа составляют не вычисления, а индексированный поиск по строкам, что снижает нагрузку на вычислительные блоки. На финальном этапе выходы токенов усредняются через процедуру Mean Pooling, после чего линейный слой развертывает полученный результат в 768-мерный вектор.

Модульная структура и распределение памяти

Мультимодальные компоненты, отвечающие за обработку визуальных данных (170 млн параметров) и аудиосигналов (300 млн параметров), выполнены в виде независимых энкодеров. Пользователь может загружать только текстовую часть для базовых задач или подключать дополнительные модули по мере необходимости.

Для мобильных чипсетов заявлены минимальные требования к оперативной памяти: текстовый модуль занимает около 191 МБ, а полная конфигурация со всеми модальностями требует порядка 567 МБ памяти.

Распределение токенного бюджета и интерливинг

Все типы контента разделяют единое окно контекста объемом 8192 токена по фиксированным правилам тарификации. Текст расходует один токен на подслово, изображения занимают фиксированный объем, видеоматериалы оцениваются по кадрам, а аудиофрагменты тарифицируются по секундам длительности.

Механизм интерливинга позволяет объединять в одном запросе текстовые описания, графические файлы, видео и звуковые дорожки с использованием специальных разметочных токенов. На выходе формируется единый интегральный вектор, отражающий комплексные свойства объекта.

Технология Matryoshka Representation Learning

Метод MRL позволяет упаковывать ключевую информацию в начальные компоненты векторного представления. Благодаря этому исходный 768-мерный вектор допускает обрезку до 512, 256 или 128 измерений без существенной потери точности в базовых сценариях.

Подобная оптимизация сокращает объем памяти, занимаемый векторной базой данных. Однако при сжатии до 128 измерений мультимодальные задачи показывают заметное снижение метрик качества, поэтому разработчики рекомендуют использовать минимальную размерность преимущественно для чисто текстовых приложений после предварительного тестирования.

Практическая работа и программный код

Интеграция модели в программные проекты осуществляется с помощью стандартных библиотек вроде sentence-transformers. Для достижения максимальной точности текстовые запросы и документы требуют применения специализированных префиксов в зависимости от поставленной задачи.

Пример базового текстового поиска через Python-библиотеку:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('google/embeddinggemma-2')
query = 'What causes the northern lights?'
document = 'The northern lights are caused by charged particles from the sun.'

query_emb = model.encode(query, prompt_name='SearchQuery')
doc_emb = model.encode(document, prompt_name='Document')
print(model.similarity(query_emb, doc_emb))

Для корректной работы с мультимодальными данными используется словарь с путями к файлам и текстовыми маркерами:

model = SentenceTransformer('google/embeddinggemma-2')
emb = model.encode({
    'text': 'Waterproof running shoes. <|image|> Breathable mesh upper. <|image|> Grip test on wet rock: <|video|>',
    'image': ['shoe.jpg', 'mesh.jpg'],
    'video': 'demo.mp4',
})

Технические ограничения и возможные ошибки

При развертывании модели стоит учитывать ряд специфических нюансов. Использование стандартной точности float16 приводит к выходу активаций за допустимый диапазон и появлению некорректных значений без генерации явных программных ошибок; разработчики рекомендуют применять форматы bfloat16 или float32.

Обрезанные векторы подлежат обязательной процедуре нормализации, иначе качество ранжирования снижается. Также недопустимо прямое сравнение векторов разной размерности, а заявленная поддержка более ста языков требует локальной проверки качества на конкретных языковых корпусах.

Доступные форматы и варианты запуска

Веса модели опубликованы на профильных платформах Hugging Face и Kaggle. Для локального использования доступны оптимизированные GGUF-сборки, а аппаратную поддержку заявляют фреймворки MediaPipe, LiteRT, vLLM и Ollama. Серверное развертывание поддерживается через инструментарий SGLang, требующий около 1,5 ГБ видеопамяти при работе в формате BF16.