Экспериментальные функции Jev 1.14: поиск объектов, анализ документов и работа с изображениями

С выходом обновления Jev 1.14 разработчики из TypeSafe внедрили экспериментальную мультимодальность, которая позволяет передавать изображения, использовать расширенный контекст и применять новый тип вопроса box. Проведенный независимый анализ возможностей новой версии демонстрирует особенности поиска объектов по описанию, точность распознавания элементов на документах, а также нюансы обработки массивов фотографий.

В ходе практических тестов исследовались различные сценарии: от классификации пород животных до извлечения банковских реквизитов и обработки длинных текстовых массивов. Суммарный объем вычислений потребовал отправки около 4,5 тысяч запросов. Ниже подробно рассматриваются ключевые результаты и ограничения обновленного инструмента.

Что изменилось в версии Jev 1.14

Платформа TypeSafe предназначена для решения структурированных задач. Пользователь передает модели данные вместе с вопросами и получает на выходе значения строго заданных типов. Команда choice задействуется для выбора варианта из списка, score оценивает показатели по шкале, а noul определяет вероятность положительного ответа.

Новый тип вопроса box возвращает четыре координаты рамки в долях от ширины и высоты изображения, а также показатель уверенности confidence. Один соответствующий запрос возвращает одну рамку. Изображения можно внедрять в данные запроса, системные инструкции и даже в описания вариантов выбора, подкрепляя классы примерами.

Практическая проверка основных возможностей

Обзор возможностей охватил несколько крупных блоков задач, включая распознавание питомцев, сканирование документов, классификацию пород и мультимодальный поиск по большому числу графических файлов. Для каждого направления были зафиксированы метрики качества и выявлены потенциальные сложности.

Поиск объектов по текстовому описанию

Для оценки точности рамок применялась стандартная метрика IoU, отражающая отношение площади пересечения предсказанной и эталонной областей к площади их объединения. Успешным попаданием считался показатель IoU не менее 0.5.

При поиске голов домашних животных точность составила 92%. Для поиска людей и предметов по датасету RefCOCO результаты зафиксированы на уровне 80% и 68% соответственно. Анализ показателя уверенности показал, что порог confidence ≥ 0.7 позволяет полностью избавиться от ошибок на тестовых выборках, однако отсеивает значительную часть ответов.

Отдельным нюансом работы box является возвращение рамки даже для несуществующих объектов, поскольку у данного типа вопроса отсутствует вариант ответа «не найдено». Для решения этой проблемы рекомендуется комбинировать box с вопросом типа noul, проверяющим реальное наличие целевого объекта на изображении.

Анализ текстовых документов и извлечение данных

В тестах со сканами документов и синтетическими страницами проверялся поиск конкретных строк, таких как банковские реквизиты IBAN. На простых страницах модель справлялась с задачей успешно, однако на сложных документах с абзацами, таблицами и отвлекающими номерами точность изначально составляла от 44% до 51%.

Ситуацию кардинально улучшило предварительное разделение страницы на горизонтальные полосы с последующим увеличением фрагментов в 1,4 раза. После такой подготовки точность поиска IBAN по точному тексту выросла до 89% на чистых страницах и до 75% на имитациях сканирования. При этом попытки запрашивать реквизиты по порядковому номеру, вроде «первый IBAN», приводили к частым пропускам и появлению лишних рамок.

Классификация изображений и поиск среди множества фото

В задачах классификации 37 пород кошек и собак модель Jev в режиме zero-shot показала точность 89.5%, уступив подходу на базе эмбеддингов Gemini. Добавление одной фотографии-примера на каждый класс повысило результат Jev до 91.6%, но существенно увеличило объем токенов и время обработки.

Любопытный результат был получен при поиске одной фотографии кошки среди массивов из 8, 32 и 96 снимков с собаками. Изначальный вариант с двойной нумерацией элементов в массиве приводил к сбоям в середине списка. Переход на передачу изображений в виде объектов со случайными уникальными именами позволил модели безошибочно находить нужный кадр во всех проверенных комбинациях позиций.

Работа с длинным текстовым контекстом

Проверка обработки больших объемов текста показала, что наличие постороннего нейтрального наполнителя снижает общую точность ответов в среднем на 4.8 процентных пункта. При этом наиболее уязвимой зоной традиционно остается середина длинного контекста, где падение точности выражено сильнее всего.