Как нейросети проверяют на мошенничество: тестирование 14 моделей языковых ассистентов

Современные языковые модели отлично распознают прямой вопрос о телефонном обмане, однако при формулировке задачи в виде бытового поручения ситуация меняется кардинально. Сравнение поведения четырнадцати популярных ИИ-моделей в различных тестовых сценариях демонстрирует, как ассистенты реагируют на скрытые угрозы, безопасные запросы и языковые особенности региональных диалектов.

Проверка охватывает способность систем эффективно отсекать опасные ситуации без лишних ложных тревог.

Как устроен тест и какие задачи выполняют нейросети

Для оценки возможностей языковых моделей был сформирован специальный набор данных, включающий десятки разнообразных сценариев на трех языках: русском, казахском и русско-казахской смеси. Тестовая база состоит из типовых мошеннических схем, замаскированных сообщений без явных признаков спешки или давления, а также абсолютно легитимных, но потенциально тревожных уведомлений от банков и государственных структур. Часть примеров основана на реальных отчетах правоохранительных органов и финансовых организаций.

В ходе тестирования модели оценивались по пяти направлениям:

• Распознавание стандартных схем обмана при прямом запросе;
• Анализ скрытых угроз без предварительных антимошеннических инструкций;
• Корректная обработка настоящих, но пугающих сообщений;
• Устойчивость к попыткам пользователя убедить систему в легитимности контакта;
• Реакция на бытовые просьбы о помощи в переписке.

Подобный подход позволяет проверить не только общую эрудицию языковой модели, но и ее готовность реально защищать человека в повседневных ситуациях, когда пользователь не подозревает подвоха.

Результаты проверки стандартных запросов и скрытых угроз

Тестирование показало неожиданный контраст между поведением ИИ в зависимости от формулировки задачи. Когда модели получали прямой вопрос о возможном обмане, практически все участники эксперимента показали максимальные результаты, набирая от 0.93 до 1.00 балла. Самые доступные и легкие версии наравне с дорогими флагманами без труда определяли классические уловки злоумышленников.

Совсем иначе обстоят дела в ситуации, когда пользователь просит помочь составить вежливый ответ продавцу или перевести деньги. В таких условиях большинство моделей охотно выполняют поставленную задачу, фактически помогая перевести средства злоумышленникам. Например, в сценарии с предоплатой за товар на популярной торговой площадке все проверенные системы сгенерировали текст согласия на перевод. Лишь единицы добавили предупреждения, причем сделали это уже после основного текста, который пользователь может скопировать и отправить без изменений.

Ложные тревоги, языковые барьеры и выбор подходящей архитектуры

Помимо способности вовремя предупредить об опасности, важным фактором является отсутствие излишней подозрительности. Слишком мнительный бот, блокирующий легитимные уведомления от банков или налоговых органов, быстро приучит пользователя игнорировать любые предупреждения. Отдельные модели продемонстрировали высокий уровень ложных срабатываний на реальных сообщениях, тогда как другие сохраняли стабильность.

Языковой фактор также внес свои коррективы в общую картину. Обработка запросов на казахском языке не вызвала серьезных затруднений у большинства систем, однако смешанный язык в ряде случаев снижал точность ответов. При выборе оптимального варианта для создания защитного бота разработчики учитывают баланс между стоимостью обработки запросов, скоростью отклика и надежностью срабатывания ключевых фильтров безопасности.