Как ложные предпосылки в промтах заставляют нейросети выдумывать факты

Пользователи часто обвиняют искусственный интеллект в склонности к фантазиям, однако некорректная формулировка запроса способна сама спровоцировать ошибку. Если в тексте задания изначально заложено спорное или ложное утверждение, языковая модель оказывается перед выбором: поправлять собеседника или подстраиваться под заданные обстоятельства. В материале рассматривается проверка нескольких формулировок в GPT Luna-6 на летучих мышах и писателях, чтобы понять, откуда берутся такие ответы.

В данном исследовании под галлюцинацией понимается фактически неверный или неподтвержденный контент, который нейросеть преподносит как достоверную информацию. Ключевое внимание уделяется сценариям, когда модель принимает ошибочное утверждение из текста вопроса и начинает его подробное объяснение, формируя вымышленную причинно-следственную связь.

Механика генерации и природа языковых ошибок

Авторегрессионные языковые модели генерируют ответы последовательно, вычисляя вероятности следующих токенов с учетом текущего запроса и уже созданного текста. Инструкции и примеры пользователя напрямую участвуют в этих расчетах прямо во время генерации без привлечения дополнительного обучения. На этапе предобучения нейросеть усваивает общие сведения о мире, однако она не обращается к внешним справочникам при каждой итерации, если разработчики не подключили функцию поиска по внешним источникам. По этой причине обучающие массивы данных изначально не содержат абсолютно всех существующих фактов.

Факторы риска и влияние пресуппозиций

При тестировании систем оценки и обучения исследователи отмечают, что жесткие схемы поощрения за правильные ответы и отсутствие штрафов за ошибки могут стимулировать алгоритмы рисковать и угадывать информацию вместо честного признания незнания. Дополнительное воздействие оказывают человеческие предпочтения: в ходе экспериментов алгоритмы порой адаптировались под личные убеждения пользователей, а люди при оценке результатов нередко выбирали убедительное согласие вместо объективно верного ответа.

Роль скрытых условий в формулировках

Лингвистическая пресуппозиция представляет собой скрытую предпосылку, которую говорящий подает как заранее принятую истину. Подобные конструкции постоянно используются в повседневной речи. В контексте взаимодействия с искусственным интеллектом наличие такого условия заставляет модель принимать ложный тезис за основу и выстраивать дальнейшие рассуждения с учетом этой ошибки. Добавление ссылок на несуществующие авторитеты, использование фактивных глаголов или жестких требований к оформлению ответа еще сильнее сужают возможности алгоритма выдать корректную поправку.

Экспериментальная проверка гипотез

Практическая часть исследования включала проверку ответов GPT Luna-6 на платформе BotHub. Всего было проанализировано 26 ответов, разделенных на основную серию о летучих мышах, дополнительную серию и литературную выборку, посвященную писателю Дмитрию Мережковскому. Каждый запрос отправлялся в рамках новой сессии без сохранения истории предыдущего диалога.

Проверки с использованием биологических и исторических тезисов

Начальный этап включал заведомо неверные утверждения о тотальной слепоте всех летучих мышей или специфическом рационе рукокрылых. Сравнение нейтральных вопросов, прямых утверждений и запросов с предварительной проверкой предпосылок показало, что модель в базовых сценариях способна самостоятельно корректировать ошибочные исходные данные. Однако усложнение промтов — например, требование описать эволюционную потерю зрения или сослаться на мнимые научные открытия — приводило к более противоречивым результатам, где итоговые выводы смешивали опровержение мифа с вымышленными подробностями.

Литературные кейсы и поведение других моделей

Аналогичные тесты проводились с историческими фактами о присуждении Нобелевской премии по литературе в 1933 году. При попытках навязать тезис о добровольном отказе Дмитрия Мережковского от награды некоторые модели первоначально отвергали ошибку, тогда как другие языковые системы под воздействием ссылок на несуществующие исследования охотно подхватывали вымышленную теорию, прежде чем вернуться к проверке достоверных фактов.

Рекомендации по снижению риска галлюцинаций

Полученные данные показывают, что даже после успешного исправления ошибки в тексте ответа могут содержаться дополнительные не подтвержденные документально утверждения. При использовании нейросетевых инструментов в качестве помощников для поиска фактических данных рекомендуется соблюдать следующие правила:

• Проверять, не запрограммирован ли ответ самим вопросом. Вместо требования найти доказательства личной версии следует просить алгоритм оценить ее критически и найти возможные возражения.
• Запрашивать у модели точные ссылки на источники, включая конкретные разделы, страницы или фрагменты текстов для каждой цифры, даты и цитаты.
• Самостоятельно открывать предоставленные ссылки, сверять названия, авторство, годы публикаций и контекст соседних абзацев.
• Анализировать логику выводов на предмет того, не стали ли они сильнее исходных данных проведенных исследований.
• Убеждаться в независимости источников, исключая ситуации, когда разные сайты просто цитируют один и тот же первичный пресс-релиз.