Новое исследование объясняет, почему ИИ часто ссылается на непрочитанные веб-страницы

Современные большие языковые модели часто выдают ссылки на источники и формируют ответы, опираясь исключительно на короткие сниппеты поисковой выдачи, даже не открывая сами веб-страницы. В новом научном исследовании специалисты проанализировали причины такого поведения.

Изучение феномена показало, что игнорирование первоисточников напрямую связано с ростом числа устаревших ответов и появлением недостоверных цитат. Полученные данные проливают свет на то, почему поиск актуальной информации с помощью ИИ нередко дает сбои.

Причины и масштабы проблемы

Специалисты Имперского колледжа Лондона опубликовали работу, посвященную тому, как алгоритмы обрабатывают внешнюю информацию. Авторы исследования обратили внимание на распространенную проблему: системы искусственного интеллекта часто подкрепляют свои ответы ссылками на статьи или документы, которые они фактически не изучали.

В эксперименте участвовали одна проприетарная модель — GPT-5.6 Luna от OpenAI — и шесть конфигураций с открытыми весами, включая GLM-5.3-Flash, gpt-oss-120b, gpt-oss-20b, gemma-4-31b и qwen3-8b. Проверка охватывала сотни фактов, изменившихся после внедрения последних тренировочных срезов. Ученые зафиксировали, насколько часто алгоритмы ограничиваются краткими описаниями из поисковой выдачи вместо перехода по ссылкам, как это сказывается на точности цитирования и почему старые данные иногда перевешивают даже при прямой подаче свежих фактов.

Методика тестирования моделей

Для оценки эффективности использования веб-доказательств исследовательская группа собрала 225 фактических изменений, произошедших после 16 февраля 2026 года. База данных включала информацию о лекарствах FDA, финансовые показатели, спортивные события, биографические данные, материалы Комиссии по ценным бумагам и биржам, а также химические классификации. Контрольные тесты включали неизмененные факты для выявления системных ошибок.

В качестве отправной точки GPT-5.6 Luna протестировали без доступа к поиску: модель дала верные ответы лишь на 23,3% вопросов об измененных данных. Затем для проверки использовали стандартные поисковые результаты Brave Search по 223 фактам. Каждой модели предоставили одинаковый набор из десяти ссылок, причем страница с правильным ответом гарантированно присутствовала в выдаче. Температура генерации для поддерживающих этот параметр систем была установлена на нулевой отметке для повышения стабильности результатов.

Форматы промптов и метрики оценки

Тестирование проводилось с помощью двух базовых типов запросов. Первый представлял собой открытый вопрос вроде клуба, за который выступает определенный спортсмен, с запросом источника или без него. Второй требовал подтвердить или опровергнуть утверждение, содержащее актуальную или устаревшую информацию. Дополнительно применялись открытые вопросы с подсказками, запросы цитат, проверка фактчеллинг-листов на наличие неверных данных и запросы обоснований для заданных утверждений.

Каждый промпт содержал дату и требовал ответа в строго регламентированном формате, допускающем вариант «невозможно проверить». В качестве ключевых метрик исследователи использовали глубину чтения (факфт открытия и цитирования страниц), точность ответов и достоверность цитат, фиксируя случаи, когда приведенные ссылки противоречили заявлениям самой модели.

Результаты экспериментов

Доступ к веб-поиску закономерно улучшал показатели моделей: при проверке точности утверждений баллы росли на 27–42 процентных пункта, а при прямых ответах правильные варианты фиксировались в 85,8–95,4% случаев. Тем не менее значительная часть ответов формировалась без реального посещения сайтов.

В зависимости от конфигурации доля поисковых сессий без открытия страниц составляла от 2,6% до 76,0%. При использовании встроенного поиска GPT-5.6 Luna формировала 53,6% ответов исключительно на основе сниппетов.

Влияние метода поиска на ошибки

Анализ показал, что опора исключительно на краткие описания из выдачи приводит к увеличению числа неточностей. Среди ответов, сформированных только по сниппетам, доля устаревших данных составила 6,4%, тогда как при цитировании открытых страниц этот показатель снижался до 1,3%. Аналогичная тенденция наблюдалась для вводящих в заблуждение ссылок — 6,4% против 2,3%.

В категории спортивных вопросов расхождения у моделей с открытыми весами достигали 20,2% против 2,1%. Примечательно, что в случаях выдачи устаревших сведений 81,8% цитируемых источников противоречили озвученным утверждениям, в то время как для актуальных ответов этот показатель составлял всего 0,9%.

Общие закономерности сбоев

Прямое предоставление корректной страницы Wikipedia существенно снижало количество сбоев: у gemma-4-31b число ошибок сократилось с 14 до нуля, у gpt-oss-20b — с 11 до единицы, а у qwen3-8b — с 16 до восьми. Повторение исходного вопроса после каждого открытия страницы также позволяло исправить часть неудачных проверок.

Дополнительные тесты на моделях gpt-oss-20b, gemma-4-31b и qwen3-8b с участием спортсменов, сменивших клубы, показали любопытный нюанс обработки информации. Во внутренних слоях некоторых моделей правильный вариант иногда временно выходил на лидирующие позиции, но перед финальной генерацией ответа устаревшие данные снова перевешивали. Это указывает на то, что алгоритмы могут распознавать актуальные факты, но все равно игнорировать их в итоговом результате.

Заключение

Авторы исследования приходят к выводу, что современным языковым моделям требуется более эффективный алгоритм работы с извлекаемыми веб-страницами вместо поверхностного чтения поисковых сниппетов. Несмотря на полученные данные, причины устойчивости устаревшей информации во внутренних слоях нейросетей при наличии правильных исходных данных требуют дальнейшего изучения.