Ссылку засчитали, а рекомендовали других: как проверить видимость бренда в ответах ИИ

Анализ видимости бренда в ответах нейросетей и ИИ-поисковиков — новая и пока еще хрупкая дисциплина. Недавно я проводил аудит отчета по упоминаниям одного из клиентов: автоматический скрипт показал, что бренд появляется в 3 из 20 проанализированных запросов (15%). Однако когда я открыл первичные данные и внимательно прочитал сами генерации, выяснилось, что реальность сильно отличается от красивой цифры. В первом случае нейросеть действительно порекомендовала компанию. Во втором — сослалась на статью с нашего сайта, но в качестве исполнителя указала совершенно другого конкурента. В третьем — само имя бренда изначально присутствовало в формулировке пользовательского вопроса.

Если вы стремитесь попасть в список компаний, которые ИИ советует потенциальным клиентам, поверхностный отчёт с зафиксированными ссылками может создать иллюзию успеха. Инструмент подсчитывает упоминания или ссылки, но игнорирует смысловой контекст: клиент читает название чужого бренда, а система ставит вам «плюсик».

Автоматический отчёт засчитывает любое совпадение, не проверяя смысл рекомендации

Для глубокого анализа я изучил 358 генераций нейросетей, полученных в ответе на 20 ключевых вопросов. Первоначальный автоматизированный алгоритм работал по упрощённому принципу: искал текстовое совпадение с именем бренда в теле ответа. Если слово встречалось хотя бы в одном из повторных прогонов (итераций) одного и того же промпта, вопрос помечался как положительный. Отсюда и сформировались те самые 3 из 20 (15%).

Проблема в том, что скрипт парсинга не умеет читать текст с пониманием смысла. Ему одинаково подходят:

• прямое включение компании в рейтинг исполнителей;
• совпадение текстовой строки с адресом сайта (URL) в блоке источников;
• даже фраза «данная компания не найдена в базе данных».

Для формального сбора совпадений подстроки такой подход сработает, но для реальной оценки видимости бренда в AEO (Answer Engine Optimization) и GEO (Generative Engine Optimization) он приводит к катастрофическим искажениям. Простая поисковая строка в коде не дает ответа на главный вопрос: посоветовал ли искусственный интеллект ваш бизнес пользователю. Чтобы разобраться в причинах, я детально разобрал все ответы, попавшие в категорию «успешных».

Нейросеть дала ссылку на нашу статью, но порекомендовала другого подрядчика

Первый показательный кейс связан с запросом пользователя о том, где именно можно заказать специфическую услугу. Модель GPT-4o, запущенная через API, сгенерировала подборку компаний. Под блоком с названием одного из конкурентов нейросеть разместила пошаговую инструкцию по самостоятельной проверке и прикрепила ссылку на первоисточник. Эта ссылка вела на экспертный материал нашего клиента.

При этом само текстовое название проверяемого бренда в сгенерированном ответе отсутствовало. Алгоритм подсчёта обнаружил его исключительно внутри URL-адреса, прописанного латиницей. Скрипт зафиксировал совпадение символов и счёл задачу выполненной, записав балл в копилку видимости бренда.

Получилась парадоксальная ситуация: ИИ-сервис взял полезную методику с сайта компании, но приписал авторство и рекомендовал к сотрудничеству стороннюю фирму. Потенциальный заказчик видел в блоке рекомендаций чужое имя, в то время как автоматика фиксировала «присутствие».

Разумеется, сам факт простановки кликабельной ссылки имеет ценность — пользователь может перейти по ней и узнать настоящего автора. Однако засчитывать подобную выдачу как «рекомендацию бизнеса» нельзя: в тексте ответа компания не позиционируется как подрядчик.

В ходе исследования встречались и цитирования без путаницы с авторством. Например, поисковая система Perplexity на запросы о ценах и отзывах трижды давала ссылки на материалы нашей компании. Название бренда в самом тексте не фигурировало, но страницы использовались как информационный источник. Считать это полноценным советом выбрать компанию тоже неверно. Аналогичную логику использует Microsoft в справке к метрикам AI Performance: число цитирований отражает частоту обращения к вашим страницам как к первоисточникам, но не определяет роли бренда в итоговом ответе.

Ответы ИИ с некорректным описанием получили плюс только за имя в запросе

Второй «положительный» результат сформировался при прогоне вопроса со сравнением двух конкретных компаний. Названия обоих брендов изначально присутствовали в самом тексте промпта. В результате проверяемая компания фигурировала во всех 18 итерациях генерации.

Подобные промпты полезно использовать, когда нужно узнать, как нейросети воспринимают бренд, уже знакомый клиенту: правильно ли ИИ описывает позиционирование, услуги и не путает ли компанию с другими игроками рынка. Однако сам факт упоминания бренда в таком ответе не является доказательством того, что ИИ выбрал вас самостоятельно — ему дали прямое указание в запросе.

Более того, даже при наличии подсказки модель Claude продемонстраровала серьёзные ошибки:

• в одной генерации она перепутала компанию с музыкальным дистрибьютором со схожим названием;
• в другой связала профиль деятельности с IP-телефонией и музыкой;
• в третьей вовсе заявила, что не смогла найти сведений о данной организации.

Несмотря на эти искажения, все три генерации получили автоматический «плюс» из-за наличия искомого слова.

Я убеждён, что в отчётах по видимости бренда такие промпты необходимо изолировать. Одно дело — проверить, кого нейросеть предложит «с нуля», и совсем другое — оценить точность описания, когда название уже задано пользователем. Смешивание этих показателей искажает аналитику. Поэтому вопрос со сравнением я исключил из общего подсчёта органического выбора, снизив выборку до 19 вопросов.

Рекомендация подтвердилась только по одному вопросу из девятнадцати

Проведём ревизию исходных трёх «успешных» срабатываний:

1. Первое отпало, так как бренд присутствовал в самом тексте промпта.
2. Второе отпало, потому что название содержалось лишь в URL-адресе источника, а рекомендация досталась конкуренту.
3. Остался единственный вопрос, связанный с прямым поиском исполнителя.

На этот запрос нейросетевой ассистент Алиса AI во всех трёх повторах внесла компанию в итоговый список и корректно описала ее услуги. После ручного вычитывания каждого текста я подтвердил: здесь система действительно рекомендует обратиться к нашему клиенту.

Важное уточнение: три итерации одного и того же вопроса не должны засчитываться как три независимых случая выбора. Это один и тот же сценарий. Таким образом, итоговый результат составил всего 1 вопрос из 19 (около 5,3%). В остальные 18 случаях имя компании в блоке рекомендаций не появилось.

Снижение показателя с 15% до 5,3% не означает, что видимость бренда неожиданно упала. Это следствие перехода к корректным метрикам: вместо слепого подсчёта любых текстовых совпадений мы выделили только честные рекомендации на запросы без подсказок.

При этом 5,3% — это доля вопросов в нашей тестовой матрице, а не процент потенциальных клиентов. Мы не можем утверждать, с какой частотой реальные пользователи задают именно эти вопросы. Для полноценной отчётности к метрике необходимо прикладывать исходные промпты и полные тексты ответов нейросети (например, Алисы AI), чтобы динамику можно было перепроверить в будущем.

Тип запроса определяет характер видимости бренда в ИИ-выдаче

При анализе важно учитывать намерение пользователя:

• Если человек спрашивает про порядок цен, нейросеть ищет справочную информацию и цитирует статьи.
• Если человек ищет исполнителя под задачу, ИИ формирует список рекомендуемых компаний.

В нашем исследовании вопросы были разбиты по этапам пути пользователя: разбор услуги, оценка бюджета, поиск и проверка подрядчика. Из 20 промптов к категории прямого поиска подрядчика относились 9. И именно в этой категории компания проявила себя как рекомендуемый исполнитель.

Если нейросеть цитирует статьи вашего блога в справочных ответах, следует оценивать реферальный трафик и качество материалов. Если же бренд попадает в подборки исполнителей, нужно расширять тесты: добавлять вопросы по сравнению, выбору критериев и отзывам.

Формировать категории нужно на основе исходного промпта пользователя. Хотя поисковые ИИ-системы (например, по аналогии с алгоритмами Google) могут разбивать один сложный запрос на подзапросы, ориентироваться следует на первоначальный смысл. Все вопросы для оценки видимости должны быть согласованы до начала оптимизации. В их число обязательно входят запросы вида «где заказать», «кого выбрать для задачи», без подстановки вашего бренда в текст вопроса.

Как скрипт на Python считает упоминания и почему его недостаточно

Для автоматизации обработки массива ответов удобно использовать Python. Он помогает структурировать данные и исключить дублирование. В базе данных для каждой генерации полезно хранить следующие атрибуты:

• prompt_id — уникальный идентификатор вопроса;
• brand_in_prompt — флаг наличия бренда в вопросе (True/False);
• visible_name — флаг присутствия названия в тексте ответа (True/False).

Пример функции для первичного расчета на Python:

def count_questions(rows):
    # Отфильтровываем вопросы, где бренд уже был задан в промпте
    rows = [r for r in rows if not r["brand_in_prompt"]]
    questions = {r["prompt_id"] for r in rows}
    with_name = {r["prompt_id"] for r in rows if r["visible_name"]}
    return len(with_name), len(questions)

В нашем кейсе функция возвращает значение (1, 19) — то есть бренд найден по 1 из 19 вопросов без подсказки. Но даже этот алгоритм дает лишь первичную отсечку. Окончательный вывод о том, была ли это рекомендация или ошибка тональности, делается только после ручной проверки текста.

Также замечу: если вы анализируете несколько нейросетей (Алиса AI, Perplexity, GPT-4o), результаты по каждой системе необходимо вести отдельно. Присутствие бренда в одном сервисе не гарантирует его видимости в других.

Что необходимо требовать от подрядчика при аудите видимости в ИИ

Если вы заказываете услугу GEO/AEO-продвижения или проверяете отчётность подрядчика, запрашивайте следующие данные:

• Исходные промпты и полные тексты ответов. Вы должны видеть, за что именно поставлен плюс — за ссылку в источнике, случайное упоминание или прямое предложение ваших услуг.
• Прозрачная методология подсчёта. Цитирование статей, текстовое упоминание и рекомендация бренда обязаны разделяться. Запросы с упоминанием бренда должны анализироваться в отдельной категории.
• Метаданные генераций. Наименование модели/сервиса, метод получения (API или веб-интерфейс) и точная дата прогона.
• Учёт итераций. Три прогона одного промпта проверяют стабильность выдачи, а не увеличивают выборку вопросов в три раза.
• Фиксированные условия. Сравнивать показатели «до» и «после» оптимизации можно только при неизменном наборе вопросов и моделей.

Оценка видимости бренда в генеративных ответах ИИ — это промежуточный аналитический этап. Конечным критерием успеха остаются переходы на сайт и конверсии в заявки. Однако грамотный аудит готовых ответов позволяет быстро отсеять ложные плюсы и понять реальное положение вашей компании в генеративной выдаче.

Источник: habr.com