Загрузка 0
ПОДЕЛИТЬСЯ

Мой блог

Листай вниз

Как нейрослоп заполонил Хабр и почему бесплатные ИИ-детекторы не работают

Как нейрослоп заполонил Хабр и почему бесплатные ИИ-детекторы не работают

Около трех месяцев назад на известной IT-платформе Хабр вступили в силу обновленные правила публикации. В пункт 4 официального регламента был добавлен прямой запрет на размещение текстов, полностью сгенерированных или отредактированных с помощью нейросетей. Я, как человек с острой нетерпимостью к низкокачественному ИИ-контенту (так называемому нейрослопу), положительно оценил это нововведение. Однако ввод ограничений на бумаге не гарантирует их выполнения: если на площадке отсутствует автоматизированный контроль за поступающим материалом, авторы продолжат беспрепятственно публиковать нейросетевые статьи.

Детекторы ИИ: почему GPTZero показывает правду, а отечественные сервисы ошибаются

Для собственного расследования я решил прогнать сомнительные материалы через ИИ-детектор GPTZero. Сразу хочу уточнить: я никак не связан с разработчиками данного инструмента и не занимаюсь его рекламой, меня устраивает объективность и точность его работы. В рамках эксперимента я также протестировал сервис со схожим названием ZeroGPT и популярные решения Yandex Neurodetector и GigaCheck.

Статистика применения ИИ в корпоративном блоге
Результаты проверки постов AvitoTech через GPTZero
Проверка статей блога Timeweb Cloud
Высокий процент ИИ-генерации в публикациях Timeweb Cloud
Профиль автора с нейроконтентом
Профиль автора, публикующего исключительно сгенерированные статьи
Песочница и одобрение первого материала
Первая сгенерированная статья автора получила одобрение модерации
Концепт фильтрации нейрослопа в ленте
Идея плашки с процентом ИИ для пользовательской фильтрации
Новости сервиса OpenCode Go
Тариф OpenCode Go за $10 вышел на финансовую самоокупаемость

Результаты проверки оказались весьма показательными. Отечественные бесплатные детекторы от Яндекса и Сбера (GigaCheck) регулярно выдавали результат, будто полностью сгенерированные нейросетью статьи на 100% написаны человеком. Из-за такой погрешности модераторы, полагающиеся на бесплатный инструментарий, просто не видят нарушений правил.

Реклама
Ответ модератора о проверке детекторами
Модератор объясняет выбор бесплатных инструментов проверки

Проверка корпоративных блогов: AvitoTech, RUVDS и Timeweb Cloud

Я открыл раздел коротких постов на Хабре за неделю и отсортировал их по рейтингу. В топе традиционно находились материалы корпоративного блога AvitoTech, набирающие стабильные оценки. Накрутка рейтинга в корпоративных блогах — отдельная проблема, но меня в первую очередь интересовало качество текста. Я отобрал 5 постов объемом более 100 слов и прогнал их через GPTZero:

Результат проверки статьи в GigaCheck
Детектор GigaCheck определяет сгенерированный текст как написанный человеком
  • Первый пост — 100% ИИ;
  • Второй пост — 48% ИИ;
  • Третий пост — 98% ИИ;
  • Четвертый пост — 99% ИИ;
  • Пятый пост — 98% ИИ.

Все эти материалы были выложены уже после официального запрета на использование LLM. Получается, что новые правила действуют не для всех. Чтобы составить более полную картину, я проверил три свежие полноценные статьи компании AvitoTech: процент применения ИИ составил 70%, 0% и 6%. Статья с показателем в 70% оказалась первой публикацией автора — ни компания, ни платформа не стали досконально проверять материал перед выходом в общую ленту.

Для объективности я проверил 3 топовых материала за месяц от компании RUVDS — в них система зафиксировала 0% применения нейросетей. Однако при анализе трех случайных постов компании Timeweb Cloud уровень сгенерированного текста снова оказался высоким: 99%, 92% и 98% соответственно.

Результат проверки в Yandex Neurodetector
Yandex Neurodetector не находит нарушений в нейросетевой статье

Разбор топовых статей: кейсы PostgreSQL и EvertyDesk

Короткие посты читает далеко не каждый пользователь, поэтому основной поток аудитории идет на полноценные статьи. В блоке «Читают сейчас» на первой строчке расположилась статья с интригующим заголовком «PostgreSQL умер, да здравствует… PostgreSQL?». Перейдя к материалу, я с первых же абзацев узнал характерную стилистику языковой модели. В комментариях читатели также возмущались наличием нейрослопа, несмотря на то, что рейтинг статьи превысил +80.

Представитель администрации в комментариях заявил, что они провели проверку публикации через Yandex Neurodetector и GigaCheck и не обнаружили следов ИИ. Я проверил этот же текст в GigaCheck — сервис действительно сообщил о том, что статья написана человеком. Yandex Neurodetector показал идентичный результат. Зато GPTZero с однозначной уверенностью оценил текст как 100% нейросетевую генерацию.

Результат анализа статьи в GPTZero
GPTZero указывает на 100% вероятность генерации текста нейросетью

Второй характерный пример — статья «EvertyDesk: я отдаю то, на что ушли годы». В комментариях пользователи активно критиковали авторов за ИИ-слоп, набрав десятки плюсов. Однако публикация всё равно получила высокий рейтинг. Что примечательно, в данном случае даже GigaCheck распознал сгенерированный контент. Несмотря на мои жалобы и отдельный публичный пост, реакции от модераторов не последовало.

Реклама
Определение нейрослопа сервисом GigaCheck
GigaCheck зафиксировал ИИ-слоп в статье EvertyDesk

Замкнутый круг: ИИ-комментаторы и одобрение через Песочницу

Парадокс ситуации достигает пика в секции комментариев. Под статьей про PostgreSQL один из пользователей оставил развернутый ответ, который сам оказался полностью сгенерирован языковой моделью. Перейдя в его профиль, я увидел десятки аналогичных откликов и 12 выложенных статей за 20 дней — каждая из них состояла из нейрослопа на 100%.

Вот лишь несколько характерных заголовков из его ленты:

Сгенерированный комментарий к статье
Нейросетевой комментарий от бота под вымышленным материалом
  • «Внутренний вебхук исполнял любой SQL под суперюзером. Без пароля, без токена, без единого заголовка»;
  • «Робот написал одному человеку пять раз. Виноват оказался знак доллара»;
  • «Локальный путь в image_input съел четыре слота подряд»;
  • «Уборщик резервов кадров жил по таймеру в 15 минут. Генерация укладывалась в 16».

Обычные пользователи не всегда мгновенно распознают ИИ-текст и вступают в дискуссию, на их комментарии снова отвечает бот — в итоге аудитория читает нейрослоп в квадрате. Самый главный вопрос: как этот профиль получил инвайт на сайт? Через Песочницу. Модераторы платформы лично проверили его первую сгенерированную публикацию и дали одобрение на полноценный аккаунт.

Почему модерация бессильна и сколько стоит качественный фильтр

Борьба с нейрослопом упирается в несколько ключевых факторов:

  1. Модераторы опасаются ошибочных банов и не хотят удалять статьи без железобетонных доказательств;
  2. Сайт использует бесплатные детекторы (GigaCheck и Yandex Neurodetector), неспособные распознать современные языковые модели;
  3. Интеграция качественных платных API (вроде GPTZero) для проверки каждого поста и комментария требует расходов в сотни долларов ежемесячно.

Даже если бы платформа нашла финансирование, идеальным решением могла бы стать наглядная плашка с процентом ИИ рядом с заголовком и возможность скрывать такие статьи в ленте. Однако появление подобного функционала остается под большим вопросом.

Я принципиально не применяю нейросети для создания или редактуры своего контента. Все материалы вы можете читать в моем личном блоге, а также следить за обновлениями по RSS или в Telegram-канале.

Подписка OpenCode Go вышла на самоокупаемость

В завершение — короткая новость из сферы ИИ-разработки. Соучредитель сервиса для написания кода OpenCode Дакс Раад сообщил, что тарифный план OpenCode Go стоимостью $10 в месяц успешно вышел на самоокупаемость и сохраняет этот статус уже более двух недель подряд.

Источник: habr.com

01.