В ближайшее время нейросеть Claude начнет маркировать все свои текстовые ответы невидимыми водяными знаками. Разработчик модели, компания Anthropic, официально объявила об этом шаге, вызвав оживленные дискуссии о качестве и целостности генерируемого ИИ контента. Главный вопрос, беспокоящий пользователей, заключается в том, могут ли такие скрытые метки повлиять на смысловое наполнение или стилистическую выразительность ответов. В опубликованном посте компания Anthropic дала развернутый ответ, утверждая, что выбранный метод маркировки не снижает качество ответов, хотя и вносит определенные коррективы в процесс выбора слов.

Технология внедрения меток: как это работает

По словам представителей Anthropic, для конечного пользователя ответ с водяным знаком визуально ничем не отличается от обычного. Компания заявляет, что внутреннее тестирование не выявило никаких негативных последствий для содержания, уровня креативности или читабельности текстов. Система внедрения меток, которая разрабатывается как ответ на принятый в ЕС закон об искусственном интеллекте (EU AI Act), использует модифицированную версию технологии SynthID-Text от Google DeepMind. Этот алгоритм меняет источник случайности, используемый моделью при выборе слов из доступного диапазона вероятностей.

Чтобы лучше понять механику процесса, нужно вспомнить, как именно Claude генерирует текст. Подобно другим большим языковым моделям (LLM), Claude работает пошагово: каждое слово подбирается отдельно путем расчета вероятностей всех последующих элементов, после чего система делает выбор в пользу одного из наиболее вероятных вариантов. В ситуациях, когда требуется строгая фактическая точность, свобода выбора у модели крайне ограничена. К примеру, если пользователь задает вопрос о том, кто был первым человеком на Луне, после слова «Нил» нейросеть с почти стопроцентной вероятностью выберет «Армстронг». Аналогично, при решении математического примера «2 + 2», число «4» является единственным логичным и «явно лучшим» выбором. В таких жестко детерминированных случаях водяные знаки не меняют ничего.

Сфера влияния «невидимых меток»

Ситуация меняется, когда модель работает с более свободными конструкциями. Anthropic приводит пример: при генерации фразы о пасмурной погоде «Сегодня будет…» нейросеть может выбирать между словами «серый» (например, с вероятностью 30%) и «пасмурный» (с вероятностью 28%). Без системы маркировки Claude делает выбор на основе статистического веса, который в подобных пограничных случаях работает как подбрасывание монеты. Именно здесь и вступает в игру водяной знак: он дает модели микроскопический «толчок» в сторону того или иного слова.

Согласно Anthropic, это воздействие едва уловимо и не искажает ключевой смысл. Важно подчеркнуть, что такой «толчок» не заставит ИИ изменить фактический ответ на исторический вопрос, однако может повлиять на выбор синонима в «низкорисковых» ситуациях. Даже в программном коде, который пишет нейросеть, водяной знак может затронуть лишь незначительный комментарий, но не изменит логику самой программы. При анализе достаточно больших выборок текста эти микроскопические изменения становятся заметными для специальных инструментов. Anthropic отмечает, что такие маркеры обладают высокой устойчивостью: они сохраняются даже после копирования текста, вставки его в другие редакторы и проведения «легкой правки». Компания планирует предоставить пользователям возможность проверять наличие меток через специальный API, который в настоящее время находится в разработке.

Критика и этический аспект

Несмотря на технические аргументы разработчиков, новая политика вызвала волну критики. Обозреватель Джон Грубер, известный своими материалами для Daring Fireball, резко отозвался об этой инициативе. Он считает недопустимым, чтобы инструмент, которым пользуются люди, жертвовал хоть крупицей ясности, связности или качества текста ради внедрения скрытых сигналов в угоду регуляторам. По мнению Грубера, идея о том, что в процессе генерации текста должны учитываться любые факторы, кроме потребностей пользователя, является в корне неверной и оскорбительной.

С подобной точкой зрения солидарны многие эксперты: нежелательно, чтобы возможности ИИ искусственно ограничивались для соблюдения нормативных требований. Однако остается открытым вопрос, станет ли текст после внедрения меток объективно хуже, или же речь идет лишь о смене «оттенка» случайного выбора. Весь этот инцидент заставляет пристальнее взглянуть на внутреннюю «кухню» генеративного ИИ. В отличие от человека, который при письме взвешивает каждый нюанс, смысл и ритмику слов, нейросети вроде Claude, ChatGPT или Gemini анализируют вероятности и делают случайный выбор. По сути, человеческое творчество — это осознанная работа с деталями, тогда как работа ИИ — это математический расчет, переходящий в вероятностную случайность. Нам остается дождаться полномасштабного внедрения водяных знаков в модели Claude, чтобы на практике оценить, как именно этот «толчок» влияет на финальный результат: делает ли он текст хуже или просто придает ему иное, столь же случайное звучание.

Источник: pcworld.com