Как температура генерации и seed меняют сюжеты в языковых моделях

Эксперименты с текстовыми нейросетями показывают, что один и тот же промпт способен приводить к совершенно разным сюжетным развязкам. Чтобы разобраться в этом вопросе, стоит изучить влияние параметров генерации текста на примере конкретных языковых моделей.

Когда языковая модель получает текстовую задачу, она не выдает весь текст сразу. Генерация текста с помощью нейросетей строится на пошаговом выборе следующего токена — слова, его части или знака препинания. Каждая новая добавленная единовременная деталь меняет контекст для последующих шагов вычислений.

Как модель выбирает сюжеты и рассчитывает вероятности

На каждом шаге генерации модель вычисляет внутренние оценки для возможных продолжений — так называемые логиты. На них влияют первоначальный запрос, уже написанный фрагмент и скрытые закономерности, усвоенные в процессе обучения. Параметр temperature меняет пропорции этих оценок, после чего они переводятся в вероятности. Низкая температура делает наиболее вероятный вариант доминирующим, тогда как более высокие значения выравнивают шансы альтернативных продолжений.

Для выбора конкретного токена из полученного распределения вероятностей используются алгоритмы с генератором псевдослучайных чисел. Начальное состояние этого генератора задается с помощью seed. Пока модель обрабатывает идентичный текст и опирается на одинаковые логиты, совпадение шагов сохраняется. Однако при изменении seed выбор может пойти по другому пути, создавая совершенно иную развилку в истории.

Практический эксперимент с моделями Qwen

В ходе практического исследования автор первоисточника проверил работу двух открытых моделей — Qwen2.5-1.5B-Instruct и Qwen3-0.6B. В качестве базового задания использовался англоязычный промпт о ночном дежурном музея, который находит записку с текстом «Не открывай зал номер семь» и в финальном предложении должен узнать автора послания и его мотив. Для каждой модели было протестировано три значения temperature (0,2, 0,7 и 1,2) в сочетании с набором из восьми различных seed.

Результаты генерации при разных настройках

При минимальном значении temperature, равном 0,2, модель Qwen2.5 демонстрировала разнообразие сюжетных линий. В разных запусках записку оставляли призрак куратора, правнук основателя музея или испуганная девочка, а иногда финал обрывался на полуслове без прямой разгадки. Модель Qwen3 при той же температуре вела себя стабильнее: авторами записки неизменно выступали бывшие сотрудники или охранники, хотя детали их мотивов различались.

Повышение температуры до 0,7 приводило к появлению новых сюжетных ходов и неожиданных деталей вроде дневников давних убийств или загадочных женских силуэтов. При этом модели временами теряли фокус на исходном задании, забывая о первоначальном запрете или заменяя текст записки другими фразами. Значение temperature на уровне 1,2 закономерно приводило к серьезным логическим сбоям: тексты засорялись фрагментами программного кода, обрывками фраз на разных языках или зацикливались до исчерпания лимита токенов.

Практические рекомендации по работе с температурой

На основе проведенного анализа можно сделать вывод, что максимальная температура не гарантирует появление качественного и оригинального сюжета, а лишь увеличивает риск грамматических и смысловых ошибок. Для получения стабильных результатов рекомендуется выполнять несколько запусков при одном значении параметров, постепенно повышая температуру для поиска творческих идей. Также полезно разделять длинные задачи на короткие смысловые цепочки и фиксировать удачные находки в теле самого запроса.