Альтернативный подход к классификации: путь галлюцинаций

14 августа 2026 года в блоге Link Blog был опубликован любопытный материал под заголовком «Не классифицируй. Галлюцинируй!». Автор делится проблемой: в его личном блоге накопилось огромное количество старых записей, которые до сих пор не были снабжены тегами. Проблема осложняется тем, что общее число существующих меток достигло 1856. Загружать такой объем данных в большую языковую модель (LLM) за один раз, надеясь получить точный выбор из уже готового словаря, — затея малоэффективная и технически избыточная.

Решение через векторные эмбеддинги

Даг Тернбулл предлагает изящный выход из этой ситуации. Вместо того чтобы принуждать модель строго следовать набору уже созданных категорий, стоит позволить ей «галлюцинировать» — то есть создавать новые теги без оглядки на имеющийся словарь. После этого необходимо использовать векторные эмбеддинги для поиска существующих в базе тегов, которые максимально близки по смыслу к тем, что сгенерировала модель. Такой метод позволяет эффективно сопоставить творческую свободу ИИ с жесткой структурой вашего корпуса данных.

Практика применения промптов

Чтобы предложенные моделью варианты были действительно полезными и релевантными, Тернбулл советует давать четкие примеры желаемой структуры меток в промпте. Это помогает ИИ лучше уловить формат и контекст задачи. Например, автору предлагается поставить такую задачу: «Создай уникальные, ранее не встречавшиеся классификации для товаров, мебели или фурнитуры, которые лучше всего соответствуют поисковому запросу». В качестве образца для модели приводятся такие категории: «Мебель / Гостиная / Журнальные столики», «Текстиль / Декоративные подушки», «Кухня / Хранение продуктов», а также категории для школьной или детской мебели. Финальным этапом становится подача целевого запроса — например, «коричневый журнальный столик» — для генерации подходящих классификаций на основе этой логики.

Источник: simonwillison.net