Как деление на разделы помогает слабым локальным нейросетям

Эксперимент по созданию роя из слабых локальных нейросетей размером 1–2B на видеокарте с 6 ГБ памяти показал, что мультиагентная структура не дает значимого прироста умственных способностей. Зато заимствование организационной схемы проектного института Альберта Кана — жесткое деление единого массива данных на изолированные разделы — позволяет в несколько раз улучшить точность работы бюджетных моделей.

В материале рассматривается работа со слабыми локальными моделями на синтетическом полигоне транзакций, где оценивается влияние нарезки контекста на качество поиска информации без привлечения тяжелых облачных решений.

Предпосылки эксперимента и поиск эмерджентности

Идея зародилась из попыток вырастить из популяции слабых локальных моделей самоорганизующуюся структуру, способную решать задачи эффективнее любой из составляющих частей. Для тестов использовался пул из нескольких компактных вариантов: qwen2.5-coder-1.5b, qwen3-1.7b, llama-3.2-1b, gemma-3-1b, internvl3-2b и smollm2-1.7b. Ограничение по железу в виде видеокарты GTX 1660 SUPER с 6 ГБ памяти диктовало жесткие рамки, исключающие запуск крупных языковых моделей.

Проверка на задачах программирования показала отсутствие строгой эмерджентности: рой справился хуже банального перебора попыток, а синергетический эффект практически отсутствовал. Возник вопрос о практической пользе таких маломощных языковых моделей при обработке объемных массивов текста.

Аналогия с проектным институтом Альберта Кана

Организация процессов в крупных проектных бюро строится на строгом разделении труда. Главный инженер проекта распределяет общий объект на отдельные блоки: тепломеханику, электрику, строительную часть и автоматику. Каждый отдел разрабатывает и проверяет только свой сегмент, после чего результаты синхронизируются на стыках.

Ни один специалист не держит в голове всю станцию целиком. Маленькая локальная модель, получающая длинный список записей для анализа, сталкивается с аналогичной перегрузкой. Перенос принципов проектного института на работу с искусственным интеллектом помог проверить, насколько структурирование информации разгружает алгоритмы.

Тестовый полигон и обработка данных

Для проверки гипотезы был подготовлен синтетический массив из 18 транзакций. Моделям ставилась задача найти определенные строки по заданным критериям категории и региона, среди которых намеренно размещались похожие отвлекающие варианты. Сама арифметика и подсчет итогов возлагались на программный код, а от нейросетей требовалось исключительно обнаружение нужных ID без пропусков и лишних элементов.

Анализ первичных ответов на длинных списках выявил закономерность: успешность поиска заметно деградировала от начала перечня к его концу. Сначала предполагалось снижение активности моделей к финальным строкам, но детальная проверка показала иную картину. Нейросети выдавали сопоставимое число отметок по всему объему, однако в конце списка чаще ошибались, путая подходящие строки с похожими.

Влияние нарезки контекста на результаты моделей

Для устранения позиционного искажения массив из 18 записей программно делился на три равных блока по шесть элементов без изменения внутреннего порядка. Каждая модель обрабатывала изолированные фрагменты отдельно, а специальный защитный механизм отсекал любые выдуманные идентификаторы, отсутствующие в конкретном блоке.

После внедрения такой схемы разница в качестве поиска между началом и концом списка практически нивелировалась. Главным открытием стало то, что нарезка данных сильнее всего помогла именно самым слабым моделям. Кодер с параметрами 1.5B продемонстрировал четырехкратный прирост точности правильного набора, вплотную приблизившись к лидерам тестирования без разделения контекста.

Оценка эффективности и масштабируемости схемы

Сравнение комплексного конвейера с результатами одиночной лучшей модели, пропущенной через те же блоки, показало отсутствие скрытой эмерджентности. Совместная работа роя дала минимальный прирост в несколько пунктов по сравнению с оптимизированной одиночной системой, что ставит под сомнение целесообразность удержания в памяти нескольких агентов ради столь скромного улучшения.

Затраты токенов на нарезку оказались минимальными за счет коротких вызовов, хотя общее количество запросов возросло. Полученные данные подтверждают, что при скармливании длинных документов или списков компактным моделям предварительное разделение текста на логические блоки силами скрипта дает максимальный практический эффект для точности распознавания.