Мой блог
Как создать собственную русскоязычную модель решений на GPU за вечер
модель решений — Задачи бизнеса часто сводятся к простому выбору: куда направить клиентское обращение, кто должен согласовать командировку и положена ли конкретная компенсация. Полноценные генеративные нейросети справляются с этим, но работают избыточно медленно и дорого, а их уровень уверенности в ответах сложно назвать предсказуемым. Альтернативой выступают специализированные модели решений, которые за один проход выдают вероятности для заданных вариантов без генерации текста.
В данном материале рассматривается процесс создания и дообучения русскоязычной модели принятия решений ru-decision-4b на базе открытой архитектуры с использованием арендованной видеокарты, а также приводятся результаты её сравнения с существующими аналогами и выявленные в ходе экспериментов технические сложности.
Особенности моделей решений и подходы к их созданию
Подобные системы функционируют по принципу быстрого автоматического реагирования. Вместо пошаговой генерации текста модель анализирует входящий контекст и вопросы, после чего возвращает распределение вероятностей по фиксированному набору ответов: числовым баллам, бинарным значениям да/нет либо выбору одного варианта из нескольких. Отсутствие генерации текста снижает задержку ответа до долей секунды.
Ключевым преимуществом правильно откалиброванной модели становится её предсказуемость. Если заявленный уровень уверенности составляет 80%, это должно соответствовать реальной точности верных ответов примерно в 80% случаев. Подобная прозрачность позволяет автоматизировать рутинные операции, направляя сомнительные или сложные кейсы на ручную проверку сотрудникам.
Практическая реализация и обучающая выборка
Для создания русскоязычной модели за основу была взята открытая языковая модель с разрешенной коммерческой лицензией. Дообучение производилось методом LoRA, при котором исходные веса остаются неизменными, а обучается лишь компактная насадка. Общий объем датасета составил более 100 тысяч задач.
Обучающая выборка формировалась из нескольких компонентов:
- открытые русские наборы данных, адаптированные под формат «данные, вопрос, варианты»;
- синтетические регламенты бизнес-процессов, сгенерированные автоматически для покрытия различных правил и условий;
- англоязычные материалы для сохранения базовых языковых навыков модели;
- документы и кейсы для работы с неструктурированными текстами.
Процесс обучения занимал несколько часов на арендованной видеокарте RTX 4090 с поминутной тарификацией, что делает подобный подход доступным по затратам на вычисления.
Главные технические трудности и найденные решения
В процессе экспериментов разработчик столкнулся с несколькими характерными проблемами, с которыми неизбежно сталкиваются при создании подобных систем.
Проблема утечки данных в тестах
Ранние версии демонстрировали рекордные показатели точности, которые при детальной проверке оказались следствием дословного совпадения тестовых задач с обучающей выборкой. После очистки тестов от дубликатов реальные показатели снизились до честных значений. Это подчеркивает важность строгого разделения данных перед оценкой качества.
Ограничения при работе с числами
Нейросети демонстрируют низкую эффективность при выполнении точных арифметических расчетов, например, при сопоставлении лимитов с годовой выручкой клиентов. Более того, дообученная модель могла выдавать уверенные, но ошибочные ответы. Проблема решается архитектурно: вычисления и проверки выполняются классическим кодом, после чего модель получает уже готовые факты в виде логических переменных.
Избыточная перестраховка
После добавления в варианты ответа пункта о недостаточности данных для передачи запроса человеку модель начала массово перенаправлять ей живые обращения, воспринимая отсутствие жестко структурированных полей как нехватку информации. Практика показала, что частоту срабатывания подобных защитных механизмов необходимо отслеживать отдельно на реальных данных.
Результаты тестирования и сравнение с аналогами
Оценка модели проводилась как на знакомых типах задач, так и на независимом нейтральном тесте, включающем банковские обращения, жалобы граждан, отзывы и англоязычный бенчмарк JevBench. На собственных задачах модель продемонстрировала высокую долю автоматизации при заданной точности в 95%, превосходя базовые неспециализированные решения.
В то же время сравнение с вышедшей позднее специализированной русскоязычной моделью FRIDA-Decisions от SberAI показало, что выбор конкретного инструмента зависит от задач. На классификации по коротким меткам и модерации компактная FRIDA демонстрирует преимущество, тогда как для чтения развернутых регламентов и применения многоуровневых бизнес-правил эффективнее подходят более крупные дообученные модели.
Рекомендации по внедрению в бизнес-процессы
Опыт реализации подобных проектов позволяет сформулировать практические советы для внедрения моделей принятия решений в реальную инфраструктуру компаний:
- начинайте с формирования качественной выборки из 300–500 реальных кейсов с размеченными ответами сотрудников;
- выносите математические расчеты и проверки условий в программный код, оставляя нейросети задачу анализа готовых фактов;
- используйте порог уверенности для разделения потока задач на автоматическую обработку и ручную проверку;
- регулярно проверяйте тестовые выборки на отсутствие пересечений с тренировочными данными;
- применяйте локальное развертывание на собственных GPU для соблюдения требований безопасности и конфиденциальности данных.
Создание специализированной модели решений позволяет оптимизировать рутинные операционные процессы силами небольшой команды без необходимости привлечения масштабных вычислительных ресурсов.
