Тэг
LoRA
Зачем компании обучают крошечную LLM под одну узкую задачу
Разбор практики внедрения и дообучения компактных языковых моделей для решения узких корпоративных задач вместо дорогих флагманских решений.
Читать далееИмаго-подход для корпораций: опыт создания языковой модели Thomson Reuters
Разбираем опыт корпорации Thomson Reuters по созданию собственной языковой модели: архитектура фабрики моделей, трехэтапное обучение, работа с данными и уроки для имаго-подхода.
Читать далее
Имаго-кодинг: как дообучение моделей и LoRA меняют процесс разработки
Разбор методологии имаго-кодинга: как дообучение локальных LLM с помощью LoRA, RAG и чистых датасетов меняет роль разработчика и качество кода.
Читать далее
Распознавание крымскотатарской речи: LoRA за полтора часа и подбор декодера
Разбор распознавания крымскотатарской речи с помощью Whisper и LoRA: методология тестирования, устранение утечек данных и тюнинг декодера.
Читать далее
Асинхронный GRPO с LoRA на Hugging Face Jobs: настройка vLLM, прокси и Storage Buckets
Разбор архитектуры асинхронного обучения с подкреплением (AsyncGRPO) с использованием LoRA-адаптеров в библиотеке TRL v1.14. Показываем, как организовать взаимодействие узлов без межсерверного NCCL через Hugging Face Storage Buckets и умный прокси-маршрутизатор, ускоряющий процесс обучения почти в 4 раза.
Читать далее
Аудит предпочтений и дообучение языковых моделей с помощью DPO
Разбор сквозного пайплайна настройки языковых моделей методом Direct Preference Optimization на датасете Anthropic HH-RLHF с учетом анализа длины ответов и лексических искажений.
Читать далее
