Аудит предпочтений и дообучение языковых моделей с помощью DPO

Разбор сквозного пайплайна настройки языковых моделей методом Direct Preference Optimization на датасете Anthropic HH-RLHF с учетом анализа длины ответов и лексических искажений.