Сравнение локальных моделей на RTX 5070 Ti и российских облачных сервисов

Сравнение локального запуска моделей на видеокарте RTX 5070 Ti с российскими облачными провайдерами позволяет оценить реальное качество генерации, скорость работы и затраты. В рамках тестов используются синтетические задачи с вызовами инструментов и закрытые русскоязычные письменные сценарии.

Полученные метрики охватывают процент успешных выполнений, итоговый индекс качества, скорость инференса в токенах в секунду и расчетную стоимость одной успешной задачи. Это дает полное представление о соотношении локальных вычислительных систем и доступной облачной инфраструктуры в РФ.

Методология и границы тестирования

Для оценки возможностей языковых моделей применяются два принципиально разных набора проверочных заданий: 30 публичных синтетических задач с инструментами и 50 закрытых русскоязычных письменных задач. Успешным проходом считается результат с оценкой не ниже 0.6 балла. Для каждой конфигурации фиксируется доля успешных запусков и рассчитывается интегральный индекс качества в диапазоне от 0 до 100.

Основные сравнения выполняются по результатам трех проходов для нивелирования случайных отклонений. Разница в индексе качества до 4.3 пункта находится в пределах статистической погрешности. Финансовые показатели учитывают стоимость инференса с учетом НДС 22% при сценарии использования кэша на уровне 50%. Часть облачных платформ в сводных таблицах обозначается нейтральными буквенными кодами, поскольку процедура официального публичного упоминания поставщиков еще продолжается.

Локальные конфигурации и облачные альтернативы

В итоговую таблицу вошли одиннадцать конфигураций российского облака с нераскрытыми названиями провайдеров, отсортированные по уровню индекса качества, а также две локальные модели, запущенные на персональной видеокарте с графическим чипом RTX 5070 Ti. Глобальные зарубежные модели в данном исследовании не рассматривались, так как фокус сделан исключительно на решениях, доступных для официального подключения на территории Российской Федерации.

Локальная модель Qwen3.8-27B в квантовании IQ3 демонстрирует индекс качества 82.3 при показателе успешности 91.1% и скорости 68.3 токена в секунду. Ближайшие облачные аналоги показывают сопоставимые результаты: облако Г достигает индекса 84.3 с успешностью 94.4%, а облако Б — индекса 84.0 при 93.3% успешных прогонов. Разница в пределах двух пунктов не превышает порог статистического шума.

Вторая локальная модель, Gemma4-12B, получает индекс 78.0 с успешностью 88.9% и высокой скоростью 94.4 токена в секунду. Ряд облачных участников, таких как облако Л (77.7), облако А (75.1), облако Д (74.6) и облако И (73.8), находятся близко к этому значению, однако прямая линейная зависимость между порядком строк и качеством здесь отсутствует.

Анализ стоимости успешной задачи

Расчетная себестоимость успешного выполнения задачи для локальной Qwen составляет 0.09 рубля с учетом амортизации оборудования и затрат на электроэнергию. Самое дешевое облачное решение оценивается в 0.01 рубля, но его индекс качества падает до 69.1, что на 13.2 пункта ниже локального уровня. Облачные тарифы демонстрируют сильный разброс: самые дорогие варианты достигают стоимости 3.31 рубля за успешную задачу при более низких баллах качества.

Использование фиксированного сценария с 50-процентным кэшем введено для приведения всех участников к единой методике расчетов, хотя на практике параметры кэширования у разных провайдеров существенно различаются. Некоторые облачные платформы в момент проведения замеров даже не выделяли отдельную тарификацию для запросов к кэшу в своих прайс-листах.

Результаты закрытого письменного бенчмарка

Письменный набор из 50 закрытых задач позволяет оценить способность моделей справляться со сложными текстовыми сценариями. На этом типе нагрузок локальная Qwen3.8-27B показывает успешность 84.7% и индекс качества 77.0. Среди всех протестированных облачных платформ ближе всего оказывается облако Б с показателями 79.3% успешных прогонов и индексом 70.0.

Остальные облачные провайдеры демонстрируют более заметное падение показателей на письменных задачах, где разница с локальной системой превышает порог статистического шума. Это подчеркивает специфику поведения моделей при работе с большими объемами текстового контекста и сложными инструкциями без привлечения внешних инструментов.

Технические параметры и ограничения железа

В ходе бенчмарк-тестирования локальные конфигурации работали в однопоточном режиме с контекстом 131K. Для Qwen зафиксирована медианная задержка 6.365 секунды при скорости 68.3 токена в секунду, в то время как Gemma показала задержку 2.86 секунды и скорость 94.4 токена в секунду. Эти замеры отражают производительность одиночного запроса, а не поведение системы в условиях одновременной очереди.

Дополнительные нагрузочные тесты с моделью Gemma при параллельных формах запросов от 1 до 8 слотов с контекстом 32K на слот демонстрируют стабильность работы. При попытке запустить аналогичный нагрузочный тест для Qwen с параметром N=4 и тем же объемом контекста зафиксирована ошибка нехватки видеопамяти CUDA out-of-memory.