Как локальная языковая модель Qwythos 9B работает на видеокарте с 8 ГБ VRAM

Платные подписки на облачные нейросети вроде Claude Pro часто используются для рутинных задач, однако появление компактных альтернатив заставляет пересмотреть этот подход. Недавно на платформе Hugging Face появилась модель Qwythos 9B, которая позиционируется как инструмент с рассуждениями в стиле разработок Anthropic и способна запускаться на локальном компьютере с 8 ГБ видеопамяти.

Что представляет собой Qwythos 9B

Qwythos 9B — это бесплатная модель с поддержкой рассуждений, созданная исследовательской лабораторией Empero AI. Пользователям доступна вторая версия (v2), в которой разработчики устранили проблему зацикливания, свойственную первому релизу. Архитектурно новинка базируется на модели Qwen3.5 9B от компании Alibaba, которая изначально поддерживает обработку изображений и длинных текстовых контекстов.

В процессе обучения модель прошла тренировку на массиве объемом более 500 миллионов токенов диалогов из серий Claude Mythos и Claude Fable. При этом пошаговые рассуждения для тренировки генерировались собственным инструментом лаборатории под названием rethink. Создатели ориентируют Qwythos на задачи из области математики, естественных наук, медицины и кибернетической безопасности, делая ее полностью свободной от жесткой цензуры.

Системные требования и запуск на ПК

Для запуска модели использовалась видеокарта среднего уровня RTX 3070 с 8 ГБ видеопамяти. В качестве программного обеспечения для запуска применялась утилита LM Studio, где был загружен квантованный вариант Q4_K_M размером чуть менее 7 ГБ. Такой объем позволил сохранить запас под рабочий контекст размером от 10 до 30 тысяч токенов в зависимости от выгрузки слоев.

Скорость генерации на данной конфигурации составляет около 20–22 токенов в секунду, а ответы начинают поступать менее чем за секунду. Подобная эффективность достигается благодаря архитектурным особенностям базовой модели Qwen3.5. В отличие от систем, хранящих историю диалога во всех блоках памяти, Qwen задействует динамическую память лишь в четверти блоков, тогда как остальные удерживают фиксированный размер.

Сравнение локальных задач с облачным Claude

При тестировании в повседневных сценариях оценивалось, насколько успешно локальное решение заменяет облачные сервисы. Задачи разделялись по нескольким категориям: логические пазлы, объяснение сложных концепций, работа с актуальной информацией и визуальный анализ.

Логика и объяснение сложных тем

В логических тестах с условиями по времени модель успешно справилась с задачей менее чем за секунду при отключенном режиме рассуждений (Thinking), хотя и проигнорировала стартовое условие отправной точки. Активация режима рассуждений улучшила качество развернутых ответов, например, при формировании научной справки о влиянии кофеина на организм. Без режима размышлений ответы получались более свободными, но порой избыточными по объему.

Актуальные данные и инструменты поиска

При запросах актуальной информации автономные локальные модели часто склонны к галлюцинациям. В ходе проверки на вопрос о последней версии программы LM Studio модель честно ответила об отсутствии прямого доступа к интернету. Для получения свежих фактов требуется подключение внешних инструментов поиска через протокол MCP, после чего система корректно обрабатывает запросы с привлечением веб-поиска.

Анализ изображений

Работа с графическими данными оказалась наиболее уязвимой стороной, поскольку создатели изначально не фокусировались на специализированном визуальном обучении. Анализ макета интерфейса привел к выдаче общих рекомендаций, которые выглядели скорее как предположения общего характера.

Перспективы использования локальных моделей

Рассмотренный инструмент демонстрирует способность эффективно закрывать базовые потребности в логических рассуждениях и текстовых пояснениях, снижая нагрузку на лимиты платных облачных подписок. Тем не менее, для написания программного кода и детального визуального проектирования облачные платформы по-прежнему сохраняют преимущество.