Как настроить локальные ИИ-модели для поиска, кода и графики на одной видеокарте

Современные локальные нейросети позволяют эффективно решать задачи глубокого поиска, программирования и генерации графики без использования облачных подписок и переплат. Полноценная локальная экосистема ИИ запускается на потребительском «железе», обеспечивая конфиденциальность данных и автономность.

В данном материале рассматривается конфигурация ПК на базе процессора Ryzen 5 7600X и видеокарты RTX 4070 Ti Super с 16 ГБ видеопамяти, где одновременно задействованы три специализированные локальные ИИ-модели для разных рабочих сценариев.

BigBang-v1: превращение поисковой системы в исследовательского помощника

Модель BigBang-v1 представляет собой доработанную версию Qwen3.6-35B-A3B, распространяемую под лицензией Apache 2.0. Ее ключевой особенностью является высокий показатель на бенчмарке BrowseComp, оценивающем способность находить труднодоступную информацию в сети интернет. Поскольку архитектура модели задействует лишь 3 миллиарда параметров из 35 миллиардов для каждого токена, она работает с высокой скоростью.

Поскольку вес квантованной версии составляет 19,3 ГБ, что превышает объем доступной видеопамяти графического ускорителя, применяется перенос части экспертов в системную операционную память с помощью флага управления. Это позволяет сохранять высокую скорость генерации текста даже при работе с контекстным окном большого объема.

Тестирование поисковых возможностей через MCP

Для проверки эффективности поиска к веб-интерфейсу подключается поисковая система через протокол MCP с использованием бесплатного ключа. В ходе тестов с запросами по актуальным проблемам операционной системы система успешно находит подтвержденные данные с указанием номеров обновлений и дат, хотя для критически важных задач все же рекомендуется проверять первоисточники.

FLUX 3 Image Klein: генерация и редактирование изображений

Для работы с графикой используется компактная модель FLUX 3 Image Klein с параметрами в 5,6 миллиарда весов. Она применяется как для создания новых изображений, так и для их редактирования. В рабочих сценариях задействуется дистиллированная версия, требующая минимального количества шагов обработки в интерфейсе ComfyUI.

Лицензия модели разрешает некоммерческое использование, а также коммерческое применение с ограничениями по уровню годового дохода. Для полноценной работы модели требуются вспомогательные компоненты:

• модель Qwen3.5 в качестве увеличетеля промптов для детализации текстовых запросов;
• модель Qwen3-VL в роли текстового кодировщика для перевода запроса в векторные эмбеддинги.

Все элементы загружаются в видеопамять последовательно в зависимости от текущего этапа обработки, обеспечивая генерацию изображения за минимальное время на имеющемся оборудовании без ограничений и водяных знаков.

Qwen3.8-27B: выбор модели для написания программного кода

В качестве отдельного решения для разработки кода применяется плотная модель Qwen3.8-27B. Несмотря на то, что универсальная модель также способна писать код, специализированное решение демонстрирует лучшие результаты в профильных тестах.

Поскольку архитектура не является разреженной, все 27 миллиардов параметров задействуются для каждого токена. Для эффективного размещения весов внутри доступного объема видеопамяти используется специальная квантованная версия размером 14,3 ГБ. Часть слоев автоматически выгружается в системную память для обработки контекста, что незначительно снижает скорость генерации, но обеспечивает высокое качество создаваемого программного кода.