Локальный ИИ без иллюзий: запуск моделей на своем ПК и свежие релизы

Привет! На связи Сергей Багров. В этом материале мы разберем тонкости запуска ИИ на локальном компьютере, оценим новые инструменты для KDE Plasma и разберем полезную команду для бэкапа агентов.

Понятие «локального искусственного интеллекта» в последнее время стало размытым. Часто пользователи думают, что модель работает прямо на их ПК, хотя на практике на компьютере запускается лишь графическая оболочка, тогда как сам генеративный процесс и переписка уходят на удаленные серверы. Перед тем как внедрять очередной инструмент в свой рабочий процесс, я всегда рекомендую проверять три ключевых параметра: где именно происходит вычисление (inference), какие сетевые службы и учетные записи задействованы, а также что разрешает лицензия. Самый лучший локальный ИИ — тот, который функционирует полностью автономно и не требует сторонних подключений.

На моей рабочей станции

Наша команда перешла с Discord на децентрализованную коммуникационную платформу Buzz, созданную Джеком Дорси. Эта среда предназначена как для обычных людей, так и для автономных агентов, способных работать как на удаленных серверах, так и локально через ACP. Конечно, система имеет свои шероховатости: например, снимки экрана из буфера обмена пока не вставляются напрямую в чат, а системные уведомления приходят только для личных сообщений. Тем не менее, для повседневных задач это вполне рабочий вариант.

Обзор новых ИИ-инструментов

Разработчик Kubuntu Рик Тиммис (Rick Timmis) сейчас трудится над проектом Klara. Это специализированный локальный десктопный ассистент, созданный специально для окружения KDE Plasma. Основная задумка автора — предоставить пользователю возможность полноценно управлять операционной системой с помощью голосовых команд. Проект пока находится в активной разработке, распространяется по пожизненной лицензии и продается силами Timmisun Limited.

Другой интересный проект — OpenMuse. Это персональный агент с открытым исходным кодом под лицензией MIT, который включает в себя браузерный воркер, систему долговременных задач и опциональное Linux-окружение в Docker. Хотя инструмент можно развернуть самостоятельно, для его настройки всё равно требуется ключ CopilotKit Intelligence, а неструктурированные задачи по умолчанию отправляются в облако. Программа поддерживает подключение OpenAI-совместимых эндпоинтов, но на данный момент разработчики не документировали нативный путь интеграции с Ollama. Иными словами, это отличный продукт для самохостинга, но назвать его на 100% автономным агентом пока нельзя.

Сертификация и стандарты

Linux Foundation запустила официальные сертификационные программы в сфере искусственного интеллекта. Экзамен Model Context Protocol Associate может серьезно пригодиться разработчикам, которые создают интеграции с протоколом MCP, или тем, кто хочет усилить свое резюме профильной квалификацией. Я планирую пройти эту сертификацию исключительно ради погружения в новые технологии и расширения практических навыков.

Новости открытых моделей

Проект OpenDecider демонстрирует отличный пример прагматичного использования небольших локальных моделей. Вместо того чтобы генерировать длинные текстовые ответы, этот инструмент решает узкоспециализированные задачи — например, определяет, в какую очередь должен отправиться конкретный тикет поддержки. В основе системы лежат две модели: нано-версия на 400 миллионов параметров и более крупная 4B-модель на базе архитектуры Qwen. По утверждению автора, обе модели получены путем дистилляции из более мощных учителей, а занимают они на диске около 2 ГБ и 8,9 ГБ соответственно. Очевидно, что для рутинной маршрутизации запросов вовсе не обязательно задействовать тяжеловесные языковые модели — компактная модель-студент прекрасно справляется с ролью предварительного фильтра.

Новости технологических гигантов

В недавнем анонсе от NVIDIA прозвучали обещания упростить настройку локальных моделей в Hermes и OpenClaw. Простой вариант установки в один клик для Hermes уже стал доступен на платформе Windows, в то время как аналогичное решение для Linux ожидается чуть позже. Не стоит путать этот будущий релиз с текущей бета-версией Linux PAIR. Кроме того, представители NVIDIA заявляют о росте производительности до 1,9 раза за счет оптимизации llama.cpp на видеокартах серии RTX 5090. Разумеется, это маркетинговые показатели вендора на специфическом железе, и на обычной пользовательской машине ждать такого прироста скорости не стоит.

Что такое дистилляция в ИИ

Если объяснять простыми словами, представьте себе крупного суперумного преподавателя, обладающего колоссальным багажом знаний. Этот учитель настолько велик, что помещается только в огромном здании университета. Дистилляция моделей работает похожим образом: большой ИИ-учитель передает всю свою мудрость компактной нейросети-студенту. Вместо того чтобы заставлять маленькую модель перечитывать миллионы учебников, учитель показывает ей готовые паттерны решения задач и логику рассуждений. В результате ученик перенимает эффективные алгоритмы и начинает работать почти так же умно, как первоисточник, но обладая значительно меньшим объемом параметров.

Полезный совет: резервное копирование агента Hermes

В прошлом материале я показывал команду ollama ps, которая позволяет проверить, действительно ли модель задействует видеокарту. На этот раз я настоятельно рекомендую позаботиться о создании резервных копий вашей рабочей среды. Если вы активно используете агент Hermes, не забывайте выполнять команду hermes backup. Она упаковывает всю домашнюю директорию Hermes, включая конфигурации и текущие состояния, в единый ZIP-архив, который впоследствии можно легко восстановить через hermes import путь/к/архиву.zip.

Чтобы автоматизировать процесс, используйте флаг --hermes backup --keep N, который ограничивает максимальное количество хранимых копий. Эту процедуру можно запустить по расписанию через cron-скрипт без инициализации самого агента. Обязательно выносите одну зашифрованную копию архива за пределы рабочей машины. Поскольку архив хранит конфиденциальные учетные данные, рабочие сессии, память и настройки, загружать его в системы контроля версий вроде Git — даже в закрытые репозитории — категорически не рекомендуется в целях безопасности.