NVIDIA представила Personal AI Router (PAIR): открытый маршрутизатор для локального запуска ИИ на нескольких компьютерах

Развитие мультиагентных сценариев взаимодействия с искусственным интеллектом коренным образом изменило подход к локальному исполнению нейросетевых моделей. Когда ведущий агент разбивает комплексную задачу на фрагменты и запускает множество подчиненных подагентов, один пользовательский запрос мгновенно превращается в десятки параллельных обращений к ИИ. При отправке всех этих вызовов на единственный локальный движок вычисления упираются в узкое место: запросы выстраиваются в очередность, пока другие графические ускорители или системы в локальной сети простаивают без дела.

Компания NVIDIA анонсировала решение этой проблемы, выпустив инструмент под названием Personal AI Router (PAIR). Это виртуальный маршрутизатор инференса с открытым исходным кодом, который автоматически находит совместимые устройства в локальной сети и оптимальным образом распределяет между ними независимые запросы к нейросетям. Я лично изучил особенности архитектуры этого инструмента и спешу подробно рассказать, как устроен PAIR и какую пользу он приносит при работе с локальными нейросетями.

Что представляет собой NVIDIA Personal AI Router (PAIR)

Сразу важно подчеркнуть: PAIR не является новым движком генеративного ИИ. Он не заменяет собой привычные инструменты вроде Ollama или LM Studio, а выступает в роли интеллектуального прослоечного маршрутизатора. Выполнение моделей по-прежнему происходит на узлах сети с помощью этих движков, но PAIR берет на себя перенаправление каждого отдельного запроса на наиболее подходящее и свободное устройство.

Проект уже доступен для практического использования в статусе публичной бета-версии (v0.1.1). Разработчикам и энтузиастам предлагаются готовые подписанные установщики для операционных систем Windows, macOS и Linux, а исходный код полностью открыт на GitHub под лицензией Apache 2.0. Важное преимущество архитектуры заключается в полной приватности: система работает исключительно в пределах вашей локальной сети, а подключение к интернету требуется только на этапе первичной загрузки необходимых весов нейросетей.

Принцип интеграции: отсутствие новых API и полная совместимость

Ключевым архитектурным решением инженеров NVIDIA стало отказаться от создания очередного специализированного кластерного API. Вместо этого PAIR работает как прозрачный прокси-сервер для стандартных интерфейсов, с которыми уже умеют взаимодействовать современные агенты ИИ.

По умолчанию маршрутизатор перехватывает сетевые порты, используемые Ollama и LM Studio. Если же ваша рабочая среда или фреймворк настрочены на другие порты, их можно легко переопределить в настройках движка PAIR. Дополнительно в репозитории представлены прокси-эндпоинты, полностью совместимые с API OpenAI.

Практический вывод из такой схемы чрезвычайно прост: вам не придется модифицировать существующие скрипты, управляющие программы или агентские среды. Агент продолжает формировать запросы в стандартном режиме, даже не подозревая о наличии маршрутизатора, а PAIR сам принимает решение, на каком именно ПК или сервере будет обработана конкретная подзадача.

Автоматическое обнаружение, сопряжение устройств и сетевая безопасность

Процесс объединения вычислительных узлов в единую сеть максимально упрощен. PAIR задействует протокол mDNS для автоматического поиска соседних компьютеров в локальной сети. Если по каким-то причинам автоматический поиск не сработал, добавить узел можно вручную по его IP-адресу.

Безопасность взаимодействия обеспечивается несколькими уровнями защиты:

• Авторизация через PIN-код: при добавлении нового узла на запрашивающем устройстве генерируется шестизначный цифровой код, который необходимо ввести на присоединяемой машине. До подтверждения PIN-кода любой сетевой обмен между узлами блокируется.
• Шифрование трафика: после успешно пройденой авторизации вся передача данных между сопряженными ПК защищается по протоколу mTLS с использованием автоматически создаваемых цифровых сертификатов.
• Автоматизация окружения: PAIR способен самостоятельно разворачивать движки Ollama или LM Studio и запускать скачивание требуемых моделей на удаленных узлах, избавляя пользователя от ручной рутинной настройки каждого компьютера.

Логика работы планировщика распределения задач

Узел локальной сети признается пригодным для выполнения входящего запроса только при соблюдении ряда условий: на нем запущен поддерживаемый движок инференса и загружена ровно та модель, которая указана в запросе. При этом идентичность набора моделей на всех машинах не требуется — разным компьютерам можно назначить разные нейросети, и PAIR будет маршрутизировать трафик исходя из их фактического местоположения. Если же развернуть одну и ту же модель на нескольких узлах, планировщик просто расширит пул доступных исполнителей.

Для принятия решения о том, куда отправить поступившую задачу, алгоритм планирования анализирует пять ключевых сигналов в режиме реального времени:

1. Текущий сетевой статус узла и его готовность к работе.
2. Активность поддерживаемого локального движка.
3. Наличие точной копии запрашиваемой нейросетевой модели.
4. Текущую очередь задач на конкретном узле и движке.
5. Уровень текущей загрузки графического процессора (GPU).

Здесь важно четко понимать границу возможностей технологии: PAIR обеспечивает параллелизм на уровне отдельных рабочих задач. Маршрутизатор закрепляет каждый входящий запрос за одним выбранным узлом на весь цикл его обработки. PAIR не объединяет видеопамять (VRAM) разных видеокарт в единый виртуальный массив, не превращает несколько GPU в один сверхмощный ускоритель и не распределяет слои одной модели по разным компьютерам.

Результаты тестов: реальное ускорение на практике

Для демонстрации эффективности PAIR специалисты NVIDIA провели тестирование с использованием среды Hermes Desktop. В рамках теста создавалась нагрузка из пяти параллельных подагентов, обрабатывающих тестовый почтовый ящик. В качестве рабочей нейросети на узлах через Ollama запускалась модель Qwen 3.6 35B A3B.

Результаты практического эксперимента показали существенный прирост производительности:

• Один ноутбук RTX Spark: среднее время выполнения всей задачи составило 18 минут.
• Кластер PAIR из трех устройств (ноутбук RTX Spark, станция DGX Spark и ПК с видеокартой RTX 5090): среднее время выполнения сократилось до 8 минут и 48 секунд.

Таким образом, распределение параллельных подзадач между свободными ресурсами сети позволило сократить время обработки более чем в два раза.

Системные требования и поддерживаемое оборудование

Маршрутизатор отличается широкой мультиплатформенной поддержкой. На текущий момент PAIR совместим со следующим оборудованием и ОС:

• Графические ускорители: дискретные видеокарты NVIDIA GeForce RTX 20-й серии и новее, профессиональные карты RTX PRO (начиная с архитектуры Turing), системы DGX Spark, а также компьютеры Apple с чипами Apple Silicon M4 и новее.
• Операционные системы: Windows, Linux и macOS на архитектурах x64 и arm64 (поддержка Windows on ARM на данный момент носит экспериментальный характер).
• Минимальные аппаратные ресурсы: от 8 ГБ оперативной памяти и не менее 20 ГБ свободного места на диске. Для несертифицированных дистрибутивов Linux предусмотрена возможность сборки из исходного кода.

Главные выводы и текущие ограничения бета-версии

Подводя итог, NVIDIA Personal AI Router предлагает крайне изящный способ масштабирования локальных вычислений без необходимости менять существующий программный стек. Полноценная поддержка привычных эндпоинтов Ollama и LM Studio позволяет внедрить PAIR в готовые агентские сценарии буквально за считанные минуты.

В то же время стоит помнить о текущих ограничениях ранней бета-версии v0.1.1. На данный момент алгоритм распределения задействует единую базовую политику планирования: он пока не учитывает суммарный объем VRAM, класс конкретного GPU и степень предварительного прогрева модели в памяти. Тем не менее, даже в текущем виде PAIR стал мощным инструментом для эффективной утилизации простаивающего железа в домашней или офисной локальной сети.

Источник: www.marktechpost.com