NVIDIA представила открытый инструмент NVIDIA PAIR® (Personal AI Router®), распространяемый по лицензии Apache 2.0. Разработка предназначена для балансировки и маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках единой локальной сети.
По оценкам инженеров, большинство домашних систем с дискретными графическими ускорителями большую часть времени работают с низкой загрузкой. При наличии в доме нескольких компьютеров — например, основного ПК с видеокартой GeForce RTX® и второго ПК или ноутбука — их суммарная вычислительная мощность в простое остается невостребованной. NVIDIA PAIR® предлагает задействовать эти ресурсы для выполнения задач машинного обучения, сохраняя обработку данных внутри домашней сети.
Как это работает
С технической точки зрения NVIDIA PAIR® не является механизмом параллелизма и не реализует распределенный инференс одной модели на нескольких ПК. Инструмент не объединяет VRAM разных физических ускорителей в единый логический массив. Запустить модель, объем параметров которой превышает объем VRAM одного конкретного графического ускорителя, за счет добавления второго компьютера не получится.
Инструмент функционирует как сетевой прокси-сервер и маршрутизатор прикладного уровня (L7). В инфраструктуре он располагается между клиентским приложением (например, мультиагентным фреймворком) и локальными движками инференса — Ollama или LM Studio, перехватывая исходящие REST API-запросы в формате, совместимом с OpenAI.
Посмотрим на этапы процесса взаимодействия.
- Происходит поиск устройств в локальной сети через протокол mDNS. Сопряжение узлов выполняется по шестизначному коду, после чего сетевой трафик между узлами шифруется с помощью mTLS.
- При поступлении запроса на инференс NVIDIA PAIR® обращается к текущему состоянию подключенных узлов. На этапе бета-версии планировщик учитывает длину очереди активных задач, факт предзагрузки нужной модели в память конкретного узла и текущую загрузку GPU.
- Реализовано динамическое перенаправление запросов: если на одном из компьютеров запущен трехмерный рендеринг или игра, планировщик временно обходит данный узел при распределении входящего запроса и направляет задачу на свободное устройство. Как только вычислительные ресурсы ПК высвобождаются, узел снова начинает получать задачи от роутера.
Поскольку между узлами передаются только входящие данные и сгенерированный результат, требования к пропускной способности локальной сети остаются минимальными — достаточно стандартного подключения Ethernet или Wi-Fi.
Практические сценарии применения
NVIDIA предлагает три варианта использования своей системы. Во-первых, мультиагентные процессы: главный агент генерирует задачи сразу для нескольких субагентов, а их последовательное исполнение на одном GPU создает очередь. NVIDIA PAIR® распределяет независимые запросы субагентов по разным физическим ПК в сети, обеспечивая их параллельную обработку. В демонстрационном тесте NVIDIA с пятью субагентами на модели Qwen3.6 35B A3B на двух компьютерах с видеокартами GeForce RTX® 5090 время выполнения сценария сократилось с 6 минут 18 секунд до 3 минут 48 секунд.
Во-вторых, параллельная многозадачность: можно одновременно запускать и обрабатывать сразу несколько независимых пользовательских сессий с моделями на разных устройствах без падения производительности и взаимного ожидания в очереди.
В-третьих, это вынос вычислений. Пользователь может продолжать работать или играть на основном ПК, пока фоновые задачи инференса автоматически перенаправляются на второй компьютер или ноутбук в той же локальной сети.
Совместимость и требования
Приложение не требует специализированных драйверов уровня ядра и работает на операционных системах Windows®, Linux® и macOS®.
Вычислительными узлами могут выступать системы с видеокартами GeForce RTX®, профессиональными ускорителями DGX™, а также графическими процессорами других производителей (включая решения AMD, Intel и интегрированную графику Apple Silicon), если на устройстве запущен поддерживаемый движок Ollama или LM Studio. В рамках базовых тестов NVIDIA подтверждена стабильная работа кластера, объединяющего до 18 узлов.
Вообще, этот инструмент не совершает каких-то технологических прорывов в области инференса моделей. Однако он закрывает прикладную задачу: превращает разрозненное домашнее железо в утилитарный локальный кластер без сложной настройки инфраструктуры и лишних затрат.
