NVIDIA выпустила Personal AI Router 😀
Personal AI Router (PAIR) объединяет компьютеры в локальной сети и превращает их в персональный ИИ-кластер.
Система автоматически находит ПК с RTX, DGX Spark и поддерживаемые Mac, после чего направляет запросы на устройство, где в данный момент есть свободные ресурсы. По сути, это распределитель нагрузки для ИИ-агентов, который работает прямо в вашей локальной сети.
PAIR позволяет запускать несколько ИИ-агентов одновременно, распределять инференс между разными видеокартами и компьютерами, а также использовать Ollama и LM Studio. При этом промпты, файлы и контекст агентов можно хранить внутри своей сети.
Поддерживаются Windows, Linux и macOS.
PAIR уже доступен бесплатно в бета-версии и с открытым исходным кодом.