Nvidia жергілікті желідегі бірнеше компьютердің графикалық карталарын біріктіріп, жасанды интеллект тапсырмаларын жылдам орындауға арналған Personal AI Router (PAIR) жүйесін ұсынды. Құрал желідегі бос тұрған GPU ресурстарын тауып, күрделі тапсырмаларды бірнеше құрылғыға бөліп береді, деп хабарлайды Tech-news.
PAIR ең алдымен жергілікті AI агенттерімен жұмыс істеуге арналған. Пайдаланушы күрделі сұраныс жіберген кезде, агент тапсырманы бірнеше бөлікке бөле алады. Ал PAIR сол бөліктерді желіге қосылған компьютерлер арасында таратып, бос GPU қуатын пайдаланады.
Тапсырмалар орындалып болған соң, нәтижелер негізгі компьютерге қайта жіберіледі. Осылайша бір ғана видеокартаға түсетін жүктеме азайып, күрделі есептеулер бірнеше құрылғының көмегімен орындалады.
Жүйенің басты ерекшелігі — ресурстарды динамикалық бөлуі. Мысалы, желідегі компьютер иесі ойын ойнай бастаса немесе өзінің жұмыс тапсырмалары үшін GPU қажет етсе, PAIR бұл құрылғының ресурсын пайдалануды азайтады немесе тоқтатады.
Дегенмен технология нақты орындалу уақытын кепілдендірмейді. Сондықтан PAIR секунд сайын нәтиже қажет болатын міндеттерден гөрі ұзақ уақытқа созылатын және икемді есептеу ресурстарын қажет ететін AI процестеріне тиімді.
Құрылғыларды қосу үшін PAIR LM Studio және Ollama платформаларымен жұмыс істейтін прокси жүйелерін пайдаланады. Компьютерлер желі ішінде mDNS немесе IP мекенжайы арқылы анықталады. Қажет болған жағдайда AI модельдерін қосылған құрылғыларға жүктеуге де болады.
Барлық компьютерге бірдей модель орнату міндетті емес. Бірақ бір модель бірнеше құрылғыда жұмыс істесе, сол модельге қатысты сұраныстарды қатар өңдеуге мүмкіндік беретін түйіндер саны көбейеді.
PAIR Nvidia GeForce RTX 20 сериясынан бастап шыққан GPU-ларды, сондай-ақ DGX Spark және GB10 чипіне негізделген жүйелерді қолдайды. Сонымен қатар Apple M4 және одан жаңа чиптері бар Mac компьютерлері жергілікті AI inference үшін пайдаланылуы мүмкін.
Клиенттік бағдарлама Windows, macOS және Linux жүйелеріне қолжетімді болады.
