În acest articol
GEEKOM a demonstrat un cluster AI cu patru noduri construit din Mini PC-urile sale compacte A9 Mega, arătând cum sistemele cu factor de formă mic pot fi combinate pentru aplicații AI locale de întreprindere.
Clusterul conectează patru unități A9 Mega prin USB4, permițându-le să funcționeze ca o platformă distribuită fără a necesita un rack de server tradițional sau echipamente de rețelistică proprietare de mare viteză. Fiecare sistem este alimentat de procesorul AMD Ryzen AI Max+ 395, cu 16 nuclee CPU Zen 5, grafică Radeon 8060S și memorie unificată.
Rulând Ubuntu, ROCm și software DwarfStar, clusterul distribuie modelul DeepSeek V4 Flash pe toate cele patru mașini. De asemenea, oferă un API compatibil OpenAI, permițând integrarea cu aplicații, agenți AI și instrumente de automatizare.
Un avantaj cheie al configurației este procesarea locală. Întreprinderile pot analiza documente, cod sursă, contracte și cunoștințe interne fără a trimite informații sensibile către un cloud public. GEEKOM spune că sistemul a fost testat și cu ferestre de context de până la 250.000 de tokenuri, ceea ce îl face potrivit pentru documente lungi și fluxuri de lucru complexe.
Potrivit companiei, clusterul a atins aproximativ 14,61 tokenuri pe secundă la concurență unică, cu un timp de până la primul token la percentila 95 de aproximativ 0,42 secunde în testele sale de 32 și 128 de tokenuri. Organizațiile pot începe cu unul sau două sisteme A9 Mega și se pot extinde la patru pe măsură ce cerințele cresc.
Demonstrația evidențiază potențialul PC-urilor compacte ca platforme AI locale scalabile pentru întreprinderi, laboratoare, săli de clasă și medii de calcul edge.
Sursa: GEEKOM via PR Newswire. Cifrele de performanță și capacitățile se bazează pe testele raportate de companie.
Întrebări și comentarii
0
Fiecare întrebare primește un răspuns. Întreabă înainte de a cumpăra — DaveC și echipa răspunde în decurs de o zi lucrătoare, iar răspunsurile rămân publice pentru a ajuta următorul cititor.
