U ovom članku
GEEKOM predstavio je četverosložni AI klaster izgrađen od svojih kompaktnih A9 Mega Mini računala, pokazujući kako se sustavi malog formata mogu kombinirati za lokalne poslovne AI primjene.
Klaster povezuje četiri A9 Mega jedinice putem USB4, omogućujući im rad kao distribuirana platforma bez potrebe za tradicionalnim serverskim ormarićem ili vlasničkom mrežnom opremom velike brzine. Svaki sustav pokreće AMD-ov Ryzen AI Max+ 395 procesor, s 16 Zen 5 CPU jezgri, Radeon 8060S grafikom i objedinjenom memorijom.
Pokrećući Ubuntu, ROCm i DwarfStar softver, klaster distribuira DeepSeek V4 Flash model na sva četiri stroja. Također pruža API kompatibilan s OpenAI-jem, omogućujući integraciju s aplikacijama, AI agentima i alatima za automatizaciju.
Ključna prednost ovog postava je lokalna obrada. Tvrtke mogu analizirati dokumente, izvorni kod, ugovore i interno znanje bez slanja osjetljivih informacija u javni oblak. GEEKOM kaže da je sustav također testiran s kontekstnim prozorima do 250.000 tokena, što ga čini prikladnim za dugačke dokumente i složene radne tokove.
Prema tvrtki, klaster je postigao približno 14,61 tokena u sekundi pri pojedinačnoj istovremenosti, s 95. percentilom vremena do prvog tokena od oko 0,42 sekunde u testovima s 32 i 128 tokena. Organizacije mogu započeti s jednim ili dva A9 Mega sustava i proširiti se na četiri kako njihovi zahtjevi rastu.
Demonstracija ističe potencijal kompaktnih računala kao skalabilnih lokalnih AI platformi za tvrtke, laboratorije, učionice i okruženja rubnog računalstva.
Izvor: GEEKOM putem PR Newswire. Podaci o performansama i mogućnosti temelje se na testiranju koje je prijavila tvrtka.
Pitanja i komentari
0
Svako pitanje dobija odgovor. Pitajte prije kupnje — DaveC i tim odgovori u roku jednog radnog dana, a odgovori ostaju javni da bi pomogli sljedećem čitatelju.
