Ebben a cikkben
GEEKOM bemutatott egy négynódusú AI klasztert, amelyet kompakt A9 Mega Mini PC-iből épített fel, megmutatva, hogyan kombinálhatók a kis formátumú rendszerek helyi vállalati AI alkalmazásokhoz.
A klaszter négy A9 Mega egységet kapcsol össze USB4-en keresztül, lehetővé téve számukra, hogy elosztott platformként működjenek hagyományos szerverrack vagy saját tulajdonú nagy sebességű hálózati berendezés nélkül. Mindegyik rendszert az AMD Ryzen AI Max+ 395 processzora hajtja, 16 Zen 5 CPU maggal, Radeon 8060S grafikával és egységes memóriával.
Ubuntu, ROCm és DwarfStar szoftvert futtatva a klaszter a DeepSeek V4 Flash modellt osztja el mind a négy gépen. OpenAI-kompatibilis API-t is biztosít, lehetővé téve az integrációt alkalmazásokkal, AI ügynökökkel és automatizálási eszközökkel.
A beállítás egyik kulcsfontosságú előnye a helyi feldolgozás. A vállalkozások dokumentumokat, forráskódot, szerződéseket és belső tudást elemezhetnek anélkül, hogy érzékeny információkat küldenének egy nyilvános felhőbe. GEEKOM szerint a rendszert akár 250 000 tokenes kontextusablakokkal is tesztelték, így alkalmas hosszú dokumentumokhoz és összetett munkafolyamatokhoz.
A vállalat szerint a klaszter körülbelül 14,61 tokent ért el másodpercenként egyszeres párhuzamosság mellett, a 95. percentilis első tokenig eltelt idő pedig körülbelül 0,42 másodperc volt a 32 és 128 tokenes tesztjeiben. A szervezetek egy vagy két A9 Mega rendszerrel kezdhetik, és igényeik növekedésével négyre bővíthetik.
A bemutató rávilágít a kompakt PC-kban rejlő lehetőségekre mint skálázható helyi AI platformokra vállalkozások, laboratóriumok, tantermek és edge-számítástechnikai környezetek számára.
Forrás: GEEKOM a PR Newswire-en keresztül. A teljesítményadatok és képességek a vállalat által jelentett tesztelésen alapulnak.
Kérdések és megjegyzések
0
Minden kérdés választ kap. Kérdezzen a vásárlás előtt — DaveC és a csapat egy munkanapon belül válaszol, a válaszok pedig nyilvánosak maradnak, hogy segítsenek a következő olvasónak.
