GEEKOM pristato keturių mazgų mini kompiuterių AI klasterį su vietiniu DeepSeek modeliu

GEEKOM pristatė keturių mazgų AI klasterį, sukurtą iš kompaktiškų A9 Mega Mini kompiuterių, parodydama, kaip mažo formato sistemas galima sujungti vietinėms įmonių AI programoms.

Klasteris jungia keturis A9 Mega įrenginius per USB4, leisdamas jiems veikti kaip paskirstytai platformai nereikalaujant tradicinės serverių spintos ar patentuotos didelės spartos tinklo įrangos. Kiekviena sistema varoma AMD Ryzen AI Max+ 395 procesoriaus su 16 Zen 5 CPU branduolių, Radeon 8060S grafika ir vieninga atmintimi.

Naudojant Ubuntu, ROCm ir DwarfStar programinę įrangą, klasteris paskirsto DeepSeek V4 Flash modelį visose keturiose mašinose. Jis taip pat teikia OpenAI suderinamą API, leidžiančią integruoti su programomis, AI agentais ir automatizavimo įrankiais.

Pagrindinis šios sąrankos privalumas yra vietinis apdorojimas. Įmonės gali analizuoti dokumentus, šaltinio kodą, sutartis ir vidines žinias nesiųsdamos jautrios informacijos į viešą debesį. GEEKOM teigia, kad sistema taip pat buvo testuota su konteksto langais iki 250 000 žetonų, todėl ji tinka ilgiems dokumentams ir sudėtingiems darbo procesams.

Pasak įmonės, klasteris pasiekė maždaug 14,61 žetono per sekundę esant vienkartiniam vienalaikiškumui, o 95-ojo procentilio laikas iki pirmojo žetono buvo apie 0,42 sekundės atliekant 32 ir 128 žetonų testus. Organizacijos gali pradėti nuo vienos ar dviejų A9 Mega sistemų ir išplėsti iki keturių, kai auga jų poreikiai.

Demonstracija išryškina kompaktiškų kompiuterių potencialą kaip plečiamas vietines AI platformas įmonėms, laboratorijoms, klasėms ir kraštinio kompiuterijos aplinkoms.

Šaltinis: GEEKOM per PR Newswire. Našumo rodikliai ir galimybės pagrįsti įmonės pateiktais testavimo duomenimis.