GEEKOM demonstrerer AI-klynge med fire noder i mini-PC med lokal DeepSeek-model

GEEKOM har demonstreret en AI-klynge med fire noder bygget af sine kompakte A9 Mega mini-PC’er, hvilket viser, hvordan systemer i lille format kan kombineres til lokale AI-applikationer til virksomheder.

Klyngen forbinder fire A9 Mega-enheder via USB4, så de kan fungere som en distribueret platform uden at kræve et traditionelt serverrack eller proprietært højhastighedsnetværksudstyr. Hvert system drives af AMDs Ryzen AI Max+ 395-processor med 16 Zen 5 CPU-kerner, Radeon 8060S-grafik og unified memory.

Klyngen kører Ubuntu, ROCm og DwarfStar-software og distribuerer DeepSeek V4 Flash-modellen på tværs af alle fire maskiner. Den leverer også en OpenAI-kompatibel API, hvilket muliggør integration med applikationer, AI-agenter og automatiseringsværktøjer.

En væsentlig fordel ved opsætningen er lokal behandling. Virksomheder kan analysere dokumenter, kildekode, kontrakter og intern viden uden at sende følsomme oplysninger til en offentlig cloud. GEEKOM siger, at systemet også er blevet testet med kontekstvinduer på op til 250.000 tokens, hvilket gør det egnet til lange dokumenter og komplekse arbejdsgange.

Ifølge virksomheden opnåede klyngen cirka 14,61 tokens per sekund ved enkelt samtidighed, med en 95.-percentil tid til første token på omkring 0,42 sekunder i dens 32- og 128-token-tests. Organisationer kan begynde med et eller to A9 Mega-systemer og udvide til fire, efterhånden som deres behov vokser.

Demonstrationen fremhæver potentialet i kompakte pc’er som skalerbare lokale AI-platforme til virksomheder, laboratorier, klasseværelser og edge-computing-miljøer.

Kilde: GEEKOM via PR Newswire. Ydeevnetal og kapaciteter er baseret på virksomhedsrapporterede tests.