GEEKOM dimostra un cluster AI mini PC a quattro nodi con modello DeepSeek locale

GEEKOM ha dimostrato un cluster AI a quattro nodi costruito con i suoi compatti A9 Mega Mini PC, mostrando come i sistemi a fattore di forma ridotto possano essere combinati per applicazioni AI aziendali locali.

Il cluster collega quattro unità A9 Mega tramite USB4, consentendo loro di operare come piattaforma distribuita senza richiedere un rack server tradizionale o apparecchiature di rete ad alta velocità proprietarie. Ogni sistema è alimentato dal processore AMD Ryzen AI Max+ 395, con 16 core CPU Zen 5, grafica Radeon 8060S e memoria unificata.

Eseguendo Ubuntu, ROCm e software DwarfStar, il cluster distribuisce il modello DeepSeek V4 Flash su tutte e quattro le macchine. Fornisce inoltre un’API compatibile con OpenAI, consentendo l’integrazione con applicazioni, agenti AI e strumenti di automazione.

Un vantaggio chiave della configurazione è l’elaborazione locale. Le aziende possono analizzare documenti, codice sorgente, contratti e conoscenze interne senza inviare informazioni sensibili a un cloud pubblico. GEEKOM afferma che il sistema è stato testato anche con finestre di contesto fino a 250.000 token, rendendolo adatto a documenti lunghi e flussi di lavoro complessi.

Secondo l’azienda, il cluster ha raggiunto circa 14,61 token al secondo a concorrenza singola, con un tempo al primo token al 95° percentile di circa 0,42 secondi nei test da 32 e 128 token. Le organizzazioni possono iniziare con uno o due sistemi A9 Mega ed espandersi a quattro man mano che le loro esigenze crescono.

La dimostrazione evidenzia il potenziale dei PC compatti come piattaforme AI locali scalabili per aziende, laboratori, aule ed ambienti di edge computing.

Fonte: GEEKOM via PR Newswire. Le cifre sulle prestazioni e le capacità si basano su test riportati dall’azienda.