GEEKOM predvádza štvorbodový mini PC AI klaster s lokálnym modelom DeepSeek

GEEKOM predviedol štvorbodový AI klaster postavený z jeho kompaktných A9 Mega Mini PC, ktorý ukazuje, ako možno systémy malých rozmerov kombinovať pre lokálne podnikové AI aplikácie.

Klaster prepája štyri jednotky A9 Mega cez USB4, čo im umožňuje fungovať ako distribuovaná platforma bez potreby tradičného serverového racku alebo proprietárneho vysokorýchlostného sieťového vybavenia. Každý systém poháňa procesor AMD Ryzen AI Max+ 395, ktorý disponuje 16 CPU jadrami Zen 5, grafikou Radeon 8060S a zjednotenou pamäťou.

Klaster beží na Ubuntu, ROCm a softvéri DwarfStar a distribuuje model DeepSeek V4 Flash na všetky štyri stroje. Poskytuje tiež API kompatibilné s OpenAI, čo umožňuje integráciu s aplikáciami, AI agentmi a automatizačnými nástrojmi.

Kľúčovou výhodou tohto riešenia je lokálne spracovanie. Podniky môžu analyzovať dokumenty, zdrojový kód, zmluvy a interné znalosti bez odosielania citlivých informácií do verejného cloudu. GEEKOM uvádza, že systém bol tiež testovaný s kontextovými oknami až do 250 000 tokenov, čo ho robí vhodným pre dlhé dokumenty a komplexné pracovné postupy.

Podľa spoločnosti klaster dosiahol približne 14,61 tokenov za sekundu pri jednoduchom súbežnom spracovaní, s 95. percentilom času do prvého tokenu približne 0,42 sekundy v testoch s 32 a 128 tokenmi. Organizácie môžu začať s jedným alebo dvoma systémami A9 Mega a rozšíriť na štyri, ako rastú ich požiadavky.

Ukážka poukazuje na potenciál kompaktných PC ako škálovateľných lokálnych AI platforiem pre podniky, laboratóriá, učebne a prostredia edge computingu.

Zdroj: GEEKOM cez PR Newswire. Výkonnostné údaje a schopnosti sú založené na testovaní uvádzanom spoločnosťou.