GEEKOM prezentuje czterowęzłowy klaster AI z mini PC z lokalnym modelem DeepSeek

GEEKOM zaprezentował czterowęzłowy klaster AI zbudowany z kompaktowych mini PC A9 Mega, pokazując, jak systemy o małej obudowie można łączyć na potrzeby lokalnych zastosowań AI w przedsiębiorstwach.

Klaster łączy cztery jednostki A9 Mega przez USB4, umożliwiając im pracę jako platforma rozproszona bez konieczności stosowania tradycyjnej szafy serwerowej ani zastrzeżonego sprzętu sieciowego o wysokiej prędkości. Każdy system napędzany jest procesorem AMD Ryzen AI Max+ 395, oferującym 16 rdzeni CPU Zen 5, grafikę Radeon 8060S i pamięć zunifikowaną.

Działając w oparciu o system Ubuntu, ROCm i oprogramowanie DwarfStar, klaster rozdziela model DeepSeek V4 Flash na wszystkie cztery maszyny. Zapewnia również API zgodne z OpenAI, umożliwiając integrację z aplikacjami, agentami AI i narzędziami automatyzacji.

Kluczową zaletą tego rozwiązania jest lokalne przetwarzanie. Przedsiębiorstwa mogą analizować dokumenty, kod źródłowy, umowy i wiedzę wewnętrzną bez wysyłania poufnych informacji do chmury publicznej. GEEKOM twierdzi, że system został również przetestowany z oknami kontekstu do 250 000 tokenów, co czyni go odpowiednim do długich dokumentów i złożonych przepływów pracy.

Według firmy klaster osiągnął około 14,61 tokenów na sekundę przy pojedynczej współbieżności, a 95. percentyl czasu do pierwszego tokenu wyniósł około 0,42 sekundy w testach z 32 i 128 tokenami. Organizacje mogą rozpocząć od jednego lub dwóch systemów A9 Mega i rozszerzyć do czterech w miarę wzrostu wymagań.

Demonstracja podkreśla potencjał kompaktowych komputerów jako skalowalnych lokalnych platform AI dla przedsiębiorstw, laboratoriów, sal lekcyjnych i środowisk przetwarzania brzegowego.

Źródło: GEEKOM via PR Newswire. Dane dotyczące wydajności i możliwości opierają się na testach zgłoszonych przez firmę.