GEEKOM демонстрира четиривъзлов AI клъстер с мини PC и локален модел DeepSeek

GEEKOM демонстрира четиривъзлов AI клъстер, изграден от компактните му A9 Mega Mini PC, показвайки как системите с малък форм-фактор могат да бъдат комбинирани за локални корпоративни AI приложения.

Клъстерът свързва четири A9 Mega единици чрез USB4, позволявайки им да работят като разпределена платформа без нужда от традиционен сървърен стелаж или собствени високоскоростни мрежови устройства. Всяка система се захранва от процесора Ryzen AI Max+ 395 на AMD, с 16 Zen 5 CPU ядра, графика Radeon 8060S и унифицирана памет.

Работейки с Ubuntu, ROCm и софтуер DwarfStar, клъстерът разпределя модела DeepSeek V4 Flash между всичките четири машини. Той също предоставя API, съвместим с OpenAI, позволявайки интеграция с приложения, AI агенти и инструменти за автоматизация.

Ключово предимство на конфигурацията е локалната обработка. Бизнесите могат да анализират документи, изходен код, договори и вътрешни знания, без да изпращат чувствителна информация до публичен облак. GEEKOM казва, че системата също е тествана с контекстни прозорци до 250 000 токена, което я прави подходяща за дълги документи и сложни работни процеси.

Според компанията клъстерът е постигнал приблизително 14.61 токена в секунда при единична конкурентност, с 95-ти процентил време до първи токен от около 0.42 секунди в тестовете си с 32 и 128 токена. Организациите могат да започнат с една или две A9 Mega системи и да се разширят до четири, когато изискванията им нараснат.

Демонстрацията подчертава потенциала на компактните PC като мащабируеми локални AI платформи за бизнеси, лаборатории, класни стаи и среди за edge computing.

Източник: GEEKOM чрез PR Newswire. Показателите за производителност и възможностите се основават на тестване, докладвано от компанията.