GEEKOM demonstra cluster de IA de mini PC com quatro nós e modelo DeepSeek local

GEEKOM demonstrou um cluster de IA de quatro nós construído a partir dos seus compactos A9 Mega Mini PCs, mostrando como sistemas de formato reduzido podem ser combinados para aplicações locais de IA empresarial.

O cluster liga quatro unidades A9 Mega via USB4, permitindo-lhes funcionar como uma plataforma distribuída sem necessitar de um rack de servidores tradicional ou de equipamento de rede de alta velocidade proprietário. Cada sistema é alimentado pelo processador Ryzen AI Max+ 395 da AMD, com 16 núcleos de CPU Zen 5, gráficos Radeon 8060S e memória unificada.

A executar Ubuntu, ROCm e software DwarfStar, o cluster distribui o modelo DeepSeek V4 Flash por todas as quatro máquinas. Também fornece uma API compatível com OpenAI, permitindo a integração com aplicações, agentes de IA e ferramentas de automatização.

Uma vantagem fundamental da configuração é o processamento local. As empresas podem analisar documentos, código-fonte, contratos e conhecimento interno sem enviar informações sensíveis para uma nuvem pública. GEEKOM afirma que o sistema também foi testado com janelas de contexto até 250 000 tokens, tornando-o adequado para documentos extensos e fluxos de trabalho complexos.

Segundo a empresa, o cluster alcançou aproximadamente 14,61 tokens por segundo em simultaneidade única, com um tempo até ao primeiro token no percentil 95 de cerca de 0,42 segundos nos seus testes de 32 e 128 tokens. As organizações podem começar com um ou dois sistemas A9 Mega e expandir para quatro à medida que as suas necessidades crescem.

A demonstração destaca o potencial dos PCs compactos como plataformas locais de IA escaláveis para empresas, laboratórios, salas de aula e ambientes de computação de periferia.

Fonte: GEEKOM via PR Newswire. Os valores de desempenho e as capacidades baseiam-se em testes reportados pela empresa.