GEEKOM demuestra un clúster de IA de cuatro nodos con mini PC y modelo DeepSeek local

GEEKOM ha demostrado un clúster de IA de cuatro nodos construido con sus compactos mini PC A9 Mega, mostrando cómo los sistemas de formato reducido pueden combinarse para aplicaciones locales de IA empresarial.

El clúster conecta cuatro unidades A9 Mega mediante USB4, lo que les permite funcionar como una plataforma distribuida sin necesidad de un rack de servidores tradicional ni de equipos de red de alta velocidad propietarios. Cada sistema está impulsado por el procesador Ryzen AI Max+ 395 de AMD, con 16 núcleos de CPU Zen 5, gráficos Radeon 8060S y memoria unificada.

Ejecutando software Ubuntu, ROCm y DwarfStar, el clúster distribuye el modelo DeepSeek V4 Flash entre las cuatro máquinas. También proporciona una API compatible con OpenAI, lo que permite la integración con aplicaciones, agentes de IA y herramientas de automatización.

Una ventaja clave de la configuración es el procesamiento local. Las empresas pueden analizar documentos, código fuente, contratos y conocimiento interno sin enviar información sensible a una nube pública. GEEKOM afirma que el sistema también se ha probado con ventanas de contexto de hasta 250.000 tokens, lo que lo hace adecuado para documentos extensos y flujos de trabajo complejos.

Según la compañía, el clúster alcanzó aproximadamente 14,61 tokens por segundo con concurrencia única, con un tiempo hasta el primer token en el percentil 95 de alrededor de 0,42 segundos en sus pruebas de 32 y 128 tokens. Las organizaciones pueden comenzar con uno o dos sistemas A9 Mega y ampliar a cuatro a medida que crezcan sus requisitos.

La demostración destaca el potencial de los PC compactos como plataformas de IA locales escalables para empresas, laboratorios, aulas y entornos de computación en el borde.

Fuente: GEEKOM vía PR Newswire. Las cifras de rendimiento y las capacidades se basan en pruebas reportadas por la compañía.