GEEKOM esittelee neljän solmun mini-PC-tekoälyklusterin paikallisella DeepSeek-mallilla

GEEKOM on esitellyt neljän solmun tekoälyklusterin, joka on rakennettu sen kompakteista A9 Mega Mini PC -laitteista, osoittaen kuinka pienikokoiset järjestelmät voidaan yhdistää paikallisiin yritystason tekoälysovelluksiin.

Klusteri yhdistää neljä A9 Mega -yksikköä USB4:n kautta, mikä mahdollistaa niiden toimimisen hajautettuna alustana ilman perinteistä palvelinkehikkoa tai patentoituja suurnopeusverkkolaitteita. Jokainen järjestelmä on varustettu AMD:n Ryzen AI Max+ 395 -prosessorilla, jossa on 16 Zen 5 -ydintä, Radeon 8060S -grafiikka ja yhtenäinen muisti.

Klusteri, joka käyttää Ubuntua, ROCm:ää ja DwarfStar-ohjelmistoa, jakaa DeepSeek V4 Flash -mallin kaikkien neljän koneen kesken. Se tarjoaa myös OpenAI-yhteensopivan API:n, mikä mahdollistaa integroinnin sovelluksiin, tekoälyagentteihin ja automaatiotyökaluihin.

Asetelman keskeinen etu on paikallinen käsittely. Yritykset voivat analysoida asiakirjoja, lähdekoodia, sopimuksia ja sisäistä tietämystä lähettämättä arkaluonteisia tietoja julkiseen pilveen. GEEKOM kertoo, että järjestelmää on testattu myös jopa 250 000 tokenin konteksti-ikkunoilla, mikä tekee siitä sopivan pitkiin asiakirjoihin ja monimutkaisiin työnkulkuihin.

Yhtiön mukaan klusteri saavutti noin 14,61 tokenia sekunnissa yhdellä samanaikaisuudella, ja 95. prosenttipisteen aika ensimmäiseen tokeniin oli noin 0,42 sekuntia sen 32 ja 128 tokenin testeissä. Organisaatiot voivat aloittaa yhdellä tai kahdella A9 Mega -järjestelmällä ja laajentaa neljään tarpeidensa kasvaessa.

Esittely korostaa kompaktien PC:iden potentiaalia skaalautuvina paikallisina tekoälyalustoina yrityksille, laboratorioille, luokkahuoneille ja reunalaskentaympäristöille.

Lähde: GEEKOM PR Newswiren kautta. Suorituskykyluvut ja ominaisuudet perustuvat yhtiön raportoimiin testeihin.