Computex 2024 | Gigabyte biedt een 35.000 dollar kostende AMD Ryzen Threadripper 7975X pc aan om thuis uw eigen 236 miljard param AI te trainen
Kunstmatige intelligentie (AI) is tegenwoordig overal in het nieuws en OEM's plakken het AI-label op zowat alles en nog wat - bijna zelfs op het bescheiden thermische pasta.
Hoewel de meeste AI-modellen zoals ChatGPT, DALL-E, Gemini, Llama, Copilot, enz. sterk afhankelijk zijn van de cloud gezien hun enorm zware computervereisten, is het ook mogelijk om AI-inferencing aan de rand of op clientsystemen uit te voeren. Dit is met name belangrijk als u AI-modellen wilt trainen op gevoelige gegevens en IP terwijl u ze on-prem houdt.
AI-modellen trainen en inferenties uitvoeren aan de rand is mogelijk, maar consumentenhardware vormt een grote beperking bij het uitvoeren van grote modellen en het efficiënt verwerken van meer tokens per Watt. Gigabyte wil daar verandering in brengen en u helpen "uw eigen AI op uw bureau te trainen" met de nieuwe AI TOP line-up.
AI TOP hulpprogramma
Gigabyte zegt dat zijn AI TOP pc's gebouwd zijn op drie structuren: AI TOP Utility, AI TOP Hardware en AI TOP Tutor. Het doel is om te kunnen schalen van 8/30 miljard parameters naar 70/236 miljard terwijl het systeem op een gewoon stopcontact kan werken.
De AI TOP Utility maakt het mogelijk om verschillende systeemparameters zoals CPU, GPU, RAM en SSD-gebruik te controleren en biedt een GUI-front-end zonder code voor AI-trainingstaken.
AI TOP Hardware
Op het gebied van hardware worden AI TOP PC's geleverd met gestandaardiseerde en volledig geteste hardware, van het moederbord tot de PSU. De componenten zijn zo ontworpen dat ze naar behoefte kunnen worden geüpgraded en in een typische thuis- of kantooromgeving kunnen worden gebruikt.
In dit verband biedt het bedrijf twee moederborden die speciaal zijn ontworpen voor AI-gebruik:
- TRX50 Aero D(US$559 op Amazon) AI TOP met dual 10GbE LAN, tot 2 TB DDR5, 4x PCIe Gen 5 x16 slots en 4x NVMe SSD voor gebruik met AMD Threadripper 7000 Series Storm Peak HEDT CPU's
- W790 AI TOP met 2x Thunderbolt 4, maximaal 2 TB DDR5, 5x PCIe Gen 5 x16-sleuven en 6x NVMe SSD's voor gebruik met Intel Xeon-W2400 en W3400 Sapphire Rapids HEDT CPU's
Voor GPU's kunnen Gigabyte AI TOP PC's gebruik maken van de Nvidia GeForce RTX 4070 Ti Super AI TOP 16G, waarvan er vier gecombineerd kunnen worden voor een totaal van 64 GB VRAM voor AI-training. U kunt ook kiezen voor de nieuwe AMD Radeon Pro W7900 DS AI TOP 48G of de W700 AI TOP 32G en deze opschalen naar vier kaarten voor maar liefst 192 GB VRAM.
Gigabyte biedt ook een AI TOP 100E NVMe SSD met Phisons aiDAPTIVCache die is aangepast om Phisons aiDAPTIV+ model te draaien. Deze SSD biedt snelheden tot 7.200/6.500 MB/s sequentieel lezen/schrijven en 150x TBW.
AI TOP PC's worden geleverd met de UD1600PM PG5 80+ Platinum PSU die genoeg stroom levert om vier GPU's te laten werken en die twee keer zo lang meegaat als conventionele PSU's.
Deze AI TOP voorgebouwde pc's beginnen vanaf US$6.499 voor 8 miljard parameters, US$11.999 voor 13 miljard, US$16.499 voor 30 miljard en gaan helemaal omhoog tot US$35.999 voor 70 miljard parameters met een maximale modelgrootte van 236 miljard.
De eerste twee opties bieden AMD Ryzen Threadripper 7960X CPU's(US$1,399 op Amazon) en 2x RTX 4070 Ti Super GPU's. De 30B configuratie brengt het tot Threadripper 7975X(US$3,899 op Amazon) en 4x RTX 4070 Ti Supers. De 70B kolos ten slotte maakt gebruik van de Threadripper 7975X en 4x Radeon Pro W7900 GPU's.
AI TOP Tutor
Tot slot hebben we de AI TOP Tutor die getraind is met behulp van de AI TOP Utility om aan de balie AI-coaching, advies en begeleiding te bieden bij alles wat met AI TOP te maken heeft.
Bron(nen)
Gigabyte Persbericht
