CES 2025 | Nvidia onthult Project DIGITS AI-supercomputer voor desktop AI-ontwikkelaar
Nvidia heeft de Project DIGITS AI-supercomputer onthuld voor desktopgebruikers op CES 2025. De supercomputer wordt aangedreven door een GB10 Grace Blackwell Superchip om desktopgebruikers in staat te stellen grote taalmodellen (LLM's) met een grootte tot 200 miljard parameters uit te voeren op één unit, en tot 405 miljard parameters op twee netwerkunits.
Voor het ontwikkelen van AI LLM's zijn krachtige computers nodig om de hoeveelheid gegevens die verwerkt worden aan te kunnen. Eén maat voor de kracht van een LLM is het aantal parameters waarmee het ontwikkeld wordt. Modellen met een groter aantal parameters presteren over het algemeen beter op AI-tests voor redeneren en kennis.
De meeste desktop AI-ontwikkelaars gebruiken lokale GPU's zoals de Nvidia 4090(hier verkocht op Amazon) die beperkt zijn in prestaties en modelgrootte, of cloud GPU-abonnementen die duurder zijn. De RAM-grootte van de Nvidia 4090 beperkt de ontwikkeling van LLM tot ongeveer 30 miljard parameters. Helaas gaan de recente open-source AI-modellen de mogelijkheden van de Nvidia 4090 ver te boven. Grok-1 van xAI is bijvoorbeeld een model met 314 miljard parameters.
Project DIGITS kan deze gemakkelijk aan in een configuratie met twee units die gebruik maken van Nvidia ConnectX netwerkadapters. Elke unit bevat een 20-core ARM CPU, Nvidia Blackwell GPU, 128 GB DDR5X RAM en 4 TB NVMe opslag. Elke Blackwell GPU is in staat om 1 PetaFLOP FP4 AI rekenprestaties te leveren. Hoewel de overgang van FP16 of FP8 naar FP4 de nauwkeurigheid van elke berekening vermindert, heeft Nvidia veel moeite gedaan om LLM-ontwikkeling op FP4 mogelijk te maken met een vergelijkbare uitvoernauwkeurigheid. De GPU kan ook LLM-traininggegevens sneller verwerken omdat FP4 minder bits gebruikt.
Het grote voordeel van het gebruik van Project DIGITS ten opzichte van andere oplossingen is de mogelijkheid om projecten eenvoudig te verplaatsen van lokale systemen naar de cloud door gebruik te maken van dezelfde Grace Blackwell GPU-architectuur die draait op het Nvidia AI Enterprise-platform. Geïnteresseerde AI-ontwikkelaars kunnen zich aanmelden op de site Nvidia Project DIGITS om op de hoogte te worden gebracht van de verwachte lancering in mei 2025 van de $3.000+ unit.
Bron(nen)
NVIDIA zet Grace Blackwell op elk bureau en binnen handbereik van elke AI-ontwikkelaar
NVIDIA Project DIGITS met nieuwe GB10 Superchip debuteert als kleinste AI-supercomputer ter wereld die 200B-parameter-modellen kan uitvoeren
6 januari 2025
NVIDIA zet Grace Blackwell op elk bureau en binnen handbereik van elke AI-ontwikkelaar
CES-NVIDIA onthult vandaag NVIDIA® Project DIGITS, een persoonlijke AI-supercomputer die AI-onderzoekers, datawetenschappers en studenten wereldwijd toegang geeft tot de kracht van het NVIDIA Grace Blackwell-platform.
Project DIGITS is uitgerust met de nieuwe NVIDIA GB10 Grace Blackwell Superchip, die een petaflop aan AI-rekenprestaties biedt voor prototyping, fijnafstemming en het uitvoeren van grote AI-modellen.
Met Project DIGITS kunnen gebruikers inferentie op modellen ontwikkelen en uitvoeren met behulp van hun eigen desktopsysteem, en de modellen vervolgens naadloos inzetten op een versnelde cloud- of datacenterinfrastructuur.
"AI zal mainstream worden in elke toepassing voor elke branche. Met Project DIGITS komt de Grace Blackwell Superchip naar miljoenen ontwikkelaars," zegt Jensen Huang, oprichter en CEO van NVIDIA. "Door een AI-supercomputer op het bureau van elke datawetenschapper, AI-onderzoeker en student te plaatsen, kunnen zij het tijdperk van AI betreden en vormgeven."
GB10 Superchip levert een Petaflop aan energie-efficiënte AI-prestaties
De GB10 Superchip is een system-on-a-chip (SoC) gebaseerd op de NVIDIA Grace Blackwell architectuur en levert tot 1 petaflop aan AI-prestaties bij FP4 precisie.
GB10 heeft een NVIDIA Blackwell GPU met de nieuwste generatie CUDA® cores en vijfde generatie Tensor Cores, verbonden via NVLink®-C2C chip-naar-chip interconnectie met een krachtige NVIDIA Grace™ CPU, die 20 energiezuinige cores bevat die gebouwd zijn met de Arm architectuur. MediaTek, marktleider op het gebied van Arm-gebaseerde SoC-ontwerpen, heeft meegewerkt aan het ontwerp van de GB10, wat heeft bijgedragen aan zijn best-in-class energie-efficiëntie, prestaties en connectiviteit.
Dankzij de GB10 Superchip kan Project DIGITS krachtige prestaties leveren met slechts een standaard stopcontact. Elke Project DIGITS beschikt over 128 GB samenhangend geheugen en tot 4 TB NVMe-opslag. Met de supercomputer kunnen ontwikkelaars tot 200-miljard-parameter grote taalmodellen uitvoeren om AI-innovatie te superchargen. Bovendien kunnen twee Project DIGITS AI supercomputers met behulp van NVIDIA ConnectX® networking gekoppeld worden om tot 405 miljard parameters te verwerken.
Grace Blackwell AI supercomputers binnen handbereik
Met de Grace Blackwell-architectuur kunnen bedrijven en onderzoekers prototypes maken, modellen verfijnen en testen op lokale Project DIGITS-systemen met het Linux-gebaseerde NVIDIA DGX OS en ze vervolgens naadloos implementeren op NVIDIA DGX Cloud™, versnelde cloud-instances of datacenterinfrastructuur.
Hierdoor kunnen ontwikkelaars prototypes van AI maken op Project DIGITS en deze vervolgens schalen op cloud- of datacenterinfrastructuur, met behulp van dezelfde Grace Blackwell-architectuur en het NVIDIA AI Enterprise-softwareplatform.
Project DIGITS-gebruikers hebben toegang tot een uitgebreide bibliotheek van NVIDIA AI-software voor experimenten en prototypes, inclusief software development kits, orkestratiehulpmiddelen, frameworks en modellen die beschikbaar zijn in de NVIDIA NGC-catalogus en op het NVIDIA Developer-portaal. Ontwikkelaars kunnen modellen verfijnen met het NVIDIA NeMo™ framework, data science versnellen met NVIDIA RAPIDS™ libraries en veelgebruikte frameworks uitvoeren, zoals PyTorch, Python en Jupyter notebooks.
Om agentic AI-toepassingen te bouwen, kunnen gebruikers ook gebruikmaken van NVIDIA Blueprints en NVIDIA NIM™ microservices, die beschikbaar zijn voor onderzoek, ontwikkeling en testen via het NVIDIA Developer Program. Wanneer AI-toepassingen klaar zijn om van experimentele naar productieomgevingen over te stappen, biedt de NVIDIA AI Enterprise-licentie beveiliging, ondersteuning en productreleases van NVIDIA AI-software op enterprise-niveau.
Beschikbaarheid
Project DIGITS is vanaf mei verkrijgbaar bij NVIDIA en toppartners, vanaf $3.000. Meld u vandaag nog aan voor meldingen.
