D-Matrix presenteert Corsair C8-kaart die 9x sneller is dan Nvidia's H100 GPU in generatieve AI-workloads
Terwijl TSMC waarschuwt dat Nvidia's H100 AI GPU's de komende 18 maanden een tekort zullen blijven vertonen door onvoldoende chip-op-wafer-op-substraat (CoWoS) verpakkingscapaciteit, zien andere bedrijven een kans om in te springen en te voldoen aan de overweldigende vraag naar generatieve AI-hardware. Eén zo'n bedrijf is de nieuwe startup d-Matrix, die onlangs 110 miljoen dollar wist los te peuteren bij investeerders als Microsoft door de ongeëvenaarde snelheden te demonstreren van zijn Corsair C8 computerkaart die naar verluidt 9x de verwerkingscapaciteit heeft van een Nvidia H100 GPU in generatieve AI workloads.
De indrukwekkende snelheden worden bereikt met de digital-in-memory computer (DIMC) technologie van d-Matrix. In tegenstelling tot Nvidia's A100 en H100 GPU's die zijn ontworpen voor een breder scala aan high-performance computing taken, zijn de Corsair C8-kaarten van d-Matrix specifiek gemaakt voor generatieve AI en inferentie workloads. Een enkele Corsair C8-kaart bevat 2.048 DIMC-kernen, gegroepeerd in 8 chiplets met in totaal 130 miljard transistors, en beschikt ook over 256 GB LPDDR5 RAM om gemakkelijk volledige AI-modellen in het geheugen te plaatsen. Alle chiplets zijn onderling verbonden via PCIe 5.0 met een bandbreedte van 1 TB/s, wat leidt tot een totale bandbreedte van 8 TB/s die-to-die. d-Matrix bevat ook 2 GB SRAM met een bandbreedte van 150 TB/s. Afhankelijk van de AI workload levert de Corsair C8 tussen de 2400 en 9600 TFLOPS.
Dankzij de geoptimaliseerde schaalbaarheid en de wrijvingsloze aard van de open source software stack, beweert d-Matrix dat een cluster van Corsair C8-kaarten kan leiden tot 20x betere energie-efficiëntie, 20x lagere latency en tot 30x lagere kosten dan vergelijkbare oplossingen van Nvidia.
