Microsoft debuteert silicium op maat voor AI en cloud: 128-core ARM Cobalt 100 en 5 nm Maia 100 voor de volgende generatie AI-trainingen en inferentiebehoeften

Speculaties over Microsoft's plannen om de custom silicium-route te nemen is al een tijdje aan de gang. Microsoft heeft op Qualcomm gebaseerde processors gebruikt, zoals de SQ1, SQ2en de SQ3 (Snapdragon 8cx Gen 3) voor de Surface line-up. Berichten over het bedrijf dat zijn eigen interne ARM-ontwerpen voor servers overweegt, doken echter al opal in 2020zelf.

Tijdens de lopende Microsoft Ignite conferentie onthulde het bedrijf twee op maat gemaakte silicium IP's die ontworpen zijn om tegemoet te komen aan zijn ambitieuze AI plannen - de Azure Maia 100 AI versneller en de Azure Cobalt 100 CPU op maat. Microsoft zal deze chips begin volgend jaar voor het eerst inzetten in zijn eigen datacenters die Copilot en de Azure OpenAI-service aansturen.

Microsoft onthult echter niet veel technische informatie over de chips zelf. Het bedrijf merkt echter wel op dat de Maia 100 een 5 nm-chip is met 105 miljard transistors, waardoor het een van de grootste chips is die op dit proces is gemaakt. Maia 100 zal cloud-gebaseerde training en inferencing uitvoeren voor OpenAI modellen en ChatGPT, en is speciaal ontworpen om OpenAI's grote taalmodellen te trainen.

Maia 100 zal volledig vloeistofgekoeld zijn en Microsoft heeft zelfs aangepaste rekken met "sidekicks" voor vloeistofkoeling ontworpen om deze chips te huisvesten.

De Cobalt 100, aan de andere kant, is een 64-bit 128-core CPU die is ontworpen voor algemene werklasten in de Microsoft Cloud, waaronder Teams en SQL. Microsoft zegt dat Cobalt 100 40% krachtiger is dan de huidige generatie Azure ARM-chips.

Naast Maia 100 en Cobalt 100 kondigde Microsoft ook de publieke preview aan van Azure NC H100 v5 virtuele machines (VM's) voor het uitvoeren van AI en high-performance computing (HPC) workloads. Deze VM's zijn gebaseerd op de Nvidia Hopper H100 GPU's en AMD EPYC Genoa-processors.

Klanten kunnen kiezen uit twee NC H100 v5-configuraties:

• 40 vCPU's, 320 GB RAM, 1 H100 GPU met 94 GB HBM3 en 40 GBps Azure-netwerkbandbreedte
• 80 vCPU's, 640 GB RAM, 2 H100 GPU's met 188 GB HBM3 en 80 GBps Azure-netwerkbandbreedte

Microsoft laat AMD echter niet links liggen. De Redmond-reus heeft ook aangekondigd dat het nu VM's aanbiedt met AMD's nieuwste Instinct MI300X GPU met 1,5 TB HBM3 per VM. Een ND MI300X v5 VM maakt gebruik van acht MI300X kaarten die onderling verbonden zijn door Infinity Fabric 3.0 met 192 GB HBM3-geheugen per GPU dat werkt met snelheden van 5,2 TB/s. Volgens Microsoft zijn de specificaties van de ND MI300X v5 VM als volgt:

• 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand per GPU met 3,2 Tb/s per VM
• 4e generatie Intel Xeon schaalbare processors
• PCIE Gen5 host-naar-GPU interconnectie met 64 GB/s bandbreedte per GPU
• 16 Kanalen DDR5 DIMM's

Microsofts aangepaste silicium is momenteel gericht op de serverkant van de dingen. Het is niet duidelijk of het bedrijf een variant van Cobalt 100 naar zijn Surface-lijn zal brengen of zal blijven vertrouwen op het aanbod van Qualcomm en mogelijk MediaTek - niet per se een slecht idee gezien de indrukwekkende eerste cijfers van de Snapdragon X Elite.

Koop de Microsoft Surface Laptop Studio 2 met RTX 4050 op Amazon