Nvidia en Apple: Vijanden zetten wrok opzij om AI-prestaties te verbeteren

Het is algemeen bekend dat Apple en Nvidia niet zo goed met elkaar overweg kunnen. Er was een tijd dat Apple's Mac line-up gebruik maakte van Nvidia graphics, maar de zaken gingen slecht toen in 2008 wijdverspreide problemen in MacBooks met Nvidia's GeForce 8400M en 8600M dGPU's opdoken als gevolg van defecten in de verpakking, wat leidde tot oververhitting, grafische haperingen en in extreme gevallen zelfs het volledig uitvallen van de GPU. Hoewel MacBooks nog steeds voorzien waren van Nvidia GPU's, was hun relatie ongetwijfeld op een laag pitje komen te staan en binnen een paar jaar stapte Apple over op AMD en keek nooit meer achterom.

Als gevolg hiervan, en zonder de fans van Team Red te willen beledigen, hadden Macs te kampen met slechte grafische prestaties in vergelijking met GTX- en RTX-aangedreven Windows-laptops. Dat was natuurlijk totdat er Apple Silicon-aangedreven Macs kwamen. Ondanks dat Mac-liefhebbers erop zaten te wachten dat Nvidia en Apple de strijdbijl zouden begraven, is dat nooit echt gebeurd - tot nu. Nou ja, een soort van. Apple kondigde onlangs een samenwerking aan met Nvidia gericht op het versnellen van de inferentie van grote taalmodellen, wat een welkome wapenstilstand betekent tussen de twee giganten van meerdere miljarden dollars.

De kern van deze onverwachte samenwerking is Apple's ReCurrent Drafter (ReDrafter), wat in feite een nogal innovatieve speculatieve decoderingsmethode is, ontworpen om het genereren van LLM token te verbeteren, die eerder dit jaar werd gelanceerd. Nvidia heeft blijkbaar samengewerkt met Apple om ReDrafter op de een of andere manier op te nemen in zijn TensorRT-LLM framework. Bovendien heeft de AI-gigant ook zijn framework bijgewerkt met nieuwe geoptimaliseerde operatoren, waardoor het naadloos kan worden toegepast. De resultaten klinken, zelfs voor een leek als ik, veelbelovend -- LLM's die gebruik maken van Nvidia GPU's met ReDrafter bereiken een maar liefst 2,7x hogere token-generatiesnelheid, waardoor de latentie en het stroomverbruik afnemen.

Nu is het natuurlijk nog maar de vraag of deze samenwerking aangeeft dat er meer in petto is voor de twee grootste bedrijven ter wereld, of dat het meer een eenmalige wapenstilstand is. Hoe dan ook, elke vorm van R&D alliantie waarschijnlijk positief nieuws voor consumenten. Wie wil er immers geen snellere software?