GPT-5 ontwikkeling ondervindt grote tegenslagen als OpenAI zonder trainingsgegevens komt te zitten

OpenAI's werk aan GPT-5met de bijnaam Project Orion, heeft een behoorlijke hobbel genomen. Het project loopt ver achter op schema en het kost ook nog eens een fortuin. Na er meer dan 18 maanden aan gewerkt te hebben, dacht Microsoft oorspronkelijk dat het medio 2024 klaar zou zijn, maar dat gaat niet gebeuren.

Ze hebben er veel geld in gestoken-elke trainingsrun kost alleen al aan rekenkracht zo'n $500 miljoen- maar ze hebben niet de sprongen in prestaties gezien waar ze op hoopten in vergelijking met GPT-4. Hoewel er enkele merkbare verbeteringen zijn, zijn ze niet genoeg om deze uitgaven te rechtvaardigen.

Een van de grootste problemen is dat er geen kwaliteitsgegevens meer zijn om het model te trainen. Het openbare internet heeft gewoon niet genoeg gevarieerde gegevens van hoge kwaliteit om een verschil te maken. Om dit aan te pakken heeft OpenAI experts ingeschakeld om nieuw trainingsmateriaal te maken, zoals softwarecode en wiskundeproblemen. Maar het is een langzaam proces. Ter vergelijking: GPT-4 had maar liefst 13 biljoen tokens nodig om te trainen. Om dat in context te plaatsen: zelfs als 1.000 mensen 5.000 woorden per dag zouden schrijven, zouden ze maanden nodig hebben om aan één miljard te komen - opschalen naar triljoenen is alsof je een oceaan probeert te vullen met een tuinslang.

Het bedrijf heeft ook te kampen met interne problemen. Meer dan twee dozijn belangrijke leidinggevenden verlieten het bedrijf in 2024, waaronder Chief Scientist Ilya Sutskever en CTO Mira Murati. OpenAI jongleert ook met andere projecten, zoals "o1" en "Sora", terwijl het nog steeds probeert uit te zoeken hoe het verder moet met GPT-5.

De CEO, Sam Altman, heeft al bevestigd dat GPT-5 niet in 2024 zal worden uitgebracht, een grote tegenslag voor hun ambitieuze AI-plannen.