OpenAI heeft moeite met het verzamelen van trainingsgegevens voor nieuwe modellen

OpenAI lijkt een knelpunt te hebben gevonden in de prestaties van zijn volgende generatie AI-modellen. Het volgende grote model van het bedrijf, "Orion", presteert naar verluidt ondermaats in specifieke taken in vergelijking met oudere modellen.

Het lijkt in het voordeel te zijn bij taalgebaseerde taken zoals vertalen, tekst genereren, enz. maar het blijkt ondermaats te zijn bij taken zoals coderen.

Volgens een rapport op https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows van The Information (via Gadgets360) lijkt er een probleem te zijn met het verzamelen van trainingsgegevens voor de nieuwe modellen. Het model is ook duurder om te draaien in datacenters in vergelijking met GPT-4 en GPT-4o.

De sprong in kwaliteit is ook zwakker vergeleken met de vooruitgang die GPT-4 ten opzichte van GPT-3 heeft gemaakt. OpenAI heeft naar verluidt een funderingsteam opgericht om het probleem van trainingsgegevens op te lossen, maar het is nog onduidelijk of ze op tijd genoeg gegevens voor het AI-model kunnen verkrijgen.

Niet alleen OpenAI ziet een verwaarloosbaar rendement in prestaties. Andere concurrenten, zoals Anthropic en Mistral, laten ook slechts iteratieve verbeteringen zien bij elke nieuwe release. Een voorgestelde methode om de prestaties te verbeteren is om het model na de release verder te trainen door de uitvoer te verfijnen, maar dit is een workaround en geen permanente oplossing.