OpenAI onthult GPT-4o mini met een 25x lagere prijs dan GPT-4o, waardoor meer bedrijven en gebruikers toegang krijgen tot kwaliteits-AI

18 juli 2024

GPT-4o mini: geavanceerde kostenefficiënte intelligentie

Introductie van ons meest kostenefficiënte kleine model

OpenAI zet zich in om intelligentie zo breed mogelijk toegankelijk te maken. Vandaag kondigen we GPT-4o mini aan, ons meest kostenefficiënte kleine model. We verwachten dat GPT-4o mini de reeks toepassingen die met AI gebouwd worden aanzienlijk zal uitbreiden door intelligentie veel betaalbaarder te maken. GPT-4o mini scoort 82% op MMLU en presteert momenteel beter dan GPT-41 op chatvoorkeuren in het LMSYS leaderboard (opent in een nieuw venster). De prijs is 15 cent per miljoen input tokens en 60 cent per miljoen output tokens, een orde van grootte betaalbaarder dan eerdere frontier modellen en meer dan 60% goedkoper dan GPT-3.5 Turbo.

GPT-4o mini maakt een breed scala aan taken mogelijk met zijn lage kosten en latentie, zoals toepassingen die meerdere modelaanroepen aaneenschakelen of parallelliseren (bijv. meerdere API's aanroepen), een grote hoeveelheid context aan het model doorgeven (bijv. volledige codebase of conversatiegeschiedenis), of met klanten communiceren via snelle, realtime tekstreacties (bijv. chatbots voor klantenondersteuning).

Op dit moment ondersteunt GPT-4o mini tekst en vision in de API, en in de toekomst zal er ondersteuning komen voor tekst-, beeld-, video- en audio-inputs en -outputs. Het model heeft een contextvenster van 128K tokens, ondersteunt tot 16K uitvoertokens per verzoek en heeft kennis tot oktober 2023. Dankzij de verbeterde tokenizer die gedeeld wordt met GPT-4o, is het verwerken van niet-Engelse tekst nu nog voordeliger.

Een klein model met superieure tekstuele intelligentie en multimodaal redeneren

GPT-4o mini overtreft GPT-3.5 Turbo en andere kleine modellen op academische benchmarks voor zowel tekstuele intelligentie als multimodaal redeneren, en ondersteunt dezelfde reeks talen als GPT-4o. Het laat ook sterke prestaties zien bij het aanroepen van functies, waarmee ontwikkelaars toepassingen kunnen bouwen die gegevens ophalen of acties ondernemen met externe systemen, en verbeterde prestaties bij lange contexten in vergelijking met GPT-3.5 Turbo.

GPT-4o mini is geëvalueerd voor verschillende belangrijke benchmarks2.

Redeneertaken: GPT-4o mini is beter dan andere kleine modellen in redeneertaken waarbij zowel tekst als beeld een rol spelen. GPT-4o mini scoorde 82,0% op MMLU, een benchmark voor tekstuele intelligentie en redeneren, vergeleken met 77,9% voor Gemini Flash en 73,8% voor Claude Haiku.

Wiskunde en codeervaardigheid: GPT-4o mini blinkt uit in wiskundig redeneren en coderingstaken en presteert daarmee beter dan eerdere kleine modellen op de markt. Op MGSM, dat het wiskundig redeneren meet, scoorde GPT-4o mini 87,0%, vergeleken met 75,5% voor Gemini Flash en 71,7% voor Claude Haiku. GPT-4o mini scoorde 87,2% op HumanEval, dat codeerprestaties meet, vergeleken met 71,5% voor Gemini Flash en 75,9% voor Claude Haiku.

Multimodaal redeneren: GPT-4o mini presteert ook goed op MMMU, een multimodale redeneertest, met een score van 59,4% vergeleken met 56,1% voor Gemini Flash en 50,2% voor Claude Haiku.

Als onderdeel van ons modelontwikkelingsproces hebben we samengewerkt met een handvol betrouwbare partners om de gebruikssituaties en beperkingen van GPT-4o mini beter te begrijpen. We werkten samen met bedrijven zoals Ramp(opent in een nieuw venster) en Superhuman(opent in een nieuw venster) die vonden dat GPT-4o mini aanzienlijk beter presteerde dan GPT-3.5 Turbo voor taken zoals het extraheren van gestructureerde gegevens uit ontvangstbestanden of het genereren van e-mailreacties van hoge kwaliteit wanneer deze voorzien waren van threadgeschiedenis.

Ingebouwde veiligheidsmaatregelen

Veiligheid is vanaf het begin in onze modellen ingebouwd en wordt bij elke stap van ons ontwikkelingsproces versterkt. Tijdens de pre-training filteren we informatie uit(opent in een nieuw venster) waarvan we niet willen dat onze modellen ervan leren of ze uitvoeren, zoals haatdragende taal, inhoud voor volwassenen, sites die voornamelijk persoonlijke informatie verzamelen en spam. In post-training stemmen we het gedrag van het model af op ons beleid met behulp van technieken zoals leren via versterking met menselijke feedback (RLHF) om de nauwkeurigheid en betrouwbaarheid van de reacties van de modellen te verbeteren.

GPT-4o mini heeft dezelfde ingebouwde veiligheidsbeperkingen als GPT-4o, die we zorgvuldig hebben beoordeeld met behulp van zowel geautomatiseerde als menselijke evaluaties volgens ons Preparedness Framework en in lijn met onze vrijwillige verplichtingen. Meer dan 70 externe experts op gebieden zoals sociale psychologie en misinformatie hebben GPT-4o getest om potentiële risico's te identificeren, die we hebben aangepakt en waarvan we van plan zijn de details te delen in de komende GPT-4o systeemkaart en paraatheidsscorekaart. Inzichten uit deze evaluaties door deskundigen hebben geholpen om de veiligheid van zowel GPT-4o als GPT-4o mini te verbeteren.

Voortbouwend op deze lessen hebben onze teams ook gewerkt aan het verbeteren van de veiligheid van GPT-4o mini door gebruik te maken van nieuwe technieken op basis van ons onderzoek. GPT-4o mini in de API is het eerste model dat onze instructiehiërarchiemethode (opent in een nieuw venster) toepast, waardoor het model beter bestand is tegen jailbreaks, promptinjecties en systeempromptextracties. Dit maakt de reacties van het model betrouwbaarder en maakt het veiliger om te gebruiken in toepassingen op schaal.

We zullen blijven controleren hoe GPT-4o mini wordt gebruikt en de veiligheid van het model verbeteren als we nieuwe risico's identificeren.

Beschikbaarheid en prijzen

GPT-4o mini is nu beschikbaar als tekst- en visiemodel in de Assistants API, Chat Completions API en Batch API. Ontwikkelaars betalen 15 cent per 1M invoertokens en 60 cent per 1M uitvoertokens (ruwweg het equivalent van 2500 pagina's in een standaard boek). We zijn van plan om in de komende dagen de fijnafstemming voor GPT-4o mini uit te rollen.

In ChatGPT hebben Free-, Plus- en Team-gebruikers vanaf vandaag toegang tot GPT-4o mini, in plaats van GPT-3.5. Enterprise-gebruikers krijgen vanaf volgende week ook toegang, in lijn met onze missie om de voordelen van AI voor iedereen toegankelijk te maken.

Wat is de volgende stap?

De afgelopen jaren zijn we getuige geweest van een opmerkelijke vooruitgang in AI-intelligentie in combinatie met aanzienlijke kostenbesparingen. De kosten per token van GPT-4o mini zijn bijvoorbeeld met 99% gedaald sinds text-davinci-003, een minder capabel model dat in 2022 werd geïntroduceerd. We zijn vastbesloten om dit traject van kostenverlaging voort te zetten en tegelijkertijd de mogelijkheden van de modellen te verbeteren.

Wij zien een toekomst voor ons waarin modellen naadloos worden geïntegreerd in elke app en op elke website. GPT-4o mini maakt de weg vrij voor ontwikkelaars om krachtige AI-toepassingen efficiënter en betaalbaarder te bouwen en op te schalen. De toekomst van AI wordt steeds toegankelijker, betrouwbaarder en ingebed in onze dagelijkse digitale ervaringen, en we zijn verheugd om voorop te blijven lopen.

Auteur

OpenAI

Erkenningen

Leiders: Jacob Menick, Kevin Lu, Shengjia Zhao, Eric Wallace, Hongyu Ren, Haitang Hu, Nick Stathas, Felipe Petroski Such

Programmaleider: Mianna Chen

Bijdragen vermeld in openai.com/gpt-4o-contributions/

Voetnoten

1

Vanaf 18 juli 2024 presteert een eerdere versie van GPT-4o mini beter dan GPT-4T 01-25.

2

Eval-getallen voor GPT-4o mini zijn berekend met behulp van onze simple-evals(opent in een nieuw venster) repo met de API-assistent systeemprompt. Voor concurrerende modellen nemen we het maximum aantal over hun gerapporteerde aantal (indien beschikbaar), het HELM(opens in a new window) leaderboard, en onze eigen reproductie via simple-evals.