Meta's Llama 4 traint op meer dan 100.000 Nvidia H100 GPU's

Meta heeft onlangs een nieuwe update uitgebracht over Llama 4, het aankomende grote taalmodel. In een recente earnings call deelde CEO Mark Zuckerberg dat ze de Llama 4-modellen trainen op een cluster bestaande uit meer dan 100.000 Nvidia H100 GPU's-groter dan alles wat hij heeft gezien over wat anderen aan het doen zijn.

Dit nieuwe grote taalmodel, dat naar verwachting begin 2025 uitkomt, zal eerst zijn kleinere versies uitrollen. Hoewel er niet veel details zijn over de specifieke mogelijkheden, liet Zuckerberg doorschemeren dat Llama 4 nieuwe functies, betere redeneervaardigheden en over het algemeen sneller zal zijn.

Meta's aanpak met Llama 4 houdt vast aan het patroon om modellen gratis te downloaden, in tegenstelling tot OpenAI en Google, die de toegang alleen via API's beperken. Dit model is vooral populair bij startups en onderzoekers die meer vrijheid willen over hoe ze AI gebruiken.

Met zo'n enorme computeropstelling is de energiebehoefte net zo groot, naar schatting 150 megawatt - vijf keer zoveel als de energiebehoefte van de grootste supercomputer van het Amerikaanse nationale laboratorium. Het budget van Meta weerspiegelt deze schaal, met infrastructuuruitgaven die in 2024 naar verwachting $40 miljard zullen bedragen, een stijging van 42 procent ten opzichte van 2023.

Zelfs met deze aanzienlijke kosten zijn de financiën van Meta solide, met een omzetstijging van 22 procent, grotendeels dankzij advertentie-inkomsten, die hebben geholpen om de stijging van de bedrijfskosten met 9 procent te compenseren.