Generatieve AI op iPhones een stap dichterbij dankzij Apple onderzoekers

Apple onderzoekers hebben gedocumenteerd (pdf) een nieuwe methode gedocumenteerd om grote taalmodellen (LLM's) on-device te laten draaien, met een unieke methode om RAM-beperkingen op mobiele apparaten te omzeilen. De volledige versie van een LLM zoals Open AI's ChatGPT 4 heeft ongeveer 1,7 biljoen parameters en vereist krachtige servers om de verwerking aan te kunnen. Google's nieuwe Gemini AI - waarvan Google beweert dat het GPT-4 kan verslaan, wordt geleverd in een 'Nano'-versie voor smartphones en gebruikt kwantisatietechnieken om het model terug te brengen tot 1,8 miljard parameters of 3,6 miljard parameters. Een van deze varianten van Gemini Nano draait momenteel op de Pixel 8 Pro-smartphones van Google (momenteel afgeprijsd naar $799 bij Amazon - normaal $999).

Qualcomm beweert dat het nieuwe Snapdragon 8 Gen 3 SoC generatieve AI LLM's tot 10 miljard parameters kan ondersteunen - hoewel dit aanzienlijk beter mogelijk is dan wat Google op de Pixel 8-serie aan de praat krijgt, is dit nog steeds ver verwijderd van de 1,7 biljoen parameters die nodig zijn om GPT-4 zo indrukwekkend te laten functioneren. Kwantisering, waardoor de LLM's gemakkelijker te verwerken zijn voor mobiele SoC's, betekent ook dat ze aan nauwkeurigheid en effectiviteit inboeten. Daarom geldt: hoe groter de modellen die op een mobiel apparaat kunnen worden gepropt, hoe beter de prestaties van de LLM.

Om ervoor te zorgen dat smartphones gen AU on-device taken aankunnen, zijn de RAM-vereisten op ook aanzienlijk ook aanzienlijk. Een LLM die gereduceerd is tot 8-bits per parametermodel met 7 miljard parameters (zoals Meta's Llama 2 die ondersteund wordt door de Snapdragon 8 Gen 3), zou een smartphone met minstens 7GB RAM nodig hebben. De iPhone 15 Pro-serie heeft 8 GB RAM, dus dit suggereert dat een op Apple ontwikkelde LLM zoals Llama 2 aan de bovengrens zou zitten van wat de huidige iPhone's zouden ondersteunen. Appleonderzoekers hebben een manier gevonden om deze onboard RAM-limiet te omzeilen.

In een onderzoeksartikel met de titel "LLM in a flash: Efficient Large Language Model Inference with Limited Memory," hebben Apple's generatieve AI-onderzoekers een methode ontwikkeld om de flashopslag van een iPhone te gebruiken als aanvulling op het ingebouwde systeem-RAM van het apparaat. De bandbreedte van flash-opslag is niet van dezelfde klasse als LDDR5/X mobiel RAM-geheugen, maar de onderzoekers van Applehebben een methode ontwikkeld die deze inherente beperking overwint. Door gebruik te maken van een combinatie van "windowing" (waarbij het AI-model een deel van de reeds verwerkte gegevens op de flash-opslag hergebruikt) en "rij-kolom bundeling" (waarbij gegevens van de LLM op een efficiëntere manier worden verwerkt, waardoor de leessnelheid toeneemt).

Natuurlijk moeten we nog een LLM van Apple zien, hoewel geruchten suggereren dat we een slimmere versie van Siri zouden kunnen zien, gebaseerd op een LLM die klaar is om te debuteren als onderdeel van iOS 18 en on-device kan draaien op de volgende generatie iPhone 16 Pro modellen. Maar als het zover is, lijkt de kans groot dat Apple deze methode van RAM-uitbreiding zal gebruiken om ervoor te zorgen dat het een LLM-model levert met zoveel mogelijk parameters die het effectief on-device kan uitvoeren. Met Samsung die zijn generatieve AI-spel opvoert voor de lancering van de Galaxy S24 serie volgende maand, lijkt 2024 het jaar te worden waarin generatieve AI ook op smartphones gemeengoed wordt.