Drie chips in en Google Tensor is op levensondersteuning

De Pixel-smartphones van Google hebben altijd voorop gelopen bij het gebruik van machine learning en AI om unieke ervaringen te leveren, allemaal door gebruik te maken van de software-expertise van Google om slimme algoritmes te creëren. De originele Pixel was de eerste Android smartphone met Google Assistant, terwijl het meer in het algemeen ook de eerste smartphone was met AI-gestuurde functies voor computationele fotografie, zoals Lens Blur en Smartburst. Elke volgende telefoon bouwde voort op deze nalatenschap en tot en met de Pixel 5 werkte Google samen met Qualcomm om zijn Snapdragon-chips te gebruiken voor deze AI- en ML-ervaringen.

Dit veranderde met de lancering van de Pixel 6 en Pixel 6 Pro in 2021, die aangedreven werd door de Google Tensor, zijn eerste aangepaste chip. Op dat moment zei Google dat het zijn doel was was om zijn eigen chip te maken zodat het "...totaal nieuwe mogelijkheden voor Pixel-gebruikers kon leveren door gelijke tred te houden met de nieuwste ontwikkelingen op het gebied van ML." De implicatie was dat als het bij Qualcomm was gebleven, het simpelweg niet in staat zou zijn geweest om zijn doelen te bereiken. Specifiek:

Het co-ontwerpen van Google Tensor met Google Research gaf ons inzicht in waar ML-modellen naartoe gaan, niet waar ze nu zijn. Hierdoor konden we een AI/ML-platform bouwen dat ons werk bij Google kon bijhouden.

Het benadrukte ook hoe de Tensor toen nieuwe AI-functies zoals Live Translate mogelijk maakte om "te werken aan media zoals video's met behulp van on-device spraak- en vertaalmodellen." Voor zover het de oorspronkelijke machine-leermogelijkheden van de eerste Tensor betreft, heeft deze geleverd. Als de Google Tensor-chipserie speciaal was gemaakt om de AI-functies van Google te ondersteunen - door gelijke tred te houden met de AI-modellen van Google en ze on-device te ondersteunen zoals de bedoeling was - dan is er sindsdien iets misgegaan.

Het ontwikkelen van marktleidende aangepaste chips is een dure onderneming. Applede beslissing van het bedrijf om te investeren in volledig aangepaste, op Arm-gebaseerde chips dateert al uit het tijdperk van Steve Jobs, toen het een paar chipontwerpbedrijven overnam die gespecialiseerd waren in laagvermogen silicium met hoge prestaties. Het eerste op Arm-gebaseerde Mac-prototype dateert ook uit het Jobs-tijdperk. geruchten over het bestaan ervan doken voor het eerst op in 2011het jaar voordat Jobs helaas overleed aan alvleesklierkanker. In datzelfde jaar was Apple's chipteam al uitgebreid tot met minstens 1000 medewerkers. Het bedrijf heeft ook zwaar geïnvesteerd in TSMC om prioritaire toegang tot de nieuwste fabricagetechnologieën te garanderen. Kortom, Apple heeft vele miljarden dollars geïnvesteerd in silicium op maat omdat het een ongeëvenaarde harmonie tussen hardware en software zou opleveren.

Google heeft ook de aanpak van Applewillen evenaren door silicium op maat te maken om het beter af te stemmen op zijn toonaangevende AI-softwaremogelijkheden. Tot nu toe zijn de inspanningen echter nog niet zo ambitieus geweest als die van Apple. De eerste drie Tensor-chips worden beschouwd als semi-maatwerkontwerpen, die zijn ontworpen en ontwikkeld in samenwerking met Samsung LSI, het team achter de eigen Exynos-chips van Samsung. Ze worden ook geproduceerd door Samsung Foundry. De herkomst van de originele Tensor en de nauwe relatie met Samsung Exynos chips werd geïdentificeerd door Andrei Frumansu die toen schreef voor Anandtech. (Frumansu heeft sindsdien grotere en betere dingen gedaan en werkt nu als Principal Engineer bij Qualcomm aan de Snapdragon X Elite chip -- dus hij weet wel het een en ander over chips).

Dus terwijl Apple al vele jaren volledig aangepaste Arm-gebaseerde CPU's ontwikkelt en, meer recentelijk, ook volledig aangepaste GPU-kernenhebben de mede door Samsung ontworpen en ontwikkelde Tensor-chips van Google gebruik gemaakt van standaard Arm Cortex CPU-kernen en Arm Mali GPU-kernen. Ze bevatten echter wel volledig aangepaste IP-blokken van Google, waaronder de Tensor Processing Unit (TPU), de Titan M-beveiligde enclave en andere aangepaste IP-blokken, zoals beschreven door Frumansu. Dit bouwt voort op de aangepaste silicium IP die Google had ontwikkeld toen het nog Qualcomm Snapdragon-chips gebruikte, waaronder de Pixel Visuele Kern voor het eerst gezien in de Pixel 2 en de eerste Titan M beveiligde enclave die zijn debuut maakte in de Pixel 3. Dit is de aanpak die Google tot nu toe voor al zijn Tensor-chips heeft gehanteerd - de originele Tensor, Tensor G2 en de nieuwste Tensor G3.

Volgens de laatste geruchten is Google bezig met het ontwerpen van een volledig aangepaste Tensor. Deze zal worden gefabriceerd op een van de 3 nm-knooppunten van TSMC in plaats van op de knooppunten van Samsung - hoewel Samsung lijkt wat klanten terug te winnen die het de afgelopen twee of drie jaar aan TSMC is kwijtgeraakt, lijkt het erop dat Google zijn geduld met de Koreaanse reus heeft verloren. Helaas voor Pixel-fans wordt deze chip pas in 2025 verwacht, wat betekent dat we nog minstens één Tensor-chip kunnen verwachten van de huidige samenwerking met Samsung. De eerste tekenen zijn echter niet veelbelovend. Net als de Tensor G2, die een bescheiden upgrade was ten opzichte van de OG Tensor, is de Tensor G4 naar verwachting een bescheiden upgrade ten opzichte van de Tensor G3. Dit zou een probleem kunnen zijn voor Google, aangezien de Tensor G3 niet in staat is om Google's nieuwste AI-algoritmen on-device te verwerken volgens de oorspronkelijke plannen.

Hoewel de Tensor G3 aanzienlijke architecturale upgradesplaatsen zijn prestaties in benchmarks zijn prestaties tussen de middenklasse Qualcomm Snapdragon 7+ Gen 2 en de Snapdragon 8+ Gen 1. Hoewel de prestaties voldoende zijn om de Pixel 8 Pro de UI van het systeem en andere taken soepel uit te voeren, is het toestel in de ervaring van deze schrijver nog steeds geneigd om warm te worden bij eenvoudige taken zoals het downloaden van apps en het maken van video-opnamen. Als telefoons zo warm worden bij algemeen gebruik, is dat een weerspiegeling van het type inefficiëntie dat een bekend kenmerk is van chips bekend kenmerk van chips die geproduceerd zijn op de 5 nm en 4 nm nodes van Samsung - inclusief de 4LPP node die gebruikt is om de Tensor G3 te maken. Google heeft geprobeerd deze thermische tekortkomingen te maskeren door de Pixel 8 Pro te beladen met veel grafiet. Dezelfde inefficiëntie komt ook naar voren in talloze gestandaardiseerde batterijtests die te vinden zijn op en die meestal laten zien dat de Pixel 8 Pro duidelijk achterblijft bij de iPhone 15 Pro Max en de Galaxy S23 Ultrazijn twee belangrijkste concurrenten.

Het grootste probleem met de Tensor G3 is misschien wel (zoals we onlangs hebben benadrukt), dat veel van de nieuwste AI-functies waar Google mee heeft geadverteerd bij de lancering van de Pixel 8 Pro niet op het apparaat kunnen worden verwerkt. Dit ondanks het feit dat Google op zijn officiële blog heeft laten weten dat de chip dit wel kan op zijn officiële blog. Hoewel Google bij de lancering duidelijk maakte dat de nieuwe Video Boost-functie voor verwerking naar de cloud wordt overgeheveld, heeft het niet duidelijk gemaakt voor welke functies precies een internetverbinding nodig is. De enige aanwijzing dat AI-verwerking naar de cloud wordt overgeheveld om een nieuwe AI-functie te laten werken, is wanneer Google in de kleine lettertjes specifiek aangeeft dat een functie "de Google Foto's app vereist". Nieuwe AI-functies die de Tensor G3 niet krachtig genoeg is om on-device te verwerken, zijn onder andere Google Assistant met Bard, Night Sight Video, Gboard proeflezen, Magic Editor, AI Wallpaper, Audio Magic Eraser en de generatieve AI-update voor Magic Eraser.

Het is duidelijk dat slechts drie chips in, en met zoveel nieuwe AI-functies die naar Google Cloud worden gestuurd, het Google Tensor-project op levenstouw wordt gehouden. U zult zich herinneren dat Google zei dat het was overgestapt van het gebruik van Snapdragon-chips, zoals het had gedaan omdat:

Het co-ontwerpen van Google Tensor met Google Research gaf ons inzicht in waar ML-modellen naartoe gaan, niet waar ze nu zijn. Hierdoor konden we een AI/ML-platform bouwen dat ons werk bij Google kon bijhouden.

De Tensor G3 komt gewoon niet in de buurt van de oorspronkelijke raison d'etre van Google om zijn eigen chips te maken. Volgens Google zijn de voordelen van een chip die AI-taken on-device kan verwerken onder andere: lage latentie (omdat de verwerking lokaal wordt afgehandeld); privacy (omdat gebruikersgegevens niet naar externe servers worden overgeheveld); en verbeterde batterijlevensduur (omdat mobiele of Wi-Fi-verbindingen energie verbruiken). Door AI-taken naar de cloud te verplaatsen, neemt de latentie op de Pixel 8 Pro toe, neemt de privacy af en krijgt de batterij een klap telkens wanneer een gebruiker een van de nieuwe AI-functies gebruikt waarvoor een mobiele of Wi-Fi-verbinding nodig is.

Bij de lancering van de krachtige Snapdragon 8 Gen 3 slechts een paar weken na de Tensor G3, liet Qualcomm de kans niet voorbijgaan om Google te laten weten dat het hen nooit had mogen laten vallen. Tijdens het lanceringsevenement legde Qualcomm extra nadruk op de on-device generatieve AI-verwerkingsmogelijkheden van de Snapdragon 8 Gen 3 en noemde het een "Titan van on-device intelligentie". Qualcomm overdreef niet -- de Snapdragon 8 Gen 3 is de eerste mobiele SoC met de mogelijkheid om on-device Stable Diffusion en grote AI-modellen tot 10 miljard parameters te ondersteunen.

De Snapdragon 8 Gen 3 heeft ook Google's bewering dat "traditionele prestatiecijfers" onbelangrijk zijn, ontmaskerd als een farce. De reden dat de Snapdragon 8 Gen 3 de on-device AI-verwerkingscapaciteiten van de Tensor G3 verplettert, is dat deze ook verplettert in benchmarks. Qualcomm noemt de combinatie van de Snapdragon 8 Gen 3 CPU, GPU en NPU zijn "AI Engine". De CPU, GPU en NPU van een smartphone SoC worden namelijk intensief gebruikt bij het verwerken van de machine learning-modellen die de AI-functies op smartphones aandrijven. Benchmarks laten duidelijk zien dat de Tensor G3 een relatief zwakke CPU en GPU heeft, terwijl de aangepaste TPU niet genoeg is om dit te compenseren.

Ruwe paardenkracht is belangrijk, en het is nu belangrijker dan ooit dankzij de opkomst van generatieve AI in de afgelopen 12 tot 18 maanden. Op dit moment is het enige voordeel van de Tensor G3 voor Pixelfans dat Google 7 jaar OS-updates heeft beloofd voor de Pixel 8-serie, wat aanzienlijk meer is dan mogelijk zou zijn geweest met Qualcomm. In dit stadium is dit echter slechts een belofte, en er moeten vraagtekens gezet worden bij het vermogen van de Tensor G3 om Android 21 daadwerkelijk te ondersteunen, wat ogenschijnlijk de laatste van de OS-updates is die de Pixel 8 Pro en Pixel 8 zullen ontvangen.

Het ziet er niet naar uit dat de dingen veel beter zullen worden voor de Pixel 9 Pro wanneer deze in 2024 wordt gelanceerd, aangezien er vroege aanwijzingen zijn dat de Tensor G4 zal doorgaan met de huidige CPU-architectuur van de Tensor G3, terwijl deze mogelijk een TPU- en GPU-upgrade krijgt. Dit zou vergelijkbaar zijn met de Tensor G2, die een bescheiden upgrade was ten opzichte van de OG Tensor. Pas in 2025 zullen we Google misschien eindelijk een Tensor zien leveren die de oorspronkelijke belofte van Google kan waarmaken, één die volledig op maat gemaakt ismaar - cruciaal - gefabriceerd op TSMC's 3NE-node. Hierdoor zou de Tensor G5 veel beter moeten kunnen concurreren met andere vlaggenschipchips op de markt.

Op dit moment houdt de Pixel 8 Pro het echter maar net vol -- kan het een Tensor G2-achtige upgrade overleven als er zo snel mogelijk een geheel nieuwe architectuur en een veel beter fabricageproces nodig is? Een voor de hand liggende kortetermijnoplossing zou zijn om volgend jaar een Snapdragon 8 Gen 3 in de Pixel 9 Pro te stoppen. Dat zou echter een marketinguitdaging zijn, gezien de enorme inspanningen die Google heeft geleverd voor het Tensor-merk, en dan hebben we het nog niet eens over de verzonken kosten die zijn gemaakt voor de ontwikkeling van de Tensor G4 en de reengineeringkosten voor het overschakelen op een andere chip. Het is zo'n grote hindernis dat het lijkt alsof Google vastzit aan zijn huidige traject. Als Google doorgaat zoals gepland, zou het wel eens alle resterende cache in de Tensor en Pixel merken kunnen vernietigen.

Zelfs in dit vroege stadium lijkt het erop dat de verkoop van de Pixel 8-serie aan de zachte kant is. Terwijl Google traditioneel kortingen geeft op zijn Pixels voor de Black Friday uitverkoop, enorme kortingen van meer dan $400 AUD al beschikbaar op de Pixel 8 Pro, slechts vier weken na de lancering en anderhalve week voor de officiële start van de Black Friday-verkoop. Dit is uiterst ongebruikelijk. De Pixel-serie blijft geweldige software en uitstekende cameraprestaties bieden. Google was de pionier op het gebied van AI-functies op smartphones, en zijn AI-functies blijven toonaangevend. Maar de Tensor-chips zijn de achilleshiel.