Qualcomm demonstreert kunst-genererende AI voor smartphones met on-device Smart Diffusion

Stable Diffusion aan het werk op een smartphone. (Bron: Qualcomm)

Qualcomm AI Research meldt dat het een on-device versie heeft gemaakt van een generatieve AI tekst-naar-beeld converter die werkt op Android smartphones. Dit is gedaan met behulp van de OEM's AI Engine en de Hexagon Processor die deel uitmaakt van het nieuwe vlaggenschip Snapdragon 8 Gen 2 SoC, en resulteerde in het snelste voorbeeld van AI-beeldgeneratie op een mobiel apparaat tot nu toe.

Deirdre O'Donnell, Published 24-02-2023 🇺🇸 🇫🇷 ...

AI Android Smartphone Software

Stabiele Verspreiding is een fundamentele AI model dat "een enorme hoeveelheid (1 miljard parameters of meer) kennis over spraak en beelden"codeert om te genereren een fotorealistisch beeld te genereren op basis van een gegeven tekstbeschrijving in ongeveer 100 seconden of minder. Het is dus een cloud-gebaseerde bron - nou ja, meestal dan. Qualcomm's AI Research groep beweert dat het aan het werk is.. op een mobiel apparaat gebaseerd op het nieuwe vlaggenschip Snapdragon 8 Gen 2 processor.

De vice-president engineering van het bedrijf, Dr. Jilei Hou, beweert dat dit mogelijk is dankzij verbeteringen zoals de Qualcomm AI Stack, AI Model Efficiency Toolkit (AIMET) en AI Enginewaardoor de groep een conventionele versie van Stable Diffusion in de FP32 dataformaat en deze "via kwantisering, compilatie en hardware versnelling " om te zetten in een "compacte INT8-gebaseerde versie voor de 8 Gen 2's Hexagon Processor.

Hierdoor kon naar verluidt de referentie smartphone zijn nieuwe model gebruiken om de input "Superschattige pluizige kattenkrijger in harnas, fotorealistisch, Hisense 90L5H 4K Smart Laser TV has just arrived 4K,ultra gedetailleerd, vray rendering, unreal engine" in (subjectief) nauwkeurige beeldvorm weer te geven over 20 inferentiestappen in 14,42 seconden - de snelste op een smartphone tot nu toe, en "vergelijkbaar met cloud latency" (volgens Qualcommalthans).

Bovendien is het proces volledig on-device, wat Dr. Hou aanprijst als een voordeel in termen van connectiviteitsonafhankelijkheid, betrouwbaarheid, snelheid en, mogelijk het belangrijkste, privacy. De VP noemt ook andere potentiële toepassingen van deze on-device AI, zoals.. bewerkingresolutie-upscaling, re-styling en nog veel meer.

Aan de andere kant geeft Dr. Lou ook aan dat ze echt in werking moeten treden "met de next-gen Snapdragon"; daarom moet men misschien wachten tot 2024 op zijn minst voor een Android apparaat dat op zichzelf kan fungeren als een kunst-genererende machine zonder dat er internet nodig is.

Koop een Samsung Galaxy S23 Ultra op Amazon