Hugging Face kondigt nieuw open-source vision taalmodel SmolVLM aan

Hugging Face, een opslagplaats voor machinaal leren, datasets en AI-tools, heeft vrijgegeven een open-source vision taalmodel vrijgegeven dat licht van gewicht is en gebouwd is voor efficiëntie en snelheid. Vision Language Models (VLM) kan zowel tekst als visuele invoer begrijpen.

Het model is beschikbaar voor commercieel gebruik met open trainingslijnen, wat betekent dat de datasets, code en methoden die gebruikt zijn om het model te trainen, beschikbaar zijn voor het publiek. Hugging Face heeft drie varianten van het model - SmolVM-Base, SmolVM-Synthetic en SmolVM Instruct.

SmolVM-Base is ontworpen voor stroomafwaartse fijnafstemming, wat betekent dat het kan worden overgenomen en getraind voor specifieke taken. Synthetic wordt getraind op kunstmatige gegevens en maakt geen gebruik van datasets uit de echte wereld, en Instruct kan "out of the box gebruikt worden voor interactieve eindgebruikertoepassingen"

Hugging Face zegt dat SmolVM slechts 5,7GB GPU RAM nodig heeft, waardoor het kleiner en efficiënter is dan concurrenten als PaliGemma 3B, InternVL2 2B en Qwen2-VL-2B. Hierdoor kan het draaien op laptops met beperkt VRAM.

Het is ook token-efficiënter in vergelijking met andere modellen. Tokens meten de snelheid en efficiëntie van een model, en SmolVM kan een afbeelding van 384x384 coderen in 81 tokens, vergeleken met Qwen2-VL, dat 16k tokens gebruikt. Het model heeft ook minder rekenkracht en RAM nodig om het te laten werken.

Hugging Face is hosting van een demo gebouwd op SmolVM-Instruct met een supervised trainingsscript dat iedereen kan uitproberen.