Google kondigt nieuwe PaliGemma 2 vision-taalmodellen aan

Google heeft de opvolger aangekondigd van het visuele-taalmodel PaliGemma dat in mei 2024 werd gelanceerd. PaliGemma 2 is beschikbaar in meerdere groottes, variërend van 3 miljard parameters tot 28 miljard en verschillende resolutiegroottes tot 896px.

Het bedrijf zegt dat het model "toonaangevende prestaties op het gebied van herkenning van chemische formules, herkenning van muziekpartituren, ruimtelijk redeneren en het genereren van röntgenfoto's van de borstkas"

Het heeft ook lange bijschriftmogelijkheden met "gedetailleerde, contextueel relevante bijschriften voor afbeeldingen, die verder gaan dan eenvoudige objectidentificatie om acties, emoties en het algemene verhaal van de scène te beschrijven"

De nieuwe modellen zullen worden aangeboden als een "drop-in vervanging" in meerdere formaten zonder "grote code-aanpassingen" De voorgetrainde modellen zijn beschikbaar op Hugging Face en Kaggle en zijn voor iedereen gratis te downloaden en uit te proberen. Het ondersteunt ook meerdere frameworks, waaronder Hugging Face Transformers, Keras, PyTorch, JAX en Gemma.cpp.

Google zegt dat de "flexibiliteit van PaliGemma 2 de fijnafstemming voor specifieke taken en datasets eenvoudig maakt, zodat u de mogelijkheden precies op uw behoeften kunt afstemmen"