Notebookcheck Logo

Meta AI maakt zijn debuut op Quest 3 headsets

Antony Hamilton Jr probeert Meta AI uit op Quest (Foto bron: Meta)
Antony Hamilton Jr probeert Meta AI uit op Quest (Foto bron: Meta)
Als vervolg op multimodale AI op de Ray Ban Meta smart glasses, zullen eigenaars van de Quest 3 in de VS en Canada binnenkort Meta AI kunnen gebruiken terwijl ze hun headset op hebben. Meta zal de bestaande spraakopdrachten op Horizon OS afschaffen omdat Meta AI with Vision zowel spraakopdrachten als visuele input van Passthrough zal kunnen verwerken.

Quest headsets krijgen in augustus een experimentele update met Meta AI. De functie zal beperkt zijn tot spraakopdrachten op de Quest 2, maar Meta AI op de Quest 3 headset zal volledige multimodale mogelijkheden hebben zoals de Ray Ban Meta smart glasses. Ook zal Meta AI op deze mixed reality-headsets real-time gegevens over het weer, sport of lokaal nieuws kunnen ophalen via Bing.

Een van de functies die het bedrijf plaagt op de Quest 3 is Meta AI met Vision. Hoewel dragers van de Ray Ban Meta slimme bril al sinds april over deze functionaliteit beschikken, zal dit de eerste keer zijn dat een app toegang heeft tot de doorlaatbare camera's van de gewone Quest 3 headset. Meta heeft niets gezegd over het vrijgeven van een passthrough API voor externe ontwikkelaars, maar het lijkt waarschijnlijk, vooral omdat meer ontwikkelaars aandringen op dergelijke toegang.

Het is mogelijk dat gebruikers in latere upgrades naast fysieke objecten ook vragen kunnen stellen over objecten in VR-omgevingen, aangezien Meta zegt dat de visuele AI-functionaliteit "om te beginnen" alleen beschikbaar is in Passthrough . De mogelijkheden van Meta AI with Vision zijn momenteel echter beperkt tot de analyse van objecten in een echte omgeving die via de naar voren gerichte passthrough-camera's zijn vastgelegd. Naast visuele invoer zijn er andere mogelijkheden om Meta AI in mixed reality te gebruiken via spraakopdrachten. Dit vervangt in feite de bestaande spraakopdrachten op Quest headsets, aangezien die binnenkort worden afgeschaft.

Meta AI with Vision werd voor het eerst gelanceerd op Ray-Ban smart glasses als een bètafunctie die beperkt was tot de VS en Canada. Op dezelfde manier zullen de experimentele AI-functies op Quest headsets ook beperkt worden tot landen in de EU. Meta heeft het - net als Apple en andere techgiganten die in de VS gevestigd zijn - moeilijk met toezichthouders voor gegevensprivacy in de EU, en heeft daarom besloten om toekomstige multimodale AI-modellen niet in de regio uit te brengen, ondanks het feit dat Llama open-source is. Het bedrijf is van plan om een alleen-tekstversie van zijn Llama 3-model te lanceren om zijn gebruikers in de EU van dienst te zijn.

Please share our article, every link counts!
Sarfo Ashong-Listowell, 2024-07-29 (Update: 2024-08-15)