Opera wordt de eerste webbrowser die toegang biedt tot lokale LLM's
Opera One gebruikers in de developer stream krijgen een grote upgrade. Met de nieuwste update kunnen gebruikers LLM's lokaal downloaden en gebruiken. Op dit moment zijn er modellen uit meer dan 50 families, en er zijn meer dan 150 verschillende modellen die gebruikers kunnen downloaden en op hun computer kunnen uitvoeren.
Enkele van de opmerkelijke modellen zijn Gemma van Google, LLaMA van Meta, Mixtral van Mistral AIen Vicuna van LMSYS. Deze nieuwe functie wordt uitgerold als onderdeel van het AI Feature Drops Program. Dat wil zeggen dat gebruikers die de ontwikkelaarsversie van Opera One om de update te testen.
Desondanks is Opera hiermee de eerste webbrowser die gebruikers toestaat om lokale LLM's te downloaden en te gebruiken. Voor degenen die het zich afvragen: het lokaal uitvoeren van deze modellen biedt vaak volledige controle, minder latentie en, het belangrijkste, betere privacy. Maar uw computer moet wel aan een aantal eisen voldoen.
Het webbrowserbedrijf zegt bijvoorbeeld dat elke variant van de lokale LLM meer dan 2 GB opslagruimte nodig heeft. Wat betreft het uitvoeren van de modellen, zegt Opera dat het gebruik maakt van het open-source framework Ollama. Dat betekent ook dat alle modellen die momenteel beschikbaar zijn in de browser een subset zijn van de Ollama-bibliotheek. Het mooie is dat Opera van plan is om ook modellen van andere bronnen toe te voegen.
Niet alle gebruikers zullen van deze update profiteren. Het is echter goed nieuws voor degenen die verschillende LLM's lokaal op hun machines willen testen. U kunt de ingebouwde AI-assistent genaamd Aria gebruiken als u geen modellen wilt downloaden. Deze is sinds mei vorig jaar beschikbaar voor de gewone versie van de browser.
Bron(nen)
