Meta's OK-Robot kan een kamer opruimen zonder hulp
Het nieuwe OK-Robot AI-systeem is ontworpen om een grote verscheidenheid aan robots in staat te stellen om ruimtes op te ruimen die helemaal nieuw voor ze zijn. Ze kunnen bijvoorbeeld wasgoed of speelgoed van de vloer oprapen en dit ergens anders neerleggen. Andere robotsystemen zijn meestal ontworpen om in een vertrouwde omgeving te werken.
OK-Robot werkt met VLM's (Vision-Language Models), een type AI-systeem dat tegelijkertijd informatie uit tekst of directe spraak en afbeeldingen kan verwerken en begrijpen. Het is ook interessant om op te merken dat OK-Robot werkt met een verscheidenheid aan open-source AI-modellen en is voorgetraind met grote datasets die openbaar beschikbaar zijn.
Het positieve is dat u de robot geen extra trainingsgegevens in de omgeving hoeft te geven, hij werkt gewoon. Het nadeel is dat hij alleen een voorwerp kan oppakken en ergens anders neerzetten. U kunt hem niet vragen om een lade te openen, omdat hij alleen weet hoe hij die twee dingen moet doen.
- Lerrel Pinto, assistent-professor computerwetenschappen aan de Universiteit van New York, die het project mede leidde
Het systeem werd getest door onderzoekers van de New York University en Meta met behulp van de commerciële robot Stretch van Hello Robot. 171 pick-and-drop-experimenten https://arxiv.org/abs/2401.12202 werden uitgevoerd in verschillende huizen. Tijdens de experimenten scande de robot de omgeving met behulp van de Record3D iPhone app om een 3D-video te maken. Het OK Robot-systeem voerde vervolgens een AI-objectherkenningsmodel uit over elk frame van de video.
Hierdoor kon de robot alle objecten in zijn omgeving identificeren, zoals een tafel, een bank, een bril, een schoen en een lamp. Vervolgens kreeg de robot de opdracht om bepaalde objecten op te pakken, wat hij in 82,2% van de gevallen deed, op voorwaarde dat de kamer niet te rommelig was. In kamers die chaotischer waren, was het succespercentage echter aanzienlijk lager.
Ik zou zeggen dat het vrij ongebruikelijk is om volledig afhankelijk te zijn van kant-en-klare modellen, en dat het indrukwekkend is om ze te laten werken. We hebben een revolutie gezien in machine learning die het mogelijk heeft gemaakt om modellen te maken die niet alleen in laboratoria werken, maar in de open wereld. Het is erg nuttige informatie om te zien dat dit echt werkt in een echte fysieke omgeving.
- Matthias Minderer, een senior computer vision onderzoekswetenschapper bij Google DeepMind, die niet betrokken was bij het project
Het systeem is nog lang niet perfect; het heeft bijvoorbeeld soms moeite om spraakinvoer te begrijpen, en het grijpmodel heeft ook problemen met sommige objecten. Desondanks laat het project zien dat de huidige modellen relatief goed overweg kunnen met een open woordenschat en tegelijkertijd in staat zijn om direct naar de juiste objecten te navigeren in onbekende ruimtes.
Bronnen
MIT Technologie Overzicht | VentureBeat | teaserafbeelding: symbolische afbeelding door DALL-E / AI | afbeeldingen 2,3: arvix
