Chirurgische robot beheerst basisprocedures via video-leren, evenaart menselijke precisie

Johns Hopkins en Stanford onderzoekers hebben een belangrijke mijlpaal bereikt op het gebied van robotchirurgie: ze hebben een chirurgische robot geleerd om basisprocedures uit te voeren door gewoon naar video's te kijken van menselijke chirurgen die hun ding doen.

Het team is erin geslaagd om het da Vinci Chirurgisch Systeem te programmeren om drie basale maar cruciale chirurgische taken uit te voeren: naalden hanteren, weefsel optillen en wonden hechten. En het doet dit met dezelfde vaardigheid als ervaren menselijke chirurgen. Dit is een enorme stap in de richting van volledig autonome robotchirurgie.

"Het is opmerkelijk om dit model te hebben waarbij we gewoon camera-input geven en het voorspelt de noodzakelijke robotbewegingen voor een operatie," zegt Dr. Axel Krieger, assistent-professor aan de afdeling Werktuigbouwkunde van JHU en hoofdauteur van het onderzoek. "Wij geloven dat dit een belangrijke sprong voorwaarts is in de medische robotica."

Hiervoor combineerde het onderzoeksteam imitatieleren met een architectuur die vergelijkbaar is met het taalmodel dat in ChatGPT wordt gebruikt. Maar in plaats van zich op woorden te richten, splitst hun model chirurgische bewegingen wiskundig op, waardoor ze in exacte robothandelingen worden omgezet.

Om de robot te trainen, gaven ze hem honderden chirurgische video's te zien die tijdens echte operaties werden gemaakt met polsgemonteerde camera's op da Vinci-robots. Deze grote dataset is afkomstig van de bijna 7.000 da Vinci-systemen wereldwijd, die door meer dan 50.000 getrainde chirurgen worden gebruikt.

Hoewel het da Vinci-systeem veel gebruikt wordt, is precisie een zwak punt. Het onderzoeksteam pakte dit aan door de robot bewegingen te laten uitvoeren in relatie tot de omgeving in plaats van exacte, vooraf ingestelde bewegingen te maken, en dit maakte een groot verschil.

Een van de meest ongelofelijke dingen is het aanpassingsvermogen van de systemen. "Het model is zo goed in het leren van dingen die wij het niet geleerd hebben," zegt hoofdauteur Ji Woong "Brian" Kim, een postdoc bij Johns Hopkins. "Als het bijvoorbeeld de naald laat vallen, raapt het deze automatisch op en gaat verder. Dit is niet iets wat ik het heb geleerd."

Deze ontwikkeling betekent dat het niet langer nodig is om nauwgezet elke specifieke beweging voor een chirurgische taak te programmeren, wat vroeger jaren duurde om goed te krijgen voor slechts één soort procedure. Met deze nieuwe aanpak kan de robot in slechts een paar dagen een volledige procedure leren door toe te kijken.

Zij presenteerden hun bevindingen op de Conference on Robot Learning in München en lieten zien hoe AI en medische technologie samenkomen in de chirurgische robotica.