Onderzoekers zeggen dat de Whisper-tool van OpenAI dingen verzint

Volgens een nieuw rapport van https://abcnews.go.com/US/wireStory/researchers-ai-powered-transcription-tool-hospitals-invents-things-115170291 van ABC News (via Engadget) heeft OpenAI's audiotranscriptietool Whisper de neiging om transcripties te hallucineren die geen deel uitmaken van de originele opnames.

Dit is verontrustend omdat Whisper al in verschillende sectoren wordt gebruikt, waaronder medische centra die op het hulpmiddel vertrouwen om consulten te transcriberen. Dit ondanks de strenge waarschuwing van OpenAI om het niet te gebruiken in "domeinen met een hoog risico".

Een machine learning ingenieur ontdekte hallucinaties in de helft van meer dan 100 uur transcripties, terwijl een andere ontwikkelaar zei dat hij ze in alle 26.000 transcripties vond die hij analyseerde. Onderzoekers zeiden dat dit zou kunnen leiden tot foutieve transcripties in miljoenen opnames wereldwijd. Een woordvoerder van OpenAI vertelde ABC News dat het bedrijf deze rapporten heeft bestudeerd en de feedback zal meenemen in modelupdates. De tool is opgenomen in Oracle en Microsoft Cloud. Deze diensten hebben wereldwijd duizenden klanten, waardoor het risico groter wordt.

Professoren Allison Koenecke en Mona Sloane onderzochten duizenden korte fragmenten van TalkBank. Ze ontdekten dat 40% van de ontdekte hallucinaties schadelijk waren. In één van de opnames zei een spreker bijvoorbeeld: "Hij, de jongen, ging, ik weet het niet precies, de paraplu pakken." maar het hulpmiddel transcribeerde het als: "Hij pakte een groot stuk van het kruis, een piepklein stukje... Ik weet zeker dat hij geen terreurmes had, dus vermoordde hij een aantal mensen".