Onderzoekers van de Universiteit van Singapore tonen het nieuwste prototype van de AiSee-headset waarmee blinden de wereld kunnen zien door middel van AI-spraakbeschrijvingen
Onderzoekers van het Augmented Human Lab aan de National University of Singapore hebben het nieuwste prototype van de AiSee headset voor blinden gedemonstreerd. De AI-headset, oorspronkelijk een project van de Universiteit van Auckland in 2018, maakt gebruik van een camera om objecten te identificeren en vervolgens een gesproken beschrijving te geven aan dragers met gezichtsbeperkingen.
Blinden en slechtzienden hebben vaak het probleem om uit te zoeken wat er voor hen ligt. Het onderscheid maken tussen blikken soep wordt een uitdaging gezien het identieke gevoel van etiketten en blikken. Afbeeldingen zoeken met een smartphone kan helpen, maar deze methode vereist een smartphone, een gegevensverbinding en één vrije hand.
De AiSee werkt met een simpele druk op een knop op het linkeroor. Een 13 megapixel camera legt beelden van objecten vast voor identificatie door het AI-systeem, dat vervolgens objectbeschrijvingen uitspreekt tegen de drager via beengeleidingsluidsprekers die zelfs in luidruchtige buitenruimtes hoorbaar zijn. Deze luidsprekers blokkeren ook geen belangrijke omgevingsgeluiden. Een oplaadbare 1200 mA batterij voorziet de headset van stroom.
De AiSee blijft in ontwikkeling om het apparaat verder te verbeteren. In de tussentijd kunnen oudere lezers met ouderdomsverziendheid een mooie verstelbare vergrootbril proberen (zoals deze bij Amazon) om hen te helpen met hun kruissteken.
05 februari 2024
NUS-onderzoekers ontwikkelen AI-aangedreven 'oog' voor visueel gehandicapten om objecten te 'zien'
Assoc Prof Suranga Nanayakkara (links) met NUS-student Mark Myres (rechts), die AiSee testte als visueel gehandicapte gebruiker.
Boodschappen doen is voor velen van ons een alledaagse bezigheid, maar voor mensen met een visuele beperking kan het lastig zijn om boodschappen te herkennen. Een team onderzoekers van de National University of Singapore's School of Computing (NUS Computing) introduceerde AiSee, een betaalbaar draagbaar hulpmiddel dat mensen met een visuele beperking helpt om objecten om hen heen te 'zien' met behulp van kunstmatige intelligentie (AI).
Mensen met een visuele beperking hebben dagelijks te maken met hindernissen, vooral bij het identificeren van objecten, wat cruciaal is voor zowel eenvoudige als complexe beslissingen. Hoewel doorbraken op het gebied van AI de visuele herkenningsmogelijkheden drastisch hebben verbeterd, blijft de toepassing van deze geavanceerde technologieën in de echte wereld een uitdaging en foutgevoelig.
AiSee, dat voor het eerst werd ontwikkeld in 2018 en over een periode van vijf jaar geleidelijk werd geüpgraded, is bedoeld om deze beperkingen te overwinnen door gebruik te maken van geavanceerde AI-technologieën.
"Met AiSee willen we gebruikers een natuurlijkere interactie bieden. Door een op de mens gericht ontwerpproces te volgen, vonden we redenen om vraagtekens te zetten bij de typische aanpak van het gebruik van een bril met een camera. Mensen met een visuele beperking kunnen terughoudend zijn om een bril te dragen om stigmatisering te voorkomen. Daarom stellen we een alternatieve hardware voor die een discrete beengeleidingshoofdtelefoon bevat," zegt hoofdonderzoeker van Project AiSee Associate Professor Suranga Nanayakkara van de afdeling Information Systems and Analytics van NUS Computing.
De gebruiker hoeft alleen maar een voorwerp vast te houden en de ingebouwde camera te activeren om een beeld van het voorwerp vast te leggen. Met behulp van AI zal AiSee het object identificeren en meer informatie geven wanneer de gebruiker hierom vraagt.
Hoe werkt AiSee?
AiSee bestaat uit drie hoofdcomponenten:
(1) Het oog: Vision engine computersoftware
AiSee bevat een microcamera die het gezichtsveld van de gebruiker vastlegt. Deze vormt de softwarecomponent van AiSee, ook wel de "vision engine computer" genoemd. De software kan kenmerken zoals tekst, logo's en labels uit het vastgelegde beeld extraheren voor verwerking.
(2) Het brein: AI-gestuurde beeldverwerkingseenheid en interactief vraag- en antwoordsysteem
Nadat de gebruiker een foto van het object heeft gemaakt, gebruikt AiSee geavanceerde cloudgebaseerde AI-algoritmen om de vastgelegde beelden te verwerken en analyseren om het object te identificeren. De gebruiker kan ook een aantal vragen stellen om meer over het object te weten te komen.
AiSee maakt gebruik van geavanceerde tekst-naar-spraak en spraak-naar-tekst herkenning en verwerkingstechnologie om objecten te identificeren en de vragen van de gebruiker te begrijpen. Aangedreven door een groot taalmodel blinkt AiSee uit in interactieve vraag-en-antwoord uitwisselingen, waardoor het systeem de vragen van de gebruiker nauwkeurig kan begrijpen en er snel en informatief op kan reageren.
Vergeleken met de meeste draagbare ondersteunende apparaten die een smartphone moeten koppelen, werkt AiSee als een zelfstandig systeem dat onafhankelijk kan functioneren zonder dat er extra apparaten nodig zijn.
(3) De luidspreker: Beengeleidingsgeluidssysteem
De hoofdtelefoon van AiSee maakt gebruik van beengeleidingstechnologie, die geluidsoverdracht via de botten van de schedel mogelijk maakt. Dit zorgt ervoor dat personen met een visuele beperking effectief auditieve informatie kunnen ontvangen en toch toegang hebben tot externe geluiden, zoals gesprekken of verkeerslawaai. Dit is met name van vitaal belang voor visueel gehandicapten, omdat omgevingsgeluiden essentiële informatie bieden voor het nemen van beslissingen, vooral in situaties waarin veiligheid een rol speelt.
"Op dit moment hebben mensen met een visuele beperking in Singapore geen toegang tot ondersteunende AI-technologie van dit niveau. Daarom geloven wij dat AiSee de potentie heeft om visueel gehandicapten in staat te stellen zelfstandig taken uit te voeren waarvoor nu hulp nodig is. Onze volgende stap is om AiSee betaalbaar en toegankelijk te maken voor de massa. Om dit te bereiken zijn we bezig met verdere verbeteringen, waaronder een ergonomischer ontwerp en een snellere verwerkingseenheid," legt Assoc Prof Nanayakkara uit.
NUS-student Mark Myres, die als slechtziende gebruiker hielp bij het testen van AiSee, zei: "Vaak lijken hulpmiddelen erg gericht op volledig blinde of slechtziende mensen. Ik denk dat AiSee een goed evenwicht is. Zowel visueel gehandicapten als blinden kunnen hier veel voordeel uit halen."
Gebruikerstests en verdere verbeteringen
Assoc Prof Nanayakkara en zijn team zijn momenteel in gesprek met SG Enable in Singapore om gebruikerstests uit te voeren met mensen met een visuele beperking. De bevindingen zullen helpen om de functies en prestaties van AiSee te verfijnen en te verbeteren. Daarnaast heeft B.P. De Silva Holdings Pte Ltd een gulle gift van S$150.000 gedaan om het project te ondersteunen.
De beslissing van BPH om bij te dragen aan de ontwikkeling van AiSee is geworteld in haar toewijding aan maatschappelijk verantwoord ondernemen en een oprecht verlangen om een positieve impact te hebben op de maatschappij met een bredere missie om inclusiviteit en toegankelijkheid te bevorderen. Haar filantropische inspanningen weerspiegelen ook haar geloof in de transformerende kracht van technologie om maatschappelijke uitdagingen aan te pakken en een rechtvaardigere en meer inclusieve wereld te creëren.
Mevrouw Ku Geok Boon, Chief Executive Officer van SG Enable, zei: "Innovatieve oplossingen die mogelijk worden gemaakt door ondersteunende technologieën kunnen het leven van mensen met een handicap veranderen, door hen te helpen zelfstandiger te leven of door barrières voor werkgelegenheid te verlagen. Als centraal agentschap en sectorbeheerder voor handicaps en inclusie in Singapore is SG Enable blij om samen te werken met partners als NUS en B.P. De Silva Holdings Pte Ltd om technologie in te zetten voor mensen met een handicap."
Naast dit project wil SG Enable ook samenwerken met NUS om te onderzoeken hoe AI, mens-computer-interface en ondersteunende technologie mensen met een handicap meer technologische mogelijkheden kunnen bieden.
