Microsoft brengt Seeing AI mobiele app uit om slechtziende gebruikers te helpen door de wereld te beschrijven met behulp van Azure AI

Microsoft heeft de Seeing AI app gelanceerd tijdens de Ability Summit op 7 maart, een evenement waar digitale oplossingen voor mensen met een handicap worden onderzocht. Deze innovatieve app maakt gebruik van Azure AI-technologieën om slechtzienden te helpen makkelijker door het leven te navigeren.

AI-technologieën vereisen vaak krachtige computers om aanwijzingen van gebruikers te analyseren en erop te reageren, en er zijn maar weinig mobiele apparaten met AI-chips zoals de Snapdragon 8 Gen 3 in smartphones uit de top 2024. Daarom worden de meeste prompts doorgegeven aan online diensten zoals OpenAI (ChatGPT) of Microsoft (Azure AI, CoPilot) waar krachtigere cloudcomputers de verzoeken afhandelen.

Microsoft Seeing AI maakt gebruik van de Azure GPT-4 Turbo met Vision AI om responsieve, nauwkeurige antwoorden mogelijk te maken op elke smartphone met deze functies:

1. Tekst-naar-spraak - De app leest de tekst die het ziet. Kortere tekst kan in live cameramodus worden voorgelezen, terwijl langere tekst wordt gefotografeerd, omgezet naar tekst en uiteindelijk voorgelezen.
2. Streepjescodelezer - De app zoekt producten op aan de hand van de UPC-code.
3. Scène - De app beschrijft de scène die hij ziet, met de nadruk op het dichtstbijzijnde object.
4. Persoon - De app beschrijft de persoon die hij ziet en identificeert de gezichtsemotie.
5. Valuta - De app identificeert de biljetten die het ziet in 17 landen.
6. Kleur - De app identificeert de kleur in het midden van de live foto.
7. Handschrift - De app zet handgeschreven notities om in tekst.
8. Helderheid - De app laat een toon horen die in toonhoogte varieert, afhankelijk van de helderheid.

De resultaten van de app zijn over het algemeen nauwkeurig, maar geen enkele AI is zo goed als een mens in het identificeren en beschrijven van wat er gezien wordt. Seeing AI identificeert bijvoorbeeld correct een scheermesje in een blik, maar kan een muntsorteerder niet identificeren, ondanks de centmarkeringen op de behuizing. Hetzelfde geldt voor tekst - de app zet over het algemeen tekst op bonnetjes en verpakkingen nauwkeurig om, maar faalt bij wiskunde en chemische teksten.

De Microsoft Seeing AI kan vandaag gedownload worden in de Android app store en Apple app store. Lezers die moeite hebben met het zien van kleine dingen kunnen een verlicht vergrootglas proberen(zoals dit bij Amazon).