Notebookcheck Logo

Nieuw onderzoek legt AI's hardnekkige vooroordeel tegen Afro-Amerikaanse Engelse dialecten bloot

"Matched guise probing" werd door onderzoekers gebruikt om vooroordelen aan het licht te brengen. (Afbeeldingsbron: Dall-E 3)
"Matched guise probing" werd door onderzoekers gebruikt om vooroordelen aan het licht te brengen. (Afbeeldingsbron: Dall-E 3)
Recent onderzoek brengt verborgen vooroordelen in AI-taalmodellen aan het licht, met name tegen Afro-Amerikaans Engels (AAE). Deze modellen blijven AAE associëren met negatieve stereotypen, wat mogelijk toekomstige beslissingen op het gebied van werkgelegenheid en strafrecht beïnvloedt. Het onderzoek maakt gebruik van "matched guise probing" om het concept te bewijzen.

Een nieuw onderzoek heeft het verborgen racisme in AI-taalmodellen blootgelegd, met name in hun behandeling van Afro-Amerikaans Engels (AAE). In tegenstelling tot eerder onderzoek dat zich richtte op openlijk racisme (zoals de CrowS-Pairs studie om sociale vooroordelen te meten in Gemaskerde LLM's), legt dit onderzoek speciale nadruk op hoe AI-modellen negatieve stereotypen subtiel in stand houden door vooroordelen over dialecten. Deze vooroordelen zijn niet direct zichtbaar, maar manifesteren zich duidelijk, zoals het associëren van AAE-sprekers met banen van een lagere status en hardere strafrechtelijke oordelen.

Uit het onderzoek bleek dat zelfs modellen die getraind waren om openlijke vooroordelen te verminderen, nog steeds diepgewortelde vooroordelen koesteren. Dit kan verstrekkende gevolgen hebben, vooral omdat AI-systemen steeds meer geïntegreerd worden in kritieke gebieden zoals werkgelegenheid en strafrecht, waar eerlijkheid en rechtvaardigheid boven alles van cruciaal belang zijn.

Groene tekst is Standaard Amerikaans Engels, terwijl blauwe tekst Afrikaans Amerikaans Engels is. In figuur 'd' worden voorspellingen voor de SAE- en AAE-invoer geïllustreerd met vijf bijvoeglijke naamwoorden. (Afbeeldingsbron: Nature)
Groene tekst is Standaard Amerikaans Engels, terwijl blauwe tekst Afrikaans Amerikaans Engels is. In figuur 'd' worden voorspellingen voor de SAE- en AAE-invoer geïllustreerd met vijf bijvoeglijke naamwoorden. (Afbeeldingsbron: Nature)

De onderzoekers gebruikten een techniek genaamd "matched guise probing" om deze vooroordelen aan het licht te brengen. Door te vergelijken hoe AI-modellen reageerden op teksten geschreven in Standard American English (SAE) versus AAE, konden ze aantonen dat de modellen AAE consequent associeerden met negatieve stereotypen, zelfs als de inhoud identiek was. Dit is een duidelijke aanwijzing voor een fatale fout in de huidige AI-trainingsmethoden - verbeteringen op oppervlakteniveau in het verminderen van openlijk racisme vertalen zich niet noodzakelijkerwijs naar het elimineren van diepere, meer verraderlijke vormen van vooroordelen.

AI zal zich ongetwijfeld blijven ontwikkelen en in steeds meer aspecten van de samenleving integreren. Dat brengt echter ook het risico met zich mee dat bestaande maatschappelijke ongelijkheden worden bestendigd en zelfs versterkt, in plaats van verkleind. Dit soort scenario's zijn de reden dat deze verschillen met voorrang moeten worden aangepakt.

Figuur 'a' toont de perplexiteit van taalmodellering en de stereotype sterkte op AAE-tekst als functie van de modelgrootte, terwijl figuur 'b' de verandering in stereotype sterkte en gunstigheid aangeeft. (Afbeeldingsbron: Nature)
Figuur 'a' toont de perplexiteit van taalmodellering en de stereotype sterkte op AAE-tekst als functie van de modelgrootte, terwijl figuur 'b' de verandering in stereotype sterkte en gunstigheid aangeeft. (Afbeeldingsbron: Nature)
Sterkste stereotypen over Afro-Amerikanen bij mensen versus openlijke en verborgen stereotypen bij Taalmodellen. (Afbeeldingsbron: Nature)
Sterkste stereotypen over Afro-Amerikanen bij mensen versus openlijke en verborgen stereotypen bij Taalmodellen. (Afbeeldingsbron: Nature)

Bron(nen)

Please share our article, every link counts!
> Overzichten en testrapporten over laptops en mobieltjes > Nieuws > Nieuws Archief > Nieuws archieven 2024 08 > Nieuw onderzoek legt AI's hardnekkige vooroordeel tegen Afro-Amerikaanse Engelse dialecten bloot
Anubhav Sharma, 2024-08-30 (Update: 2024-08-30)