ChatGPT discrimineert cv’s die informatie over handicaps bevatten

Onderzoekers van de Universiteit van Washington ontdekten in experimenten dat ChatGPT bevooroordeeld is ten opzichte van sollicitanten met een handicap bij het beoordelen van cv’s. De AI-applicatie rangschikte overeenkomstige prijzen en kwalificaties systematisch lager dan identieke cv’s die deze informatie niet bevatten.

Stereotypen domineren de evaluaties van kunstmatige intelligentie

Bij het rechtvaardigen van de evaluaties onthulde ChatGPT stereotiepe percepties van mensen met een handicap. Het systeem beweerde bijvoorbeeld dat CV’s met een autisme-leiderschapsprijs ‘minder focussen op leiderschapsrollen’, wat suggereert dat mensen met autisme geen goede leiders zijn. “CV-opname met behulp van AI begint steeds wijdverspreider te worden, maar er is niet veel onderzoek naar de vraag of het veilig en effectief is”, zegt Kate Glazkow, hoofdauteur van het onderzoek. persbericht. “Voor een werkzoekende met een handicap is het bij het indienen van een CV altijd de vraag of er een arbeidsongeschiktheidsattest moet worden bijgevoegd. Ik denk dat mensen met een handicap daar rekening mee houden, zelfs als mensen de beoordelaars zijn.

Toen onderzoekers de GPT-4 vroegen om uitleg over de evaluaties, bevatten de antwoorden zowel expliciete als impliciete gevoelens tegen handicaps. B merkte bijvoorbeeld op dat een kandidaat met een depressie ‘een extra focus had op DEI en persoonlijke uitdagingen’ die ‘de aandacht afleidde van de belangrijkste technische en onderzoeksaspecten van de functie’.

“Sommige beschrijvingen van GPT kunnen iemands hele cv kleuren op basis van zijn of haar handicap, en beweren dat het aankaarten van DEI of handicap de aandacht kan afleiden van andere delen van het cv”, aldus Glazko. “Het concept van ‘uitdagingen’ is bijvoorbeeld gehallucineerd bij het vergelijken van de levensloop met depressie, ook al wordt ‘uitdagingen’ nooit genoemd. Je kunt dus enkele stereotypen zien.”

Instructie kan de resultaten verbeteren

Om de ChatGPT-bias te onderzoeken, gebruikten de onderzoekers de publiekelijk beschikbare biografie van de auteur en creëerden zes uitgebreide versies, elk met een andere handicap. Hieraan voegde het team vier handicapgerelateerde kwalificaties toe: een studiebeurs, een onderscheiding, een zetel in de diversiteitscommissie en lidmaatschap van een studentenorganisatie.

In 60 experimenten waarin ChatGPT verbeterde cv’s evalueerde ten opzichte van de originele versie van een echte Research Student-vacature, kwamen de verbeterde versies slechts in een kwart van de gevallen op de eerste plaats. Nadat de onderzoekers ChatGPT echter schriftelijk hadden opgedragen geen vooroordelen over handicaps te tonen, verbeterden de resultaten voor vijf van de zes geteste handicaps. Alleen voor autisme en depressie bleven de resultaten vrijwel onveranderd.

“In een rechtvaardige wereld zou dat zo moeten zijn […] “Het cv moet altijd op de eerste plaats komen”, zegt medeauteur professor Jennifer Mankoff. “Ik kan me geen baan voorstellen waarin iemand die wordt erkend vanwege zijn leiderschapskwaliteiten, bijvoorbeeld niet hoger zou worden gerangschikt dan iemand met dezelfde achtergrond die dat niet doet.”

Onderzoekers beweren dat mensen zich bewust moeten zijn van AI-vooroordelen wanneer ze de technologie gebruiken voor concrete, praktijkgerichte taken. “Anders zal een recruiter die ChatGPT gebruikt deze correcties mogelijk niet doorvoeren of zich er niet van bewust zijn dat vooroordelen zelfs met instructies kunnen blijven bestaan”, aldus Glazko.

afbeelding alexandra_hut op Pixabay