KITEK Fairness i AI-systemer

Fairness i AI-systemer

Af Steffen Kirkegaard, Bestyrelsesformand KITEK

Fairness er et centralt begreb i kunstig intelligens (AI), som handler om at sikre, at AI-systemer ikke favoriserer eller diskriminerer individer eller grupper baseret på beskyttede attributter, såsom køn, race, religion eller alder. Fairness er imidlertid ikke en entydig eller objektiv egenskab, men afhænger af konteksten, formålet og perspektivet. Derfor er der behov for at udvikle forskellige metoder og målinger til at evaluere og forbedre fairness i AI-systemer, især inden for natural language processing (NLP), som er et felt, der beskæftiger sig med at analysere og generere naturligt sprog.

For det første viser rapporten AI Index raport, at der er et stort behov for at udvikle mere robuste og pålidelige benchmarks og metrikker for at evaluere fairness og bias i NLP-modeller. Benchmarks er datasæt med mærkede data, som bruges til at teste, hvor godt AI-systemer udfører en bestemt opgave. Metrikker er målinger af en bestemt egenskab eller dimension af AI-systemers adfærd eller ydeevne. Rapporten præsenterer flere nye benchmarks og metrikker for fairness og bias i NLP, såsom BBQ, HELM, VLStereoSet og RealToxicityPrompts. Disse benchmarks og metrikker dækker forskellige domæner og formater, såsom spørgsmål-svar, tekst-til-billede, maskinoversættelse og tekstgenerering. Rapporten viser også, at der kan være trade-offs mellem fairness og bias, såvel som mellem ydeevne og etik. For eksempel finder forskere, at modeller, der udfører bedre på fairness-målinger, har værre kønsbias, og at mindre kønsbiasede modeller har tendens til at være mere toksiske .

For det andet viser rapporten, at fairness i maskinoversættelse er et vigtigt og udfordrende problem. Maskinoversættelse er en af de mest indflydelsesrige anvendelser af NLP, men forskere fra Meta finder, at sprogmodeller konsekvent udfører dårligere på maskinoversættelse til engelsk fra andre sprog, når den korrekte engelske oversættelse indeholder “hun”-pronominer i stedet for “han”-pronominer . På tværs af de modeller, der fremhæves i figur 3.3.7 i rapporten , falder maskinoversættelsesydelsen med 2%–9%, når oversættelsen indeholder “hun”-pronominer. Modellerne mistranslaterer også sætninger med kønnede pronominer til “det”, hvilket viser et eksempel på dehumaniserende skader. Selvom instruktions-tunede modeller udfører bedre på nogle bias-relaterede opgaver som Winogender , synes instruktions-tuning ikke at have en målbar indvirkning på forbedring af mistranslation .

For det tredje viser rapporten, at fairness i tekst-til-billede modeller er et aktuelt og relevant emne. Tekst-til-billede modeller tog over sociale medier i 2022 og gjorde spørgsmålene om fairness og bias i AI-systemer synlige gennem billedform: Kvinder lagde deres egne billeder ind i AI-kunstgeneratorer og fik hyperseksualiserede versioner af sig selv . Forskere fra Meta trænede modeller på et tilfældigt udvalgt delmængde af data fra Instagram og sammenlignede disse modeller med tidligere versioner af modeller trænet på ImageNet. Forskerne fandt, at Instagram-trænede modeller var mere fair og mindre biased baseret på Casual Conversations Dataset, som vurderer, om modelindlejringer kan genkende kønsbaseret socialt medlemskab i henhold til Precision@1-metrikken for, hvor ofte det øverste resultat var relevant . Selvom forskerne ikke foretog nogen kurering for at balancere datasættet på tværs af undergrupper, viste analysen af datasættet, at billeder af kvinder udgjorde en lidt højere procentdel af datasættet end billeder af mænd, mens analysen af ImageNet viste, at mænd i alderen 15 til 29 udgjorde den største undergruppe i datasættet (figurer 3.5.1 og 3.5.2 i rapporten ). Det antages, at den menneskecentrerede karakter af Instagram-forudtræningsdatasættet gør det muligt for modellen at lære fairere repræsentationer af mennesker. Modellen trænet på Instagram-billeder (SEER) var også mindre tilbøjelig til at fejlagtigt associere billeder af mennesker med kriminalitet eller at være ikke-menneskelig. Selvom træning på Instagram-billeder inklusive mennesker resulterer i fairere modeller, er det ikke entydigt mere etisk – brugerne er måske ikke nødvendigvis klar over, at de offentlige data, de deler, bliver brugt til at træne AI-systemer.

Jeg vil afslutte med at foreslå nogle mulige veje for fremtidig forskning og praksis på området for fairness i NLP. For det første bør der være mere samarbejde mellem forskere, praktikere og interessenter for at sikre, at de udviklede modeller og værktøjer er i overensstemmelse med etiske standarder og principper. Dette kan omfatte at skabe fælles retningslinjer, sikre gennemsigtighed og ansvarlighed, og fremme offentlig bevidsthed og uddannelse. For det andet bør der være mere fokus på at evaluere og forbedre modellernes robusthed og pålidelighed i forskellige situationer og domæner. Dette kan omfatte at teste modellerne på tværs af sprog, kulturer og modaliteter, samt at håndtere støj, bias og misinformation i dataene. For det tredje bør der være mere fokus på at udnytte modellernes kreativitet og innovation til at generere nyttig og interessant indhold, såsom digte, historier, kode, essays, sange, kendisparodier og mere. Dette kan omfatte at bruge NLP til at hjælpe brugerne med at skrive, omskrive, forbedre eller optimere deres indhold.

Indlægget “Fairness i AI” er også bragt på AI-Portalen.