2017 Los Angeles Times
Videnskab og teknologi

Hvorfor ansigtsgenkendelsens racemæssige bias-problem er så svært at knække

DIGITISERET ansigtsgenkendelse ved brug af gitter med specifikke kvindelige punkter.

Jimmy Gomez er en Californiens demokrat, en Harvard-kandidat og en af de få latinamerikanske lovgivere, der tjener i det amerikanske repræsentantshus.

Men til Amazons ansigtsgenkendelsessystem ligner han en potentiel kriminel.

Gomez var et af 28 medlemmer af den amerikanske kongres, der falske blev matchet med krusebilleder af mennesker, der er blevet arresteret, som en del af en test, som den amerikanske civile frihedsunion kørte sidste år af Amazon Rekognition-programmet.

Næsten 40 procent af de falske kampe fra Amazons værktøj, der bruges af politiet, involverede farver.

billede-fra-ios

Resultaterne styrker en voksende bekymring blandt borgerlige frihedsgrupper, lovgivere og endda nogle teknologifirmaer for, at ansigtsgenkendelse kan skade mindretal, når teknologien bliver mere mainstream. En teknologi er allerede brugt på iPhones og Android-telefoner, og politi, detailhandlere og skoler kommer langsomt også rundt til det. Men undersøgelser har vist, at ansigtsgenkendelsessystemer har sværere tid med at identificere kvinder og mørkere hud , hvilket kan føre til katastrofale falske positiver.

‘Dette er et eksempel på, hvordan anvendelse af teknologi i retshåndhævelsesområdet kan forårsage skadelige konsekvenser for samfund, der allerede er overpoliseret,’ sagde Jacob Snow, advokat for teknologi og borgerlige frihedsrettigheder for ACLU i Nord-Californien.

Ansigtsgenkendelse har sine fordele. Politiet i Maryland brugte teknologien til at identificere en mistænkt i en masseskydning på Capital Gazette. I Indien hjalp det politiet med at identificere næsten 3.000 savnede børn inden for fire dage. Facebook bruger teknologien til at identificere mennesker på fotos til svagsynede. Det er blevet en praktisk måde at låse din smartphone op.

Men teknologien er ikke perfekt, og der har været nogle pinlige offentlige tabber. Google Fotos mærkede engang to sorte mennesker som gorillaer. I Kina hævdede en kvinde, at hendes medarbejder var i stand til at låse op for sin iPhone X ved hjælp af Face ID. Indsatsen ved at blive forkert identificeret øges, når de retshåndhævende myndigheder bruger ansigtsgenkendelse til at identificere mistænkte i en forbrydelse eller afsløre folk i en protest.

‘Når du sælger [denne teknologi] til retshåndhævelse for at afgøre, om den pågældende person er efterspurgt for en forbrydelse, er det en helt anden boldspil,’ sagde Gomez. ‘Nu skaber du en situation, hvor forkert identitet kan føre til et dødbringende samspil mellem retshåndhævelse og den pågældende person.’

Den lovgiver var ikke chokeret over ACLUs konklusioner og bemærkede, at teknikarbejdere ofte tænker mere på, hvordan de får noget til at fungere, og ikke nok om, hvordan værktøjerne, de bygger, vil påvirke minoriteter.

Tekniske virksomheder har reageret på kritikken ved at forbedre de data, der bruges til at træne deres ansigtsgenkendelsessystemer, men ligesom borgerrettighedsaktivister opfordrer de også til mere regeringsregulering for at hjælpe med at beskytte teknologien mod at blive misbrugt. Én ud af to amerikanske voksne er i et ansigtsgenkendelsesnetværk, der bruges af retshåndhævelse, vurderer forskere ved Georgetown Law School.

Amazon skubbede tilbage mod ACLU-studiet og argumenterede for, at organisationen brugte de forkerte indstillinger, da den kørte testen.

‘Maskinlæring er et meget værdifuldt værktøj til at hjælpe de retshåndhævende myndigheder, og selvom de er bekymrede over, at den anvendes korrekt, bør vi ikke smide ovnen, fordi temperaturen kan indstilles forkert og brænde pizzaen,’ Matt Wood, daglig leder for kunstig intelligens hos Amazon Web Services, sagde det i et blogindlæg.

Anerkendelsesproblem

Der er forskellige grunde til, at ansigtsgenkendelsestjenester måske har sværere tid med at identificere minoriteter og kvinder sammenlignet med hvide mænd.

Forretningsmand, der bruger ansigtsgenkendelse udendørs

Offentlige fotos, som teknikere bruger til at træne computere til at genkende ansigter, kunne omfatte flere hvide mennesker end mindretal, sagde Clare Garvie, en seniormedarbejder ved Georgetown Law School's Center for Privacy and Technology. Hvis et firma f.eks. Bruger fotos fra en database med berømtheder, ville det skeve mod hvide mennesker, fordi minoriteter er underrepræsenteret i Hollywood.

Ingeniører hos tech-virksomheder, der består af hovedsageligt hvide mænd, kan muligvis også uforvarende designe ansigtsgenkendelsessystemerne, så de fungerer bedre til at identificere bestemte racer, sagde Garvie. Undersøgelser har vist, at folk har sværere med at genkende ansigter fra et andet løb, og at ‘bias på tværs af race’ kunne spildes til kunstig intelligens. Så er der udfordringer, der håndterer den manglende farvekontrast på mørkere hud, eller med kvinder, der bruger makeup til at skjule rynker eller bære deres hår anderledes, tilføjede hun.

Ansigtsgenkendelsessystemer lavet af Microsoft, IBM og Face ++ havde en sværere tid med at identificere kønet til mørkhudede kvinder som afroamerikanere sammenlignet med hvide mænd, ifølge en undersøgelse foretaget af forskere ved MIT Media Lab . Kønet til 35 procent af mørkhudede kvinder blev forkert identificeret sammenlignet med 1 procent af lyshudede mænd, såsom kaukasiere.

En anden undersøgelse af MIT, der blev frigivet i januar, viste, at Amazons ansigtsgenkendelsesteknologi havde en endnu sværere tid end værktøjer fra Microsoft eller IBM til at identificere kønet til mørkhudede kvinder.

Teknologiske virksomheders rolle

Amazon bestred resultaterne af MIT-undersøgelsen, og en talskvinde pegede på et blogindlæg, der kaldte forskningen ‘vildledende.’ Forskere brugte ‘ansigtsanalyse’, der identificerer egenskaber ved et ansigt som køn eller et smil, ikke ansigtsgenkendelse, der matcher en persons ansigt til lignende ansigter i fotos eller videoer.

‘Ansigtsanalyse og ansigtsgenkendelse er helt forskellige med hensyn til den underliggende teknologi og de data, der bruges til at træne dem,’ sagde Wood i et blogindlæg om MIT-undersøgelsen. ‘Forsøg på at bruge ansigtsanalyse til at måle nøjagtigheden af ansigtsgenkendelse anbefales dårligt, da det ikke er den påtænkte algoritme til dette formål.’

Det er ikke at sige, at tech-giganter ikke tænker på racemæssig bias.

Microsoft, der tilbyder et ansigtsgenkendelsesværktøj gennem Azure Cognitive Services, sagde sidste år, at det reducerede fejlprocenten for at identificere kvinder og mørkere hudmænd med op til 20 gange.

dif-cropped2-300x287

En talsmand for Facebook, der bruger ansigtsgenkendelse til at mærke brugere på fotos, sagde, at virksomheden sørger for, at de data, den bruger, er ‘afbalanceret og afspejler mangfoldigheden i Facebook-befolkningen.’ Google pegede på principper, den offentliggjorde om kunstig intelligens, som inkluderer et forbud mod ‘at skabe eller styrke illoyal bias.’

Med det formål at fremme studiet af retfærdighed og nøjagtighed i ansigtsgenkendelse frigav IBM et datasæt for forskere i januar kaldet Diversity in Faces , der ser på mere end bare hudfarve, alder og køn. Dataene inkluderer 1 million billeder af menneskelige ansigter, annoteret med mærker som ansigtssymmetri, næselængde og pandehøjde.

‘Vi har alle disse subjektive og løse forestillinger om, hvad mangfoldighed betyder,’ sagde John Smith, førende forsker af Diversity in Faces hos IBM. ‘Så hensigten med IBM at oprette dette datasæt var at grave i videnskaben om, hvordan vi virkelig kan måle mangfoldigheden af ansigter.’

Virksomheden, som indsamlede billederne fra fotosiden Flickr, blev kritiseret i denne måned fra nogle fotografer, eksperter og aktivister for ikke at informere folk om, at deres billeder blev brugt til at forbedre ansigtsgenkendelsesteknologien. Som svar sagde IBM, at det tager privatliv alvorligt, og brugere kan fravælge datasættet.

Amazon har sagt, at den bruger træningsdata, der afspejler mangfoldighed, og at de lærer kunderne om bedste praksis. I februar frigav den retningslinjer, hvori det siges, at lovgivere bør tage hensyn til, da de overvejer regulering.

‘Der skal være en åben, ærlig og alvorlig dialog mellem alle involverede parter for at sikre, at teknologien anvendes korrekt og kontinuerligt forbedres,’ sagde Michael Punke, Amasons næstformand for global offentlig politik, i et blogindlæg.

Der kræves klare regler

Selv når teknologivirksomheder stræber efter at forbedre nøjagtigheden af deres ansigtsgenkendelsesteknologi, går bekymringerne over, at værktøjerne kan bruges til at diskriminere indvandrere eller minoriteter, ikke væk. Til dels skyldes det, at folk stadig kæmper med bias i deres personlige liv.

Retshåndhævelse og regeringen kunne stadig bruge teknologien til at identificere politiske demonstranter eller spore indvandrere og sætte deres frihed i fare, argumenterer borgerrettighedsgrupper og eksperter.

2017 Los Angeles Times

‘Et perfekt nøjagtigt system bliver også et utroligt kraftigt overvågningsværktøj,’ sagde Garvie.

Borgerrettighedsgrupper og teknologivirksomheder opfordrer regeringen til at træde ind.

‘Den eneste effektive måde at styre brugen af teknologi af en regering på er, at regeringen proaktivt administrerer denne brug,’ skrev Microsoft-præsident Brad Smith i et blogindlæg i juli. ‘Og hvis der er bekymring for, hvordan en teknologi vil blive anvendt mere bredt i hele samfundet, er den eneste måde at regulere denne brede anvendelse af regeringen til at gøre det.’

ACLU har opfordret lovgivere til midlertidigt at forbyde retshåndhævelse at bruge ansigtsgenkendelsesteknologi. Borgerrettighedsgrupper har også sendt et brev til Amazon med anmodning om, at de holder op med at give reklame for regeringen.

Nogle lovgivere og teknologifirmaer, såsom Amazon , har bedt National Institute of Standards and Technology, som evaluerer ansigtsgenkendelsesteknologier, om at godkende industristandarder og etiske bedste fremgangsmåder til racemæssig bias-test af ansigtsgenkendelse.

For lovgivere som Gomez er arbejdet kun begyndt.

”Jeg er ikke imod Amazon,” sagde han. ‘Men når det kommer til en ny teknologi, der kan have en dybtgående indflydelse på folks liv – deres privatliv, deres borgerlige friheder – rejser det mange spørgsmål.’

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *