De onderzoeker die machines zou leren eerlijk te zijn

Af en toe kan een persoon een abstract concept nemen dat schijnbaar te vaag is voor formele studie en een elegante formele definitie geven. Claude Shannon deed het met informatie, en Andrey Kolmogorov deed het mee willekeurigheid. De afgelopen jaren hebben onderzoekers hetzelfde geprobeerd voor het concept van eerlijkheid in machine learning. Helaas is dit lastiger geweest. Het concept is niet alleen moeilijker te definiëren, maar het is ook onmogelijk dat een enkele definitie voldoet aan alle wenselijke rechtvaardigheidsstatistieken. Arvind Narayanan, een computerwetenschapper aan Princeton University, heeft een belangrijke rol gespeeld bij het contextualiseren van verschillende opvattingen en het helpen vestigen van dit nieuwe veld.

Zijn carrière omvatte alle abstractieniveaus, van theorie tot beleid, maar de reis die uiteindelijk leidde tot zijn huidige werk begon in 2006. Dat jaar sponsorde Netflix een wedstrijd die $ 1 miljoen zou toekennen aan degene die de nauwkeurigheid van hun aanbevelingssysteem verbeterde door 10%. Netflix heeft een zogenaamd anonieme dataset van gebruikers en hun beoordelingen verstrekt, waarbij persoonlijk identificeerbare informatie is verwijderd. Maar Narayanan toonde aan dat je met een geavanceerde statistische techniek maar een paar datapunten nodig hebt om de identiteit van een 'anonieme' gebruiker in de dataset te onthullen.

Sindsdien heeft Narayanan zich gericht op andere gebieden waar theorie en praktijk elkaar ontmoeten. Door het Princeton Web Transparantie en Accountability Project, ontdekte zijn team heimelijke manieren waarop websites gebruikers volgen en gevoelige gegevens extraheren. Zijn team ontdekte dat een groep zoals de National Security Agency webbrowsegegevens (met name cookies geplaatst door derden) niet alleen kon gebruiken om de echte identiteit van de gebruiker te achterhalen, maar ook om 62% tot 73% van hun browsegeschiedenis te reconstrueren. . Ze lieten zien dat - om op de te riffen beroemd New Yorker spotprent - op internet weten websites nu dat je een hond bent.

In de afgelopen jaren heeft Narayanan zich specifiek gericht op machine learning — een toepassing van kunstmatige intelligentie die machines de mogelijkheid geeft om van gegevens te leren. Hoewel hij vorderingen op het gebied van AI toejuicht, wijst hij erop hoe dergelijke systemen zelfs met goede bedoelingen kunnen mislukken, en hoe deze overigens nuttige technologieën instrumenten kunnen worden om discriminatie te rechtvaardigen. In dit licht vormen de ogenschijnlijk niet-verbonden stippen die het onderzoekstraject van Narayanan hebben bepaald een soort constellatie.

Quanta sprak met Narayanan over zijn werk op het gebied van de-anonimisering, het belang van statistische intuïtie en de vele valkuilen van AI-systemen. Het interview is voor de duidelijkheid ingekort en bewerkt.

Heb je altijd al wis- en natuurwetenschappelijk onderzoek willen doen?

Ik ben opgegroeid met een grote interesse in beide, maar vooral in wiskunde. Ik was goed in het oplossen van puzzels en had zelfs enig succes op de Internationale Wiskunde Olympiade. Maar ik had een enorme misvatting over het verschil tussen het oplossen van puzzels en onderzoekswiskunde.

En zo vroeg richtte ik mijn onderzoek op cryptografie, vooral theoretische cryptografie, omdat ik nog steeds in de waan verkeerde dat ik erg goed was in wiskunde. En dan is de rest van mijn carrière een reis geweest van het besef dat dat eigenlijk helemaal niet mijn kracht is.

Dat moet als een goede achtergrond hebben gediend voor je de-anonimiseringswerk.

Je hebt gelijk. Wat het de-anonimiseringsonderzoek mogelijk maakte, is de vaardigheid die ik statistische intuïtie noem. Het is eigenlijk geen formele wiskundige kennis. Het is een intuïtie in je hoofd kunnen hebben zoals: "Als ik deze complexe dataset neem en deze transformatie erop toepas, wat is dan een plausibele uitkomst?"

Intuïtie kan vaak verkeerd zijn, en dat is oké. Maar het is belangrijk om intuïtie te hebben, omdat het je kan leiden naar paden die vruchtbaar kunnen zijn.

Hoe heeft statistische intuïtie geholpen bij je werk aan de Netflix-gegevens?

Ik had geprobeerd een anonimiseringsschema te bedenken voor hoogdimensionale gegevens. Het mislukte volledig, maar tijdens het falen had ik de intuïtie ontwikkeld dat hoogdimensionale gegevens niet effectief kunnen worden geanonimiseerd. Natuurlijk beweerde Netflix, met hun concurrentie, precies dat te hebben gedaan.

Ik had mijn natuurlijke scepsis over de marketinguitingen van bedrijven, dus ik was gemotiveerd om te bewijzen dat ze ongelijk hadden. Mijn adviseur, Vitaly Shmatikov, en ik hebben er een paar intense weken aan gewerkt. Toen we ons eenmaal realiseerden dat het werk echt impact had, begon ik meer te doen.

Wat was de algehele impact? Heb je iets gehoord van Netflix en andere bedrijven waarvan de gegevens niet zo anoniem bleken te zijn?

Welnu, een positief effect is dat het de wetenschap van differentiële privacy. Maar in termen van hoe bedrijven reageerden, zijn er een paar verschillende reacties geweest. In veel gevallen doen bedrijven die anders datasets aan het publiek zouden hebben vrijgegeven, dat nu niet meer - ze gebruiken privacy als een manier om transparantie-inspanningen te bestrijden.

Facebook staat erom bekend dit te doen. Wanneer onderzoekers naar Facebook gaan en zeggen: "We hebben toegang tot sommige van deze gegevens nodig om te bestuderen hoe informatie zich op het platform verspreidt", kan Facebook nu zeggen: "Nee, dat kunnen we u niet geven. Dat brengt de privacy van onze gebruikers in gevaar.”

Je schreef ooit een papier met het argument dat de term "persoonlijk identificeerbare informatie" misleidend kan zijn. Hoe komt het?

Ik denk dat er verwarring is onder beleidsmakers die voortkomt uit twee verschillende manieren waarop de term wordt gebruikt. Een daarvan is informatie over u die zeer gevoelig is, zoals uw burgerservicenummer. Een andere betekenis is informatie die kan worden geïndexeerd in sommige datasets en daardoor kan worden gebruikt om meer informatie over u te vinden.

Deze twee hebben verschillende betekenissen. Ik heb geen problemen met het concept van PII in de eerste zin. Bepaalde stukjes informatie over mensen zijn erg gevoelig en we moeten er zorgvuldiger mee omgaan. Maar hoewel uw e-mailadres voor de meeste mensen niet noodzakelijkerwijs erg gevoelig is, is het nog steeds een unieke identificatie die kan worden gebruikt om u te vinden in andere datasets. Zolang de combinatie van attributen over een persoon beschikbaar is voor iemand anders in de wereld, is dat alles wat u nodig heeft voor de-anonimisering.

Hoe ben je er uiteindelijk toe gekomen om eerlijkheid te bestuderen?

In 2017 heb ik een cursus eerlijkheid en machine learning gegeven. Dat gaf me een goed beeld van de openstaande problemen in het veld. En tegelijkertijd hield ik een lezing genaamd "21 Eerlijkheidsdefinities en hun politiek.” Ik legde uit dat de wildgroei aan technische definities niet om technische redenen kwam, maar omdat er oprechte morele vragen aan de basis van dit alles staan. Er is geen enkele manier om één enkel statistisch criterium te hebben dat alle normatieve desiderata omvat - alle dingen die je wilt. Het gesprek werd goed ontvangen, dus die twee samen overtuigden me ervan dat ik me in dit onderwerp moest gaan verdiepen.

Jij ook hield een praatje op het detecteren van AI-slangenolie, die ook goed werd ontvangen. Hoe verhoudt dat zich tot eerlijkheid in machine learning?

Dus de motivatie hiervoor was dat er duidelijk veel echte technische innovatie plaatsvindt in AI, zoals het tekst-naar-beeld-programma DALL E 2 of het schaakprogramma alfanul. Het is echt verbazingwekkend dat deze vooruitgang zo snel gaat. Veel van die innovatie verdient het om gevierd te worden.

Het probleem ontstaat wanneer we deze zeer losse en brede overkoepelende term "AI" gebruiken voor dat soort dingen, maar ook voor meer beladen toepassingen, zoals statistische methoden voor het voorspellen van criminele risico's. In die context is het type technologie dat erbij betrokken is heel anders. Dit zijn twee heel verschillende soorten toepassingen, en de potentiële voor- en nadelen zijn ook heel verschillend. Er is bijna geen enkel verband tussen beide, dus het gebruik van dezelfde term voor beide is volkomen verwarrend.

Mensen worden misleid door te denken dat al deze vooruitgang die ze zien met het genereren van afbeeldingen, zich in feite zou vertalen in vooruitgang in de richting van sociale taken zoals het voorspellen van crimineel risico of het voorspellen welke kinderen zullen stoppen met school. Maar dat is helemaal niet het geval. Allereerst kunnen we slechts iets beter dan willekeurige kans voorspellen wie er voor een misdrijf kan worden gearresteerd. En die nauwkeurigheid wordt bereikt met heel eenvoudige classificaties. Het wordt niet beter in de loop van de tijd, en het wordt niet beter naarmate we meer datasets verzamelen. Al deze observaties staan ​​dus in contrast met bijvoorbeeld het gebruik van deep learning voor beeldgeneratie.

Hoe zou u verschillende soorten machine learning-problemen onderscheiden?

Dit is geen uitputtende lijst, maar er zijn drie algemene categorieën. De eerste categorie is perceptie, die taken omvat zoals het beschrijven van de inhoud van een afbeelding. De tweede categorie is wat ik 'automatiseren van oordelen' noem, bijvoorbeeld wanneer Facebook algoritmen wil gebruiken om te bepalen welke spraak te giftig is om op het platform te blijven. En de derde is het voorspellen van toekomstige sociale resultaten onder mensen - of iemand zou worden gearresteerd voor een misdrijf, of dat een kind van school gaat.

In alle drie de gevallen zijn de haalbare nauwkeurigheden heel verschillend, zijn de potentiële gevaren van onnauwkeurige AI heel verschillend en zijn de ethische implicaties die volgen heel verschillend.

Gezichtsherkenning is bijvoorbeeld in mijn classificatie een perceptieprobleem. Veel mensen zeggen dat gezichtsherkenning onnauwkeurig is, en soms hebben ze gelijk. Maar ik denk niet dat dat komt omdat er fundamentele grenzen zijn aan de nauwkeurigheid van gezichtsherkenning. Die technologie is verbeterd en zal nog beter worden. Dat is precies waarom we ons er vanuit ethisch perspectief zorgen over moeten maken - wanneer je het in handen geeft van de politie, die misschien onverklaarbaar is, of staten die niet transparant zijn over het gebruik ervan.

Wat maakt sociale voorspellingsproblemen zoveel moeilijker dan perceptieproblemen?

Perceptieproblemen hebben een aantal kenmerken. Ten eerste bestaat er geen twijfel over of er een kat op een afbeelding staat. Dus je hebt de grondwaarheid. Ten tweede heb je in wezen onbeperkte trainingsgegevens omdat je alle afbeeldingen op internet kunt gebruiken. En als u Google of Facebook bent, kunt u alle afbeeldingen gebruiken die mensen naar uw app hebben geüpload. Dus die twee factoren - het gebrek aan ambiguïteit en beschikbaarheid van gegevens - zorgen ervoor dat classifiers heel goed presteren.

Dat is iets anders dan voorspellingsproblemen, die deze twee kenmerken niet hebben. Er is nog een derde verschil dat ik moet noemen, wat in zekere zin het belangrijkste is: de morele gevolgen van het in praktijk brengen van deze voorspellingsmodellen zijn heel anders dan het gebruik van een vertaaltool op je telefoon of een tool voor het labelen van afbeeldingen.

Maar dat is niet dezelfde ernst als de tool die wordt gebruikt om te bepalen of iemand bijvoorbeeld in voorlopige hechtenis moet worden genomen. Die hebben gevolgen voor de vrijheid van mensen. De ironie is dus dat het gebied waar AI het slechtst werkt, in de loop van de tijd niet echt is verbeterd en in de toekomst waarschijnlijk niet zal verbeteren, het gebied is dat al deze ongelooflijk belangrijke gevolgen heeft.

Veel van uw werk bestond uit gesprekken met experts buiten uw vakgebied. Hoe is het om op deze manier met anderen samen te werken?

Interdisciplinaire samenwerkingen behoren tot de leukste samenwerkingen. Ik denk dat zo'n samenwerking zijn frustrerende momenten zal hebben omdat mensen niet dezelfde taal spreken.

Mijn recept daarvoor is: cultuur, dan taal, dan inhoud. Als je hun cultuur niet begrijpt, zoals wat voor studiebeurs ze waarderen, wordt het heel moeilijk. Wat voor de één waardevol is, kan voor de ander irrelevant lijken. Dus de culturele aspecten moeten eerst worden genavigeerd. Dan kun je beginnen met het vaststellen van een gemeenschappelijke taal en woordenschat en uiteindelijk tot de inhoud van de samenwerking komen.

Hoe optimistisch bent u over de vraag of we nieuwe technologie veilig en verstandig kunnen toepassen?

Een deel van het probleem is een kennislacune. Besluitvormers, overheidsinstanties, bedrijven en andere mensen die deze AI-tools kopen, erkennen mogelijk niet de serieuze grenzen aan voorspellende nauwkeurigheid.

Maar uiteindelijk denk ik dat het een politiek probleem is. Sommige mensen willen kosten besparen, dus willen ze een geautomatiseerde tool die banen elimineert. Er is dus een zeer sterke druk om te geloven wat deze leveranciers ook zeggen over hun voorspellende tools.

Dat zijn twee verschillende problemen. Mensen zoals ik kunnen misschien helpen om de informatiekloof te dichten. Maar het aanpakken van het politieke probleem vereist activisme. Het vereist dat we profiteren van het democratische proces. Het is goed om te zien dat er veel mensen zijn die dat doen. En op de lange termijn denk ik dat we ons kunnen verzetten tegen de schadelijke en beledigende toepassingen van AI. Ik denk niet dat het in een oogwenk zal veranderen, maar door een lang, uitgesponnen, langdurig proces van activisme dat al meer dan tien jaar aan de gang is. Ik weet zeker dat het nog lang zal duren.