Stel je een wereld voor waarin kunstmatig intelligente algoritmen beslissingen nemen die je dagelijkse leven beïnvloeden. Stel je nu voor dat ze bevooroordeeld zijn.
Dit is de wereld waarin we al leven, zegt data scientist, Harvard PhD en auteur Cathy O'Neil. (Lees hier deel één van onze discussie met Dr. O'Neil). We gingen zitten met de genomineerde National Book Award om erachter te komen wat we kunnen doen aan vooroordelen in het tijdperk van big data. CT: Is AI bevooroordeeld?
CO: Elk algoritme dat niet expliciet eerlijk is gemaakt, moet als vooroordeel worden beschouwd. Omdat we als mensen bevooroordeeld zijn. Als we dat erkennen en we maken deze algoritmen met onze waarden en onze gegevens, dan mogen we niet aannemen dat er iets magisch is gebeurd om de zaken eerlijk te maken. Er is geen magie.
CT: Waar halen algoritmen hun gegevens vandaan?
CO: Het hangt af van het algoritme. Soms sociale media, voor zaken als politieke markttargeting of reclame of for-profit hogescholen en roofzuchtige leningen - maar veel van de gegevens worden niet verzameld op sociale media of zelfs online.
Gegevensverzameling wordt steeds meer gekoppeld aan het echte leven, zoals een baan vinden, werken op je werk, naar de universiteit gaan of naar de gevangenis gaan. Die dingen zijn niet dingen die we kunnen omzeilen met privacywetten. Het zijn machtsproblemen, waar de mensen die het doelwit zijn van de algoritmen geen macht hebben, en de mensen die de informatie verzamelen en de algoritmen bouwen en implementeren, hebben alle macht. Je hebt geen privacyrechten als je een criminele beklaagde bent, je hebt geen privacyrechten op je werk en je hebt niet veel privacyrechten als je solliciteert omdat Als u de vragen die uw toekomstige werkgever u heeft gesteld niet beantwoordt, krijgt u waarschijnlijk de baan niet.
We moeten minder nadenken over privacy en meer over macht als het gaat om algoritmen en de schade [die ze kunnen veroorzaken].
CT: Wat kunnen we doen om het beter te maken?
CO: We kunnen erkennen dat deze algoritmen niet inherent perfect zijn en testen ze op hun gebreken. We moeten doorlopende audits en controles hebben - vooral voor belangrijke beslissingen zoals het aannemen, strafrechtelijk veroordelen of beoordelen van mensen op hun werk - om ervoor te zorgen dat de algoritmen handelen zoals we willen, niet op een of andere discriminerende of oneerlijke manier.
Ailsa Johnson / © Cultuurreis
CT: Wat zijn de beste en slechtste scenario's voor de datagedreven toekomst?
CO: Het worstcasescenario is wat we nu hebben - dat we allemaal blindelings verwachten dat algoritmen perfect zijn, ook al zouden we nu beter moeten weten. En we propageren onrechtvaardigheden en onrechtvaardigheden uit het verleden. En we blijven de fouten van deze algoritmen negeren.
In het beste geval erkennen we dat deze algoritmen niet inherent beter zijn dan mensen. We beslissen wat we als mens willen, waar we naar streven. Hoe we willen dat de samenleving eruit ziet, en we leren die waarden. Als we dat met succes doen, kunnen deze algoritmen beter zijn dan mensen.
CT: Welke rol kunnen gewone mensen spelen?
CO: De belangrijkste rol die een persoon kan spelen, is om niet impliciet een algoritme te vertrouwen. Om een enorme hoeveelheid scepsis te hebben. Als u wordt geëvalueerd op een algoritme, vraag dan: 'Hoe weet ik of het eerlijk is, hoe weet ik of het nuttig is, hoe weet ik of het juist is? Wat is het foutenpercentage? Voor wie mislukt dit algoritme? Mislukt het vrouwen of minderheden? ' Stel dat soort vragen.
Het tweede ding, afgezien van scepsis, is dat als je denkt dat een algoritme oneerlijk is voor jou of andere mensen, het organiseren met die andere mensen. Een recent voorbeeld zijn leraren. De statistische modellen over leraren met toegevoegde waarde zijn verschrikkelijke, bijna willekeurige getallengeneratoren. Maar ze werden gebruikt om te beslissen welke leraren een vaste aanstelling zouden krijgen en welke leraren in de hele VS zouden moeten worden ontslagen.
Mijn suggestie is dat ze ervoor zorgen dat hun vakbond terugdringt. En dit gebeurde op sommige plaatsen. Maar het is verrassend hoe weinig weerstand er was vanwege het wiskundige karakter van het scoresysteem.
CT: Hoe ben je in 'big data' terechtgekomen?
CO: Ik werkte aan Wall Street en was van binnenuit getuige van de financiële crisis. Ik walgde van de manier waarop wiskunde werd gebruikt om mensen te misbruiken of mensen voor de gek te houden. Ik zag het soort schade dat zou kunnen ontstaan door wiskundige leugens, wat ik 'de bewapening van wiskunde' noem.
Ik besloot er afstand van te doen, dus ik sloot me aan bij Occupy Wall Street en begon te werken als data scientist. Ik realiseerde me langzaam dat we een gebrekkige en misleidende hype zagen rond misleidende data-algoritmen die ook buiten Wall Street plaatsvonden, en dat dat tot veel schade zou leiden. Het verschil was dat hoewel mensen over de hele wereld de financiële crisis opmerkten, ik niet dacht dat mensen de mislukkingen van deze big data-algoritmen zouden opmerken, omdat ze meestal op individueel niveau plaatsvinden.
Lees hier deel één van onze discussie met Dr. O'Neil. Het boek van Dr. Cathy O'Neil, The Weapons of Math Destruction: How Big Data verhoogt de ongelijkheid en bedreigt de democratie, is nu beschikbaar.
