Unde apare riscul discriminării în proiectarea și implementarea algoritmilor?
Chiar dacă algoritmii de învățare automată sunt instruiți pe seturi de date corecte, există cinci situații care pot duce la proiectarea sau implementarea discriminării în codul programelor.
1. Alegerea unui model greșit
Algoritmii sunt proiectați deseori pe baza altor algoritmi care s-au dovedit a avea succes în contexte aparent similare, dar algoritmii care funcționează bine într-un context pot discrimina în altul. Un algoritm ML care evaluează cu succes riscul relativ al solicitanților de împrumuturi în SUA poate trece cu vederea elemente importante dacă sunt implementate în alte țări.
2. Construirea din greșeală a unui model cu trăsături discriminatorii
Oamenii trebuie să definească pentru algoritmi cum arată „succesul” iar aceasta, de obicei, înseamnă mai degrabă maximizarea profiturilor, precizia sau eficiența, decât maximizarea corectitudinii.
De exemplu, un model ML însărcinat cu prezicerea probabilității de recidivă a infractorilor a avut o rată de eroare similară pentru inculpații negri și albi, dar era mai probabil să greșească prezicând în mod eronat că inculpații negri vor recidiva și că inculpații albi nu o vor face.
Prejudecățile pot apărea la specificarea de către programatori a importanței valorii unei variabile din codul ML. De exemplu, un algoritm pentru evaluarea solicitanților unui împrumut poate lua în considerare atât nivelurile de venit, cât și comportamentul în cazul rambursărilor anterioare. O decizie a factorului uman de a acorda mai multă importanță venitului solicitanților poate discrimina pe nedrept membrii grupurilor care tind să aibă venituri mai mici, cum ar fi femeile.
3. Absența supravegherii și implicării umane
Pe măsură ce învățarea automată devine mai evoluată, aceasta implică mai puțină supraveghere umană. Cu toate acestea, existența unei persoane om funcționarea programului este necesară pentru a observa dacă se ignoră, în mod neașteptat, factori importanți.
De exemplu, Universitatea Pittsburgh Medical Center a folosit ML pentru a prezice care pacienți cu pneumonie au un risc scăzut de a dezvolta complicații și ar putea fi trimiși acasă. Modelul ML a recomandat ca medicii să trimită acasă pacienți care suferă de astm, având în vedere în datele de test a reieșit că foarte puține au dezvoltat complicații; medicii, totuși, știau că acest lucru se întâmplă doar pentru că au plasat în mod obișnuit astfel de pacienți în terapie intensivă ca măsură de precauție.
Pentru că este imposibil de definit cu exactitate de la început când se poate produce discriminarea, în orice context dat, este importantă implicarea și păstrarea factorului uman în toate sistemele de învățare automată.
4. Imprevizibilitatea sistemelor ML
Atunci când o persoană ia o decizie, de exemplu dacă angajează sau nu pe cineva, o putem întreba de ce a decis într-un fel sau altul. Sistemele ML nu au această transparență. Uneori acest lucru nu contează – este posibil să nu fie nevoie să înțelegem modul în care ML din spatele Google Maps determină ruta propusă.
Acest element este imperativ atunci când deciziile au impact cu privire la drepturile omului. De exemplu, atunci când un sistem ML ia decizii cu privire la eliberarea condiționată, identificarea și remedierea unei eventuale discriminări depinde de capacitatea de a înțelege măsurile luate pentru a lua deciziile.
5. Discriminarea intenționată și neverificată
În unele cazuri, părtinirea este integrată în mod intenționat în algoritmi. De exemplu, dacă angajatorii doresc să evite angajarea femeilor care ar putea rămâne însărcinate, ar putea folosi sisteme de ML pentru a identifica și filtra acest subgrup de femei.
În absența unei reglementări adecvate, sarcina revine conducerii companiei, proiectanților, cercetătorilor de date, inginerilor și altor persoane implicate în crearea sistemelor ML pentru a le construi în moduri care prevăd, previn și monitorizează discriminarea de orice fel.
Exemplu ipotetic: sisteme de asigurări de sănătate excluzive în Mexic
Mexicul se numără printre țările în care, pentru majoritatea, asistența medicală de calitate este disponibilă numai prin asigurări private. Cel puțin două companii multinaționale de asigurări private care operează în Mexic folosesc acum ML pentru a-și maximiza eficiența și profitabilitatea, cu implicații potențiale pentru dreptul omului la acces echitabil la asistență medicală adecvată. Imaginați-vă un scenariu în care companiile de asigurări folosesc ML pentru extragerea datelor, cum ar fi istoricul cumpărăturilor, pentru a recunoaște tiparele asociate cu clienții cu risc ridicat pentru a le percepe taxe mai mari: cei mai săraci și cei mai bolnavi ar fi cel mai puțin în măsură să își permită accesul la serviciile de sănătate.
Exemplu ipotetic: China și scorurile de credit social
Chiar dacă transparența condițiilor de viață din China poate sta sub semnul întrebării, unele rapoartele sugerează că China creează un model pentru a-și categoriza cetățenii prin analizarea unei game largi de date provenite din înregistrări bancare, fiscale, profesionale și de performanță, smartphone-uri, comerț electronic și social media. Se speculează că scopul este „de a folosi datele pentru a impune o autoritate morală așa cum a fost concepută de Partidul Comunist.”. Rămâne deschisă întrebarea ce se va întâmpla dacă guvernele vor acționa pe baza unor scoruri calculate folosind date incomplete, părtinitoare din punct de vede istoric și folosind modele care nu au fost construite pentru „imparțialitate”.
