Kunstig intelligens: Domstole anvender algoritmer til bedømmelse af anklagede

Algoritmer anvendes til at vurdere de anklagede ved kriminalsager i USA. Systemerne er også på vej frem i Europa. Men hvem kontrollerer computerkoden?

Kriminalpolitiet i London har taget kunstig intelligens i brug i kampen mod bandekriminalitet.

Baseret på analyser af et stort antal data om kendte bandemedlemmers færden, aktiviteter og kontakter, kan systemet give politiet vigtige informationer om, hvor ressourcerne til efterforskning kan anvendes med størst udbytte.

Systemet er blot et af mange eksempler på hvordan Big Data og kunstig intelligens i dag anvendes rutinemæssigt til at understøtte politiets og domstolenes arbejde.

Udviklingen af avancerede løsninger fra Skyen sker i et tæt samarbejde mellem virksomheder i den private sektor, universiteter og de offentlige myndigheder.

De private virksomheder og universiteterne leverer metoderne og computerkoden, mens den offentlige sektor leverer data og står som aftager og betaler for løsningerne.

En af målsætningerne for løsningerne er, at de skal sikre en upartisk og ensartet behandling af anklagede og fængslede personer.

Når en ung mand står foran dommeren i en sag om narkobesiddelse, skal udfaldet af dommen ikke være bestemt af dommerens humør eller af den anklagedes hudfarve.

Tilsvarende skal anmodninger om prøveløsladelse ske på et objektivt grundlag, og ikke på basis af bedømmelseskomiteens eventuelle fordomme.

De systemer, der anvendes i disse sammenhænge, benytter kunstig intelligens til at beregne “farligheden” af en anklaget person, og til at vurdere sandsynligheden for, at en fængslet person vil begå ny kriminalitet efter en prøveløsladelse.

Systemerne anvendes i vid udstrækning i USA’s retsvæsen, og har på det seneste været udsat for alvorlig kritik for at favorisere hvide på bekostning af sorte.

En nærmere analyse af flere tusinde sager har vist, at sorte har væsentligt større risiko end hvide for at få en høj score på farlighed og på risiko for ny kriminalitet.

Denne tendens i systemerne gør sig gældende efter, at der er taget højde for den almindelige fordeling af sorte og hvide lovovertrædere.

En af de anklagede rejste på denne baggrund en sag mod myndighederne med påstand om, at han blev bedømt på et urimeligt statistisk grundlag, som han ikke havde nogen mulighed for at forsvare sig overfor.

Sagen er for nylig blevet afgjort af højesteret i staten Wisconsin.

Klagen blev afvist, men sagen førte til, at retten fastlagde regler om, at det fremover skal præciseres over for dommere og andre i retsvæsenet, at de vurderinger, der kommer fra systemerne, kun må ses som vejledende og aldrig kan stå alene i en sag.

Dommen fra Wisconsin har været med til at forstærke en debat om de etiske rammer for at anvende denne type systemer i sager, der kan have ødelæggende konsekvenser for en anklaget person.

Der er to hovedproblemer.

For det første er der spørgsmålet om kvaliteten af computerkoden set i lyset af, at det stadig er en forholdsvis ny teknologi.

For det andet er der blevet rejst kritik af, at computerkoden er hemmelig, fordi den – ligesom det meste software – tilhører det firma, der har udviklet koden.

Når koden er hemmelig, har de anklagedes forsvarer ingen mulighed for at udfordre de algoritmer, der ligger til grund for vurderingen af den anklagede.

Heller ikke domstolen har mulighed for at kontrollere algoritmerne.

Det er dette aspekt af hemmeligholdelse og kryptiske computerprogrammer i Skyen, der har fået kritikere til at bringe Philip K Dick’s novelle fra 1956, “The Minority Report”, på bane.

I novellen er politiets anvendelse af kunstig intelligens (der er muteret med menneskelig intuition) nået til et punkt, hvor mordere kan anholdes og fængsles allerede inden de begår et mord. Men i novellens mørke univers har ingen mennesker længere nogen samlet viden om, hvordan systemet fungerer, og derfor er der heller ingen, der kan kontrollere og verificere systemets afgørelser.

Aspekterne omkring hemmeligholdelse af den computerkode, der i dag anvendes i det amerikanske retsvæsen, har ført til et krav om et politisk indgreb.

I den forbindelse er der blevet peget på den lovgivning, der for nylig er vedtaget i EU, og som kommer til at gælde senest fra 2020.

EU-reglerne fastlægger, at en person har ret til at få oplysninger om de persondata, der indgår i en computerbaseret personvurdering – for eksempel ved en domstol – samt ret til indsigt i metoden bag vurderingen.

Rettighederne er dog begrænset til forhold, hvor computerens vurdering anvendes direkte og uden en supplerende vurdering foretaget af mennesker.

Flertallet af systemer inden for dette område ligger i kategorien “beslutningsstøtte”. Mennesker er derfor per definition involveret, og dermed falder systemerne uden for EU-reglernes anvendelsesområde.

Kampagnen for et politisk indgreb i USA, der kan sikre de anklagede indsigt i både datagrundlaget og algoritmerne, fremhæver den eksisterende amerikanske lovgivning fra 1970, der giver ansøgere om lån i en bank ret til at få indsigt i og kræve eventuelle rettelser i det datagrundlag, som banken anvender for vurderingen af låneansøgningen.

Denne lovgivning blev indført på initiativ af præsident, Richard M. Nixon, der derfor nu – noget overraskende – kan fremføres som en foregangsmand i beskyttelsen af borgernes rettigheder over for både virksomheder og myndigheder.

08082016-02
Præsident, Richard M. Nixon

Foto: “Precogs”-mutanter fra filmen, “Minority Report”

Henvisninger og baggrund: 08.08.2016