Blind brug af AI i sundhedsvæsnet kan skabe usynlig forskelsbehandling

Kunstig intelligens vinder mere og mere indpas i sundhedsvæsnet. MR-scanninger er allerede blevet effektiviseret af AI, og danske sygehuse afprøver nu AI til bl.a. at stille hurtige diagnoser på akutpatienter, bedre kræftdiagnoser og -behandlinger.

Men det er kun begyndelsen. Den 14. August udtalte den danske sundhedsminister, Sophie Løhde, at hun ser en fremtid, hvor AI skal aflaste vores trængte sundhedsvæsen.

På hospitaler og i psykiatrien er en af de opgaver, som AI er velegnet til at hjælpe med at forbedre fordelingen af begrænsede midler ved hjælp af risikoanalyser og rangeringer, der kan sikre, at fx behandlinger gives til de patienter, hvor det batter mest.

I udlandet bruger man allerede AI til at vurdere, hvilke personer, der skal modtage behandling for depression. En udvikling, der kan være på vej til en presset dansk psykiatri.

Nu kalder forskere ved Københavns Universitet dog på eftertænksomhed hos politikerne, så AI ikke medfører mere ulighed eller ligefrem bliver et instrument for kyniske økonomiske kalkuler. Uagtsomhed kan gøre hjælpen til en bjørnetjeneste, påpeger de.

”Der er stort potentiale i kunstig intelligens, men vi skal være varsomme, da en blind indføring af det kan skævvride sundhedsvæsenet på nye måder, som er svære at se, fordi resultaterne ved første øjekast ser rigtige ud,” siger Melanie Ganz fra Datalogisk Institut og Rigshospitalet.

Usynlig forskelsbehandling

I en ny forskningsartikel dokumenterer hun, sammen med sine medforfattere, hvordan skjulte bias sniger sig ind i en algoritme designet til at beregne risiko for depression.

Sammen med kolleger fra DTU udviklede forskerne selv algoritmen, efter samme design som de algoritmer, der allerede er i brug ude i virkelighedens sundhedsvæsner. På baggrund af virkelige depressionsdiagnoser forudsiger algoritmen, hvor stor risiko personer har for at udvikle depression.

”I udlandet bliver det mere og mere udbredt at se på, hvordan man tidligt kan opspore og forhindre depression. I USA bruger private forsikringsselskaber eksempelvis i stigende grad AI til at prioritere ressourcerne, og det når med al sandsynlighed også Danmark i en nær fremtid. Men spørgsmålet er, hvor retfærdigt et grundlag, prioriteringen egentlig sker på,” siger medforfatter Sune Holm fra Institut for Fødevare- og Ressourcevidenskab.

Forskerne har brugt depression som case til at undersøge, hvordan vi kan evaluere de algoritmer, som vi bruger både inden for sundhedsvæsnet og andre steder i samfundet, så vi bliver i stand til at spotte og justere problemer i tide og gøre algoritmerne mere fair inden de tages i brug.

Forskernes egen algoritme var trænet i reelle, historiske sundhedsdata om 6 mio. danskere, hvoraf ca. 200.000 havde en depressionsdiagnose.

”De rigtige algoritmer med den rette træning kan blive kæmpe aktiver for en kommune med begrænsede ressourcer, men vores forskning viser, at hvis maskinlæringen ikke håndteres ordentligt, så kan det skævvride adgangen til behandling, så nogle grupper overses eller sågar holdes ude,” siger Melanie Ganz.

Studiet viser nemlig, at algoritmen har lettere ved at spotte risiko for depression hos visse borgergrupper end hos andre ud fra de variabler, de er trænet i - fx uddannelse, køn, etnicitet og række andre variabler. Algoritmens evne til at identificere risiko for depression varierede således med op til 15 % mellem forskellige grupper.

”Det betyder, at selv en region eller kommune, der i god tro indfører en algoritme til at hjælpe med at fordele fx behandlingstilbud, kan komme til at skævvride den her sundhedsindsats,” siger Melanie Ganz.

Algoritmen kan nemlig være en målbar succes, fordi den tildeler ressourcer til personer, der faktisk har behovet, men samtidigt have skjulte bias, der udelukker eller nedprioriterer visse grupper, uden det er synligt for dem, der forvalter det.

I værste fald kan AI-systemerne blive et instrument for kyniske kalkuler. Valget af bestemte algoritmer ville kunne bruges til at skjule prioriteringer af ressourcer til grupper i samfundet, som man ønsker at understøtte frem for andre.

Redskab til at sikre fair algoritmer

Sune Holm påpeger, at AI også giver nogle grundlæggende etiske dilemmaer.

”Hvis vi begynder at anvende de her systemer, er det vigtigt at afklare, hvem der har ansvaret for prioriteringer af ressourcer og individuelle behandlingsforløb, når de er resultater af algoritmer. Ydermere kan det blive svært for en læge at forklare sin patient, hvorfor en beslutning er taget, hvis algoritmen er uforståelig,” lyder det fra Sune Holm.

Forskningen bidrager teoretisk til et område af maskinlæring, der handler om algoritmers forskelsbehandling på tværs af grupper, men metoderne er også et håndfast redskab til at kvalitetstjekke algoritmers fairness.

”De metoder, som vi har udviklet, kan bruges som en konkret recept til evaluere fairness af algoritmer, inden de tages i brug i fx kommuner og regioner. Vi håber forskningen på den måde kan bidrage til, at der er de rette redskaber på plads, når algoritmerne for alvor gør deres indtog på det her område,” siger Melanie Ganz.

”Både politikere og borgere må være bevidste, ikke blot om fordelene, men også de faldgruber, der er forbundet med brugen af AI. Så man kan være kritisk i stedet for bare uden videre at ”sluge pillen,” lyder det fra Sune Holm.

Han mener, der kan være behov for at sikre, at anvendelsen af en algoritme har en dokumenteret positiv effekt på patienterne inden man investerer i at implementere den. Eksempelvis bør det være klart, hvordan den kan give værdi i den kliniske praksis den skal indgå i.