Nyt studie peger på svaghederne i AI

Maskiner fortolker skanningsbilleder bedre end lægerne, hjælper os med at forstå fremmede sprog, og snart kan de formentlig styre biler mere sikkert end vi selv. Men selv de bedste algoritmer har svagheder. En forskningsgruppe på Datalogisk Institut, Københavns Universitet, afdækker dem.

Tænk på en selvkørende bil, der aflæser et vejskilt. Hvis nogen har sat et klistermærke på skiltet, vil det ikke forhindre et menneske i at forstå skiltet. Men en maskine kan let blive hylet ud af den, fordi skiltet nu er anderledes end de, som den er blevet trænet til at afkode.

”Vi vil gerne have, at algoritmerne er stabile. Det vil sige, at selvom input ændrer sig en lille smule, skal resultatet gerne være næsten det samme. I virkelighedens verden forekommer der alle mulige former for støj, som mennesker er vante til at lukke ude, men som kan forvirre maskinerne,” siger professor Amir Yehudayoff, der leder forskningsgruppen.

Et sprog til at tale om svaghederne

Som de første i verden har gruppen sammen med udenlandske forskere påvist matematisk, at bortset fra simple problemer er det ikke muligt at lave algoritmer, som altid er stabile, til brug for Machine Learning. Den videnskabelige artikel med beviset blev optaget på Foundations of Computer Science (FOCS), en af verdens førende konferencer for teoretisk datalogi.

”Jeg vil gerne understrege, at vi ikke har arbejdet direkte med selvkørende biler, men dette virker umiddelbart som en problemstilling, der er for kompleks til, at algoritmerne altid kan være stabile,” siger Amir Yehudayoff, og tilføjer, at den konstatering ikke nødvendigvis har store konsekvenser for udviklingen af selvkørende biler:

”Hvis algoritmen kun fejler under nogle få, meget specielle forhold, vil det måske være til at leve med. Det er straks værre, hvis der er en stor samling af forhold, hvor der sker fejl.”

Desværre kan den videnskabelige artikel ikke bruges af industrien til at finde fejl i algoritmerne. Det har dog heller ikke været meningen, forklarer professoren:

”Vi skaber et sprog, som kan bruges til at tale om svaghederne i algoritmer til Machine Learning. Det kan måske føre til udvikling af nogle retningslinjer for, hvordan man skal teste sine algoritmer. Og på langt sigt kan det måske også betyde, at der vil blive udviklet bedre og mere stabile algoritmer.”

Har erstattet intuition med matematik

En mulig anvendelse kan være til test af algoritmer, der skal beskytte retten til privatliv.

”En virksomhed hævder måske, at den har udviklet en fuldstændig sikker måde at beskytte brugernes digitale privatliv. For det første kan vores metodik muligvis påvise, at metoden ikke er fuldstændig sikker, og for det andet kan den finde svagheder,” siger Amir Yehudayoff.

Artiklens bidrag er dog først og fremmest teoretisk, og det er især det matematiske indhold, som er nyskabende, tilføjer han:

”Intuitivt kan vi godt forstå, at en stabil algoritme er en, der stadig virker nogenlunde som før, når der bliver tilsat lidt støj. Ligesom med vejskiltet, der har fået sat et klistermærke på. Men som teoretiske dataloger har vi brug for en klar definition, så vi kan beskrive problemet i matematisk sprog. Præcis hvor meget støj skal algoritmen kunne modstå, og hvor tæt skal algoritmen være på at levere det samme resultat som uden støj, for at vi betragter den som stabil? Det er det, som vi har givet et bud på.”

Vigtigt at huske maskinernes begrænsninger

Den videnskabelige artikel har skabt stor interesse blandt fagfællerne inden for teoretisk datalogi, men ikke fra tech-industrien. Ikke endnu da.

”Der er altid en vis forsinkelse fra ny teoretisk erkendelse til interesse i forbindelse med bestemte anvendelser,” siger Amir Yehudayoff og tilføjer med et smil:

”Og nogle teoretiske erkendelser ender simpelthen med at gå i glemmebogen.”

Det gælder dog ikke i dette tilfælde forudser han:

”Machine Learning vinder stadig mere frem, og det er vigtigt at huske, selv de løsninger, der har stor succes i den virkelige verden, stadig har deres begrænsninger. Nogle gange virker maskinerne næsten som om, at de er i stand til at tænke, men de har trods alt ikke menneskelig intelligens. Det er vigtigt at være bevidst om.”

Den videnskabelige artikel ”Replicability and Stability in Learning”, er offentliggjort på konferencen Foundations of Computer Science (FOCS), 2023.