AI's stigende CO2-aftryk er en udfordring. Her er, hvad vi kan gøre ved det
Der er mange fordele ved at anvende AI, men det er ikke uden omkostninger for miljøet. Ifølge adjunkt Raghavendra Selvan kan vi ikke adskille teknologiens nytteværdi fra dens miljømæssige omkostninger. Heldigvis er det muligt at justere AI-metoders ressourceforbrug og gøre dem mere klimavenlige.
I de seneste år har vi set mange eksempler på, hvordan AI-teknologi har gjort nye opdagelser mulige og optimeret resultater og arbejdsgange inden for forskellige områder, fra overvågning af natur og klima til risikovurdering af brystkræft.
Men at udvikle og anvende AI har en pris. Det anslås, at CO2-aftrykket fra informations- og kommunikationsteknologi allerede er mindst lige så stort som CO2-aftrykket fra verdens samlede flytrafik. Og med fuld fart på digitaliseringen, heriblandt flere AI-løsninger, forventes det, at udledningen af CO2 vil stige betydeligt i de kommende år.
Ifølge Tenure-Track adjunkt Raghavendra Selvan er vi nødt til at blive bevidste om de miljømæssige omkostninger der er ved at anvende AI. Ikke fordi vi skal begrænse brugen af smarte AI-løsninger, men fordi vi skal finde måder at gøre dem grønnere og samtidig høste fordelene ved AI.
- Vi taler ofte om, hvordan vi kan bruge AI-metoder til at fremme FN's mål for bæredygtig udvikling, men vi taler sjældent om det faktum, at AI i sig selv har et stort, underliggende ressourceforbrug. Selvom en teknologi bruges til at fremme den grønne omstilling, bør det ikke forhindre os i at spørge, om teknologien i sig selv er grøn eller ej, siger Raghavendra Selvan.
Høj energipris = højt CO2-aftryk
Adjunkt Raghavendra Selvan forsker i, hvordan det konkret er muligt at sænke CO2-aftrykket fra AI, og hvordan vi kan skabe mere bevidsthed om AI’s omkostninger, hvilket han kalder klimabevidst AI.
- På mikroniveau kan vi gøre algoritmerne hurtigere og mere effektive og dermed reducere deres ressourceforbrug. For eksempel giver det mening at se på, hvordan vi kan reducere antallet af bits, der bruges til at udføre beregningerne, og hvordan vi kan undgå overflødige beregninger, siger Raghavendra Selvan og fortsætter:
- Vi bør også løbende vurdere, om vi har brug for alle de data, vi har gemt. Begrebet dark data henviser til de data, der genereres, men som vi aldrig kigger på igen. Man estimerer, at mere end halvdelen af de data, der opbevares i datacentre, er dark data. Sådanne ubenyttede data forbruger stadig energi, og det er overflødigt.
På makroniveau kan vi se på, hvor og hvornår beregningerne udføres. Uden for spidsbelastningsperioder er sandsynligheden for, at der kun bruges vind- og solenergi stor i lande som Danmark. Vælger vi at træne AI-systemer i disse perioder, reducerer vi ikke kun CO2-aftrykket fra træningssessionerne, men det er faktisk også billigere, forklarer Raghavendra Selvan:
- Mange af de beregninger, der bliver lavet i forbindelse med udvikling af AI-systemer, såsom modeltræning, er ikke tidskritiske. Det betyder, at vi uden problemer kan forskyde disse beregninger med et par timer. Dette kan reducere CO2-aftrykket, da CO2-intensiteten i elektricitet kan være tre gange højere i spidsbelastningsperioder end uden for spidsbelastningsperioder. Desuden går pris og CO2-aftryk for elektricitet normalt hånd i hånd, så en anden bonus er, at der også er penge at spare.
Det begynder med bevidsthed
Raghavendra Selvan forventer, at det snart vil blive en realitet, at virksomheder skal rapportere miljøomkostninger ved både udvikling og implementering af energiintensiv teknologi som AI. Især inden for de dataintensive brancher spår han, at anvendelse af grøn teknologi kan blive en vigtig certificering, og endda lovpligtig.
- Nogle datacentre og cloud-tjenester reklamerer allerede for, at deres produkter er grønne. Vi kan se, at kunder, der går op i miljøet, vælger at bruge dem. Men det er langt fra alle i branchen, der er hoppet med på vognen, for det første fordi værktøjerne til at måle og rapportere ikke er helt modne nok, og for det andet fordi der mangler en fælles bevidsthed om problemet, siger Raghavendra Selvan.
- Vi er allerede meget bevidste om at flyve mindre, men når det gælder data, er det endnu ikke almen viden. Jeg håber, at det arbejde, mine kolleger og jeg laver, vil hjælpe med at gøre både forskningsverdenen, industrien og offentligheden bevidste om dette. For det er altid lettere at handle på noget, hvis man er informeret.
Du kan møde Raghavendra Selvan på Nordens største deep tech-konference, Digital Tech Summit, den 8.-9. november 2023, hvor han vil holde oplæg om "Climate-Aware AI”. Du kan tilmelde dig gratis her.
Hvad koster en prompt til ChatGPT?
Raghavendra Selvan har undersøgt, hvor meget det koster i energi, når du laver en enkelt prompt til ChatGPT. Datalogisk Institut har siden opdateret denne faktaboks for at gøre opmærksom på, at der er tale om et skøn med stor usikkerhed. Energiomkostningerne for et prompt til ChatGPT kan være alt mellem mellem 0,0019 kWh og 0,19 kWh. Sidstnævnte estimat er resultatet af Raghavendra Selvans undersøgelse i henhold til nedenstående detaljer, men det kan reduceres ved at bruge en mere effektiv infrastruktur.
Sådan gjorde han:
OpenAI, som er virksomheden bag ChatGPT, har ikke offentliggjort information om, hvor kompleks den bagvedliggende sprogmodel er, samt hvor mange og hvor stærke computere, den bliver hostet på.
Derfor har Raghavendra Selvan brugt en lignende sprogmodel ved navn GPT-J fra Huggingface i sin undersøgelse. GPT3-sprogmodellen, som ChatGPT er baseret på, er 30 gange større end GPT-J.
Til at måle energi- og CO2-udledningen brugte han værktøjet carbontracker, som han selv har været med til at udvikle.
Hardwaren, han brugte, var en Desktop GPU workstation med Intel i7-processor og 32 GB hukommelse samt en Nvidia RTX3090 GPU med 24 GB hukommelse.
Forudsigelserne blev udført med halv præcision (16 bit float i stedet for 32 bit float) for at passe ind i GPU-hukommelsen.
Omkostninger for GPT-J per prompt
Raghavendra Selvan lavede 100 prompts og beregnede gennemsnittet af energiomkostningerne for dem. Det tog cirka 20 minutter at lave 10 prompts uden at bruge såkaldt "parallel batch processing". Man kunne også have lavet 10 prompts parallelt 10 gange og generere 100 prompts på 20 minutter. For hver prompt producerede modellen tekst med en gennemsnitlig længde på 230 ord. Hver prompt uden parallel batch processing kostede E=0,01292 kWh.
Ekstrapolering til GPT-3
Hvis E ovenfor skal skaleres til GPT-3, er der to faktorer, der skal tages i betragtning:
- Lav præcision: Overheadet ved at køre modeller med fuld præcision sammenlignet med halv præcision er cirka halvanden gang større - så en faktor på x1,5
- Forskel i antallet af parametre: Selv hvis vi går ud fra et konservativt skøn, kan den større model kræve 10 ekstra GPU'er. Vi ved ikke, hvilken hardware ChatGPT bruger, men en eller anden form for parallel konfiguration af flere GPU'er kunne være mere kraftfuld.
Energiomkostningerne per forespørgsel fra ChatGpt er derfor E*1,5*10 = 0,1938 kWh eller cirka 193,8 Wh. Det svarer til, at du oplader din mobiltelefon op til 40 gange.
Effektivitet kan betyde lavere CO2-udledning
Raghavendra Selvans undersøgelse viste, at én prompt i gennemsnit forbruger 0,19 kWh. Raghavendra Selvan understreger dog, at OpenAI sandsynligvis har et højeffektivt datacenter og en meget optimeret konfiguration. Hvis OpenAI’s hardware og software er bedre optimeret end det, der er blevet brugt i undersøgelsen her, vil en enkelt prompt til ChatGPT i bedste fald svare til at lade din mobiltelefon op én gang, og altså ikke nødvendigvis de 40 gange.
Kontakt
Raghavendra Selvan
Tenure-track adjunkt
Datalogisk Institut, Københavns Universitet
raghav@di.ku.dk
Caroline Wistoft
Kommunikationskonsulent
Datalogisk Institut, Københavns Universitet
cawi@di.ku.dk