Når KI bestemmer eksamens­karakteren

Denne teksten er et debatt­inn­legg. Inn­holdet i teksten uttrykker forfatterens egen mening.

Nok et semester går mot slutten og det nærmer seg høysesong for å sensurere eksamensbesvarelser. Etter at språkmodellene ble allemannseie i 2022 kan i prinsippet enhver sensor bruke modellene til å fastsette karakterer til studentene. Men dette betyr verken at det språkmodellene fungerer godt til formålet gi studenter begrunnelse eller fastsette karakterer.

I løpet av de siste to årene har vi sett flere eksempler på sensorer og institusjoner som har tatt i bruk kunstig intelligens for å sensurere oppgaver. En underviser hos Høyskolen Kristiania proklamerte at han ved hjelp av KI kun bruker 15 minutter på å sensurere oppgaver på 30—60 sider. Mens Universitetet i Agder har satt i gang et større prosjekt hvor kunstig intelligens blir brukt til å generere begrunnelser. Da UiA brukte kunstig intelligens i sensurprosessen for første gang, skjedde det uten at studentene ble informert.

karakterer

Vil bruke kunstig intelligens til å gi karakterbegrunnelser

Et klassisk argument for å ta i bruk kunstig intelligens går ut på at maskinen kan løse oppgaver som mennesker ikke får til eller at maskinen kan erstatte mennesker som gjør feil. Mennesker gjør feil og våre vurderinger er påvirket av mange faktorer. Men er menneskets feilbarlighet tilstrekkelig for å erstatte mennesket med en maskin? Bør man ikke kunne vise til at kunstig intelligens gir konkrete fordeler for det aktuelle formålet? Dersom fordelene knytter seg til andre forhold enn å forbedre kvaliteten på sensuren, ja, da bør vi være åpne om det.

Et annet argument for å benytte KI handler om å bruke kunstig intelligens for å hjelpe den som tar en beslutning. Som beslutningsstøtte i sensurprosessen kan for eksempel maskinen vurdere om studenten har brukt pensumlitteraturen i besvarelsen. En annen type beslutningsstøtte er at maskinen foreslår en karakter for sensor. Det er være en fare for at sensor legger den foreslåtte karakteren til grunn uten nærmere vurdering. Kravet om begrunnelse kan bidra til at sensor ikke stoler blindt på algoritmens forslag, men hva om språkmodellen automatisk genererer begrunnelsen?

KI

Slik sensurerte han 50 eksamener ved hjelp av kunstig intelligens

Poenget mitt er ikke å avvise at kunstig intelligens potensielt kan spille en rolle i sensurering av eksamen. Tvert imot, vi må være åpne for at kunstig intelligens kan være nyttige verktøy i høyere utdanning, som også kan bidra til å fremme læring. 

For å kunne dra nytte av fordelene må vi ta de teknologiske og menneskelige begrensningene på alvor. Dette krever ikke bare at vi diskuterer muligheter og ulemper, men institusjonene må også være åpne om hvordan og hvorfor de bruker kunstig intelligens. Formålet med automatisk begrunnelse og fastsetting av karakterer handler gjerne om å redusere kostnader, men til hvilken pris?

Det er ikke gitt at kunstig intelligens utgjør et nyttig bidrag. I forbindelse med prøveprosjektet til UiA, hvor kunstig intelligens har generert begrunnelser, uttalte en av sensorene at alt må kontrolleres og at det kan skape dobbelt opp med arbeid. Det finnes nok av eksempler på at teknologi blir utviklet og tatt i bruk for å løse problemer som faktisk ikke eksisterer, Morozov kaller dette «solutionism». 

Det er også en bekymring at kunstig intelligens på uheldige måter bidrar til kognitiv avlastning (cognitive offloading). For underviserne vil bruken av kunstig intelligens i sensuren kunne hindre tilgang til verdifull informasjon om hva studentene har lært, noe som er viktig for fremtidig undervisningsutvikling.

Personvernlovgivningen setter rammer for hvordan universiteter og høyskoler kan lagre og bruke personopplysninger, og ja, en eksamensbesvarelse er å regne som en personopplysning. Dette utløser forpliktelser for institusjonene og rettigheter for den enkelte student. 

Debatt ● Arild Raaheim

Tilbake til penn og papir?

La meg nevne tre utfordringer. For det første, besvarelser kan ikke bli matet inn systemene til leverandører uten at man har en (databehandler)avtale som oppfyller lovkrav og sikrer opplysningene. Et eksempel på sikker bruk av personopplysningene i en språkmodell er UiO GPT. For det andre, en automatisert avgjørelse uten menneskelig innblanding om å fastsette karakter er i utgangspunktet forbudt, med mindre det foreligger grunnlag i lov (det eksisterer ikke i dag). For det tredje, når Norge kommer til å gjennomføre EUs forordning-KI kommer denne til å pålegge institusjonene ytterligere forpliktelser.

Språkmodellene er ikke nøytrale verktøy i en sensurprosess. Dette stiller ikke bare krav til myndighetene og institusjonene, men også den enkelte sensor. Frihet er et grunnleggende kjennetegn ved akademia, og denne friheten forutsetter også at man tar ansvar. Ansvaret kommer på spissen ved bruk av ny teknologi i sensurprosessen. 

Det er opp til oss sensorer og våre institusjoner å sikre kvalitet i sensuren på en måte som gir studentene tillit til sensurordningen. Som et første steg bør institusjonene sikre åpenhet rundt bruken og involvere studentene i den videre utviklingen.

kunstig intelligens

Her er forskaren sine råd til korleis bruka ChatGPT