På denne eksamenen ble hver tredje student felt for ChatGPT-fusk

Universitetet i Agder (UiA) behandlet i vår fuskesaker mot seks studenter på et emne i finans. 

Sensor og emneansvarlig, finansprofessor Valeriy Zakamulin, mistenkte at studentene hadde brukt ChatGPT til å lage programmeringskoder på en hjemmeeksamen våren 2023.

Det var i alt 17 studenter som avla denne eksamenen. Det endte med at UiAs nemnd for studentsaker felte dem for fusk.  

Men nemnda vurderte at bevisene ikke var gode nok til at de kunne utestenges fra universitetet. 

Mistenkelige koder 

Professor Zakamulin begrunnet fuskemistanken med at ChatGPT-genererte koder har særegne stiler og mønstre, for eksempel lange variabel- og funksjonsnavn med understreking.

For eksempel: «download_french_data» og «tangency_portfolio_variance».

Det dreide seg om programmeringsspråket R. 

I emnet BE-421 Investments skal studentene lære finansteori, men også bruke reelle data på de teoretiske modellene ved hjelp av dette programmeringsspråket. 

Zakamulin reagerte på at de mistenkte studentenes R-koder var vesentlig forskjellige fra kodene som hadde blitt presentert i kurset, og fra de andre studentenes koder.

Studentene hadde ikke erfaring med R-programmering fra tidligere.

Emneansvarlig fikk også ChatGPT til å løse eksamensoppgavene. Kodene han da fikk, lignet kodene i studentenes besvarelser, mener han. 

Studentene nektet for å ha kopiert fra ChatGPT. Ifølge UiAs retningslinjer skal man referere til ChatGPT hvis man har kopiert direkte derfra.

Her en skjermdump fra da professoren fikk ChatGPT til å løse eksamensoppgaver:

Fikk en ny vurdering 

En annen professor gjorde en ny vurdering, og også han mente besvarelsene inneholdt typiske trekk for koder produsert av KI-verktøy (kunstig intelligens). 

Han skrev at de hadde «bulky, mnemotechnically ridiculous naming conventions». Altså at variabelnavn eller funksjonsnavn i kodene er unødvendig lange og kompliserte, noe som gjør dem vanskelige å huske og bruke.

De fleste anklagede studentene sa de ikke hadde fulgt forelesninger og seminarer, men lærte seg R-koding på egen hånd, gjennom nettressurser.

kunstig intelligens

Noen slipper straff for KI-fusk, andre utestenges i ett år: Krever felles regler

Advokat: — Veldig lite håndfast

Overfor nemnda viste Kristian Berge, som var advokat for tre av studentene, blant annet til at det finnes flere YouTube-videoer om koding der variabler navngis på samme måte som i studentenes besvarelser. 

Det finnes også flere veiledningsressurser på nett som bruker samme navngivingsmetode, ifølge advokaten.

Han mener bevisene mot studentene ikke var gode nok. 

— Jeg synes mistanken mot studentene er ganske lite konkretisert. Det er veldig lite håndfast, samtidig som det brukes beskrivelser som «ridiculous» om studentens koder, uten at det presiseres hva det dreier seg om, sier Berge i firmaet Osloadvokatene. 

— Og i den grad det er konkretisert, har vi kunnet vise til mange eksempler på at denne måten å kode på, vanskelig kan kalles en uvanlig måte å kode på.

Til nemnda skrev han at «det påberopte grunnlaget i saken er momenter som kan indikere fusk, men det er ikke tilstrekkelig for å konkludere med at fusk er sannsynliggjort».

kunstig intelligens

66 studenter tatt for KI-fusk: — Har ikke kontroll

Vektla professorenes vurderinger 

I sine vedtak skriver nemnda at den legger avgjørende vekt på vurderingene til de to professorene, som har over ti års erfaring i å forelese om R-programmering.

«Begge fagpersonene mener studentens besvarelse skiller seg ut og viser typiske trekk for KI- genererte koder», skriver nemnda om en av sakene. Og videre:

«UiAs nemnd for studentsaker har i vurderingen vektlagt det faktum at studenten ikke har benyttet ressurser som er tilgjengelige for dem og de er anbefalt å bruke i emnet. I all hovedsak kunne ikke studentene programmere fra tidligere, og de har kun jobbet med det i kort tid. Det fremstår for UiAs nemnd for studentsaker som mest nærliggende for studenten å bruke tilgjengelige verktøy og programmer.»

Ikke gode nok bevis for utestengelse

Nemnda landet på at studentene etter såkalt «alminnelig sannsynlighetsovervekt» har fusket ved hjelp av ChatGPT eller andre KI-verktøy. Det betyr at den mener det er mer enn 50 prosent sannsynlig at de har fusket, og den mener fusket var forsettlig.

Men nemnda fant ikke gode nok bevis til å kunne fastslå med «kvalifisert sannsynlighetsovervekt» at har fusket. 

For å utestenge studenter, må nemnda mene at det er kvalifisert sannsynlighetsvekt. Derfor ble reaksjonen bare at studentene fikk annullert eksamensbesvarelsen.

Å bruke ChatGPT til koding er vanlig blant studenter, skal vi tro en fersk undersøkelse fra organisasjonen Tekna. 64 prosent av masterstudentene innenfor teknologi- og realfag oppga at de brukte KI til å skrive koder. 

Dette sier professoren 

Khrono har spurt emneansvarlig Valeriy Zakamulin om hvordan han kunne være sikker på at kodene var laget av ChatGPT.

— Kort oppsummert, siden studentene ikke hadde noen tidligere erfaring med R-programmering, forventet jeg at koden deres skulle være svært like eksemplene jeg presenterte under mine forelesninger og seminarer. Overraskende nok var omtrent en tredjedel av studentenes R-kode betydelig forskjellig fra mine eksempler. Merkelig nok hadde koden deres en sterk likhet med R-koden generert av ChatGPT, skriver han i en e-post. 

Slutte med hjemmeeksamener?

Vi spør også om hvor sterke han mener disse bevisene er, og om han tror de hadde holdt i retten.

— Dessverre finnes det ikke for øyeblikket noen programvare som pålitelig kan fastslå om en kode er skrevet av et menneske eller av ChatGPT. Dette utgjør en betydelig utfordring, ettersom man ikke kan være absolutt sikker. 

Han skriver videre at i vitenskap regnes et konfidensnivå på 95 prosent som vesentlige bevis. 

— Når jeg identifiserer potensielt juks på hjemmeeksamenen, har jeg derfor satt sammen en liste over studenter der jeg er rundt 95 % sikker på at koden deres er skrevet av ChatGPT.

 Zakamulin avslutter: 

— Jeg deler mange av mine kollegers synspunkt om at det å slutte helt med hjemmeeksamener, til fordel for skoleeksamener med tilsyn, kan være det eneste effektive tiltaket for å forhindre fusk ved hjelp av KI. 

kunstig intelligens

Vil avskaffe hjemme­eksamen: — Blir til slutt en parodi