Debatt ● Simen Kvaal
KI er bullshit
Det enkleste og mest korrekte er å alltid anta at KI-materiale er bullshit, skriver Simen Kvaal.
Denne teksten er et debattinnlegg. Innholdet i teksten uttrykker forfatterens egen mening.
KI var og blir enormt hypet av tjenestetilbyderne selv, og markedet er dominert av noen få store aktører. Denne pågående opphaussingen er høyst reell, og den virker. Selv om påvirkningen på samfunnsliv foreløpig er relativt beskjeden, har regjeringens nye nasjonale digitaliseringsstrategi som uttalt mål at 80 prosent av offentlige virksomheter skal ha tatt i bruk KI i løpet av 2025, og 100 prosent innen 2030.
På tross av hypen er det helt klart at KI-teknologi har potensialet til å være til stor nytte. Likeledes er potensialet for negative konsekvenser enormt. Derfor har Regjeringen bevilget den viktige «KI-milliarden». Utlysningen fra Forskningsrådet tiltrakk 122 skisser til KI-sentre i første runde i juni 2024.
De fleste forskere er aktive brukere av generativ KI, og undertegnede er nok blant de mest ivrige. Det har lenge vært en utfordring å vurdere etikken ved bruk av KI i forskning: Hvem har opphavsretten? Hva med personvern og beskyttelse av deltakere i forskningsprosjekter? Listen er lang.
Formålet med dette debattinnlegget er å gjøre noen vurderinger enklere med følgende maksime: Alt KI produserer er bullshit! Dette er en parafrasering av tittelen på en forskningsartikkel av M.T. Hicks, J. Humphries og J. Slater publisert i Ethics and Information Theory i juni i år, et arbeid som sterkt har påvirket undertegnedes etiske vurdering av egen KI-bruk.
Et av de mest notoriske fenomenene som språkmodeller lider under er det som kalles hallusinering — modellene dikter opp alt fra vitenskapelige referanser til villedende argumenter uten forvarsel. Selv om man har snakket om hallusinering i maskinlæringssammenheng i flere årtier er det ikke utenkelig at begrepet har blitt såpass innarbeidet som et resultat av KI-hypen: Man ønsker å nedtone de negative aspektene ved produktene man selger.
Når man sier at en KI-modell «hallusinerer» indikerer man for det første at modellen har menneskelige kognitive egenskaper som muliggjør å skille fantasi fra virkelighet. For det andre så indikerer man at modellen gjør noe som ikke er intendert — at å fortelle sannheten er det modellen vanligvis gjør.
Dette er ikke riktig. Språkmodeller er sannsynlighetsmodeller for tekst, konstruert — trent — på enorme mengder data, ja, så å si hele internett, slik at de produserer tekst som er sannsynlig. Enhver som har frekventert kommentarfelt på Facebook eller nyhetstjenester som VG (eller Khrono) vet at «sannhet» ikke alltid korrelerer med «sannsynlighet for å inntreffe på internett». Med andre ord er ikke sannhet eller logisk konsistens et mål som språkmodellen er trent for.
Man kan si at det er nesten mirakuløst hvor godt dagens språkmodeller virker når man tar dette i betraktning.
Forskjellen mellom å tenke at en språkmodell «hallusinerer» på den ene siden, eller «driver med bullshit» på den andre er ganske viktig.
Simen Kvaal
Språkmodellene produserer altså tekst uten hensyn til om innholdet er sant eller ikke. En slik holdning til sannheten er definerende for hva filosofen Harry Frankfurt kalte en bullshitter i essayet «On Bullshit» fra 1986. Bullshit er ikke løgn. En løgn er en usann ytring avsenderen vet er usann og avsenderen ønsker mottakeren skal tro at er sann. For en bullshitter, på den andre siden, er sannhetsgehalten irrelevant.
Jeg tror vi alle kjenner notoriske bullshittere. De forsøker ikke å få deg til å tro noe som ikke er sant, men heller ikke prøver de å informere.
Det er ikke vanskelig å innse at bullshit kan være veldig negativt. Som Frankfurt selv skrev i et essay, som også siteres i ovennevnte forskningsartikkel, og som har blitt mer og mer tydelig i de siste årenes politiske debatt (selv om dette ikke skal handle om politikk): «Likegyldighet overfor sannheten er ekstremt farlig. Det siviliserte liv, og vitaliteten til institusjonene som er uunnværlige for dette, avhenger helt grunnleggende av respekt for skillet mellom sant og usant.» Når det gjelder vitenskap vil jeg faktisk påstå at en forsker som synes sannhet er irrelevant er mer farlig enn en forsker som, for eksempel, manipulerer en og annen figur.
Dette bringer oss inn på forskerens etiske vurdering av KI-basert materiale. Forskjellen mellom å tenke at en språkmodell «hallusinerer» på den ene siden, eller «driver med bullshit» på den andre er ganske viktig.
I det første tilfellet stoler man «som regel» på det modellen produserer, og står klar med en implisitt tilgivelse når det går galt. I det andre tilfellet — bullshit — innser man at absolutt alt som produseres må være under mistanke for å være tullprat. Det tvinger brukeren til å ettergå og sjekke all informasjon.
EUs retningslinjer for bruk av KI i forskning understreker at forskeren selv er ansvarlig for alt innhold som produseres. Forskeren kan ikke fraskrive seg ansvaret ved for eksempel, som noen har forsøkt, å sette ChatGPT som medforfatter på vitenskapelige artikler.
Ansvaret hviler ene og alene på forskerens skuldre: En språkmodell er som en halvstudert besserwisser, en bullshitter, som er programmert til å fremstå som smart. Og selv om vi forskere også ønsker å fremstå som smarte, så driver vi ikke med bullshit!
Nyeste artikler
Forskaren vaks opp i Israel. No veit han ikkje om han vil reisa tilbake
Nordisk Østforum legger ned. Forskere vil ikke lenger skrive skandinavisk
Khronos store julequiz
Fagskoledebattens blindsoner — mer enn ren kvalifisering for arbeidslivet
Frykter for kurstilbudet. Blir det svekket, kan det bli flere tomme studieplasser
Mest lest
Dette er Lise Øvreås sitt lag til rektorvalet ved UiB
Tidligere har hun fått drapstrusler for forskningen sin. Men nå har det skjedd noe
ChatGPT fikk A på eksamen. — Skulle nesten bare mangle
Cecilie Hellestveit vurderer å slutte å snakke med media: — Klikkhoreri
Professor ber studentene forplikte seg: Du vil bli sett på som en forræder om du dropper ut