Da ChatGPT kom i november 2022, måpte en hel verden. Den fikk 100 millioner abonnenter i løpet av to måneder. Så startet diskusjonene om konsekvenser, bruk og misbruk.

Chatboten skriver tekster og snakker med deg slik bare mennesker har gjort før.

Det første som ble åpenbart, var at ChatGPT ikke var særlig nøyaktig eller sannferdig. 

Hvis du spør ChatGPT for eksempel om tidligere statsminister Lars Korvald, svarer den at han er født i Sør-Odal, var lokalpolitiker i Hedmark på 1950-tallet, satt for Hedmark på Stortinget fram til 1989 og ble statsminister etter en regjeringskrise over oljepolitikken. 

Riktig informasjon er: født i Mjøndalen, aldri lokalpolitiker, satt for Østfold fram til 1981, og han ble statsminister da Bratteli trakk seg etter folkeavstemmingen om norsk EU-medlemskap.

Forsker eller datamaskin?

Så lenge ChatGPT og andre chatboter er fulle av feil, er det ikke så vanskelig å avsløre elever, studenter og forskere som lar datamaskinene skrive for seg. 

Men de vil bli bedre. Og da blir det vanskeligere å skille mellom menneske og maskin. 

LES OGSÅ

Facebook-forskere har lært kunstig intelligens å lure mennesker

Det er mange opptatt av i dag.  Hva skjer når studentene leverer AI-genererte eksamensbesvarelser? Hva skjer når datamaskinene tilsynelatende kan produsere forskning? 

Hvordan kan vi vite om studien vi leser om klima, kreft eller kinesisk politikk er skrevet av en forsker eller en datamaskin?

– Dette seiler opp som et stort problem, sier Olav Lysne. Han er direktør for Simula Metropolian – et senter for forskning på digitale systemer og professor på OsloMet.

– Men vi har akkurat våknet opp til en virkelighet der datamaskinene selv kan skrive lange tekster. Vi er fortsatt i en ekstremt tidlig fase av å forstå hva ChatGPT og AI kan gjøre og hva det vil få av konsekvenser, sier Lysne til forskning.no.

Testet 192 vitenskapelige artikler

Det finnes AI-detektorer - programmer som sjekker om tekster er AI-genererte. 

Det er et problem at disse detektorene ikke er gode på akademiske tekster, mener en gruppe forskere ved University of Kansas i USA. 

De har derfor utviklet et program  spesielt for forskningstekster.

De fant fram 64 artikler som oppsummerer ulike forskningsfelt, skrevet av forskere. Så ba de ChatGPT lage artikler om samme tema, til sammen 128. Artiklene ble delt opp i 1.276 avsnitt. 

Så kjørte de avsnittene gjennom sitt nye program.

Mennesketekst er mer kompleks

Programmet klarte å finne ut om det var menneske eller maskin som hadde skrevet teksten i 99 prosent av tilfellene. 

Menneskenes tekst var mer kompleks enn det ChatGPT skrev. Menneskene varierte teksten mer, for eksempel skrev de setninger som både var korte og lange, mens datamaskinen hadde jevn setningslengde.  

Stilen var også forskjellig. Forskerne brukte spørsmålstegn, bindestrek, parentes, semikolon og kolon. Det gjorde ikke ChatGPT, men den brukte oftere anførselstegn. Forskerne brukte ord som «imidlertid», «selv om» og «men» mye oftere enn datamaskinen. 

Menneskene var mer presise. Når de refererte til ulike studier, nevnte de navnet på forskerne bak. ChatGPT var generell. Den skrev at «andre » eller «forskere» hadde gjort noe på feltet. 

– Nye verktøy på den gode og dårlige siden

Olav Lysne har tatt en kikk på den nye studien fra University of Kansas og mener resultatene er interessante.

Men når forskere og utviklere lager nye verktøy som avslører AI-genererte tekster, vil andre utvikle programmer som gjør det enda vanskeligere å avdekke at forfatteren er en datamaskin, ifølge Lysne.

– Det vil komme nye verktøy og metoder på både den gode og den dårlige siden av AI.

Lysne sammenligner AI-situasjonen med kampen rundt datavirusene. Det har blitt utviklet mange og stadig bedre programmer som skanner datamaskinene for virus og nøytraliserer dem. Samtidig blir det laget virus som er enda vanskeligere å oppdage.

– Det har vært uavgjort mellom de to sidene i mange år. Om en skal kåre en vinner, så er det kanskje de aller flinkeste virusmakerne som leder kappløpet, sier Lysne.

Merking kan fjernes

På samme måte tror han at noen vil finne metoder som gjør det enda vanskeligere for det nye programmet fra Kansas å avsløre AI-genererte tekster.

– Det er vanskelig å si hvordan det vil ende. Det ser ut som det kommer krav om merking av AI-genererte tekster. Dette blir nå diskutert i USA og EU. Men slike merker kan fjernes av dem som ønsker det, sier Lysne.

Selv om AI skriver tekster som er forbløffende like det vi mennesker skriver, så er det likevel en forskjell.

– Mennesker jobber for å forstå en problemstilling, så skriver vi ut den forståelsen. Datamaskinene sjekker alt som er skrevet om problemstillingen fra før, så beregner den hva som skal være det neste ordet i setningen, sier Lysne.

Det kan hende at vi kommer til å vurdere AI-tekster annerledes i fremtiden, mener han.

- Kanskje det blir mindre interessant å finne ut hvem som har skrevet den akademiske teksten, men at vi heller vurderer om den er god eller ikke. Det er i det hele tatt vanskelig å vite hvordan dette vil ende, sier Lysne.

ChatGPT lyver om egen innsats

Men hva med å spørre ChatGPT selv? 

– Er teksten om Lars Korvald som du ga meg, skrevet av et menneske eller av deg?

– Teksten om Lars Korvald jeg ga deg er generert av meg, ChatGPT. Jeg baserer svarene mine  på et bredt spekter av informasjon samlet fra offentlig tilgjengelige kilder som bøker, artikler, nettsider og lignende.

Så gjør vi et eksperiment. Vi kopierer artikkelen om Lars Korvald på Store norske leksikon, skrevet av  fagansvarlige der. Så limer vi den inn i samtalefeltet til ChatGPT og spør: 

– Har du skrevet denne teksten?

– Ja, den teksten ble generert av meg, ChatGPT.

Referanse: 

Heather Desaire m.fl.:  Distinguishing academic science writing from humans or ChatGPT with over 99% accuracy using off-the-shelf machine learning tools. Cell Reports Physical Science. Juni 2023.

LES OGSÅ

Deltakerne fikk se de øverste bildene. Så gjenskapte AI bildene under, basert på hjerneaktivitet

LES OGSÅ

Toppforsker slutter i Google og advarer mot kunstig intelligens