Av og til viser forskningsstudier at en behandling ikke virker.

Men slike negative funn blir ikke alltid ansett som så spennende. Og forskning som viser et positivt resultat, blir oftere publisert i tidsskrifter som mange leser og refererer til, tydet en studie på i 2014.

Derfor kan det være fristende gjemme bort de skuffende funnene.

En rundspørring som forskning.no gjorde blant norske forskere fra ulike fagfelter i 2015, tydet på at en del hadde lagt uønskede resultater i skuffen:

Les mer

– Større problem enn forskningsjuks

Men det hender også at forskere i stedet vrir fokus vekk fra det negative hovedfunnet i studien, ifølge en ny gjennomgang som forskere fra USA og Pakistan har gjort.

Men det kan føre til at vi får feil inntrykk av hvor godt behandlingen virker, med påfølgende risiko for feilbehandling og feil bruk av ressurser.

Forskerne gikk gjennom 93 hjertekar-studier som var publisert i seks tidsskrifter som mange leser og som mange andre forskere siterer fra i sine egne studier.

Ingen av de 93 artiklene hadde fått et positivt svar på hovedspørsmålet, statistisk sett.

Likevel hadde mange av forskerne bak bak studiene skrevet om resultatene på en måte som tok oppmerksomheten bort fra dette, ifølge svenske Dagens medisin.

Viste ikke effekt av behandling

Når forskere skriver en vitenskapelig artikkel om en studie, skal de i starten gjøre det tydelig hva som er hovedspørsmålet de vil ha svar på.

Og dette spørsmålet skal de svare på i artikkelens konklusjon.

I en studie om behandling mot høyt blodtrykk, kan hovedspørsmålet for eksempel være om en gruppe personer som fikk en bestemt behandling, fikk lavere blodtrykk enn en sammenlignbar gruppe som ikke fikk samme behandling.

Viser resultatene en stor nok forskjell mellom gruppene til at det er sannsynlig at behandlingen virket, har forskerne fått det som kalles et positivt funn.

Da er resultatet statistisk signifikant, som det heter på fagspråket.

Men det er like viktig for leseren – andre forskere, behandlere og folk flest – å få vite om effekten av behandlingen ikke kunne påvises i studien. Derfor mener forskerne bak den nye gjennomgangen at funnene deres er alvorlige.

Studien tyder på at forskere ofte manipulerer språket i artikler om randomiserte kontrollerte hjertekar-studier uten signifikant hovedfunn, for å ta oppmerksomheten bort fra det nøytrale hovedfunnet, skriver de i artikkelen.

Ledet oppmerksomhet vekk fra negativt funn

Randomiserte kontrollerte studier regnes for å gi de beste svarene på om for eksempel tiltak mot sykdommer virker eller ikke. De brukes til å danne grunnlag for pasientbehandling.

Deltakerne er tilfeldig fordelt i to grupper, der den ene gruppa får behandlingen som skal testes. Så sammenlignes de to gruppene.

Men hvor ofte forekom det at resultater i slike studier blir presentert på en måte som kan være villedende for leseren, og hvor alvorlig var manipuleringen? Det ville forskerne finne ut.

De fant en eller annen grad av for manipulering i mange av de 93 artiklene.

Forskerne fant det i 10 av overskriftene, i 53 av de innledende sammendragene, og i 62 av artiklene fant de det i hovedteksten. I tillegg inneholdt 50 artikler også grader av fordreining i den avsluttende konklusjonen, der forskerne skal oppsummere resultatet og hvilke følger de får.

Eksempler på potensielt villedende presentasjon kunne være at forskerne pekte på fordeler behandlingen hadde eller at det var noen som hadde blitt bedre etter å ha fått den. Andre hadde fokusert på forskjeller innad i behandlingsgruppa.

For det meste fant forskerne lav grad av villedende presentasjon i konklusjonene. I disse tilfellene erkjente forskerne at hovedfunnet ikke var statistisk signifikant, og de anbefalte mer forskning på spørsmålet.

Rammer forskningens integritet

Dette går ut over forskningens integritet, mener forskerne selv.

For hvis forskere presenterer funnene sine mer positivt enn det er grunnlag for, for eksempel ved å tåkelegge at en type behandling ikke så ut til å virke, får kanskje ikke pasienter best mulig behandling.

Det kan også føre til mer mistillit til vitenskap hos folket, skriver forskerne. De trekker vaksinemotstandere fram som eksempel.

Direktør i De nasjonale forskningsetiske komiteene, Espen Engh, synes funnene til forskerne er bekymringsfulle.

– Leserne kan forledes til å tro at resultatet er et annet enn det faktisk er. Det kan i sin tur gi et dårligere grunnlag for å fatte beslutninger om behandling, skriver han i en e-post til forskning.no.

Han understreker at forskere ikke skal fremstille resultatene sine på en misvisende måte, selv om han mener studien viser at mange gjør det.

– Slik praksis er i strid med nasjonale forskningsetiske retningslinjer og krav om å ikke fordreie eller forfalske noe, samt krav om å formidle graden av sikkerhet og presisjon som kjennetegner forskningsresultatene, sier han.

Press for å publisere positivt

Likevel skjer det. Forskerne bak den nye artikkelen peker på flere mulige årsaker.

Hvis en forsker greier å få publisert studien sin i et tidsskrift som blir lest og sitert av mange, kan det være bra for karrieren og for pengestøtten hun eller han får etterpå.

– Kanskje har forskerne en naturlig tendens til å fremheve en positiv tilnærming til resultatene sine. Vi tror at det vil bli mindre fordreining hvis studier med negativt resultat hadde like stor sjanse for å bli publisert, skriver forskerne i artikkelen om funnene.

Noen ganger kan det også være lagt ved pressemeldinger fra tidsskriftet, arbeidsstedet til forskeren eller de som har gitt penger til forskningen, som fokuserer på de positive funnene i studien, selv om disse på forhånd er definert som mindre viktige.

Det kan bidra til en ytterligere fordreining av hva som egentlig var det viktigste resultatet, ifølge forskerne.

Flere har ansvar

– Tidsskriftforlagene har blitt klar over problemstillingen rundt negative funn, og det blir etter hvert etablert tidsskrifter med fokus på publisering av slike, sier Espen Engh i e-posten.

Han mener at bevisstheten øker blant de som driver tidsskriftene og bestemmer hvilke studier som skal publiseres i dem.

– Den aktuelle studien bidrar til dette. Leser man retningslinjene for tidsskriftene, er de ofte tydelige på at kvaliteten på studien, og ikke resultatene, skal være utslagsgivende. Problemet er at disse intensjonene ikke alltid gjenspeiles i praksisen.

• Fire av ti forskere i Norge har deltatt i diskutable forskningspraksiser

Bedre opplæring av fagfeller?

I tillegg til redaktørene i tidsskriftene, som går gjennomartiklene, blir de sendt til flere andre fagfolk som skal kritisere og komme med tilbakemeldinger. Dette kalles fagfellevurdering, og er en viktig kvalitetssikring av forskningen.

Men i den nye studien advarer forskerne om at dette ikke synes å være en sikring god nok, og at leserne må være klar over dette når de leser forskningsartikler.

– At fagfellevurderingen ikke alltid fungerer etter intensjonen, er kanskje det viktigste poenget i denne studien, sier Engh i e-posten.

Forskningsinstitusjonene må sørge for at forskerne deres får god nok opplæring i god forskningsskikk, men tidsskriftene må også sørge for at kvalitetskontrollen som de får betalt for, også holder mål, sier Espen Engh.

– Kanskje tyder studien på at fagfellene trenger bedre opplæring i hva de skal se etter og hvordan de skal vurdere tekst opp mot resultat? Sier han.

Engh har tro på en ny ordning som stadig flere tidsskrifter har. Ordningen innebærer at forskerne legger fram planen for studien før de gjennomfører den. Hvis den kommer gjennom fagfellekontrollen på det tidspunktet, forplikter tidsskriftet seg til å publisere studien uansett resultat.

– Dette vil kunne føre til mer nøkterne gjengivelser av resultatene, sier Engh.

– Må holde høy standard

Forskerne som har gjort gjennomgangen, fant fram til hjertekar-artiklene i en åpen database for medisinske forskningsartikler.

En av redaktørene i det ganske nye tidsskriftet Jama Network Open, Stephan D. Fihn, har skrevet en kommentar som akkompagnerer studien.

Han understreker hvor viktig det er å publisere negative forskningsfunn, for eksempel at en type behandling ikke ha bedre resultater enn en annen.

– Vi gjør alt vi kan for å omfavne godt funderte negative resultater like entusiastisk som positive funn, skriver han.

– Ser det ofte

– Selv om negative studier ofte ikke får like mye oppmerksomhet, er de ofte avgjørende for å gå imot gale konklusjoner fra tidligere studier eller å avkrefte vanlige feiloppfatninger, skriver Fihn.

Han forklarer hvordan redaktørene i tidsskriftet møtes to ganger i uka for å gå gjennom artikler som forskere har sendt dem.

– Nesten alltid er det en eller flere artikler der forskerne har satt resultatene sine i et heldigere lys enn vi mener er rettferdiggjort, skriver han.

JAMA Network Open-redaktøren nevner ingen eventuelle forbedringer tidsskriftet selv vil gjøre for å forbedre kontrollen med forskningen de publiserer, men understreker heller forpliktelsen de har til å opprettholde allerede høye standarder.

Referanser:

Muhammad Shahzeb Khan mfl: Level and Prevalence of Spin in Published Cardiovascular Randomized Clinical Trial Reports With Statistically Nonsignificant Primary Outcomes. A Systematic Review. JAMA Network Open, 3. mai 2019.

Les også

Dette gjør norske universiteter for å sikre at resultatene blir publisert