Jeg tror vi får det vi gir insentiver til. I dag belønner vi det å publisere raskt og i prestisjetunge tidsskrifter. Men for å få publisere i disse, må du gjerne ha en skikkelig god historie å fortelle. Og da er det kanskje heller ikke så rart om noen forsøker å ta noen snarveier, hevder Elizabeth Iorns.

– Om du gjør alt veldig nøye og sjekker mange ganger, er det jo mindre sannsynlig at du får veldig overraskende resultater, sier hun.

Iorns mener det viktigste kvalitetskriteriet for forskning bør være reproduserbarhet, det vil si at det lar seg gjøre å gjennomføre hele eller deler av studien på nytt og komme frem til samme resultat. Om studien er nyskapende eller har overraskende resultater, bør komme i andre rekke, mener hun.

Iorns leder Science Exchange, en kommersiell, nettbasert portal som kobler forskere med selskaper som utfører vitenskapelige eksperimenter. Selv er hun biolog, med bakgrunn fra kreftforskning.

Vi møter henne på The World Conference on Research Integrity i Montreal, hvor hun er for å snakke om The Reproducibility Initiative. Dette er et tiltak for å replisere forskningsresultater, med særlig fokus på prekliniske biologiske studier.

Mye lar seg ikke reprodusere

Ideen kom etter å ha blitt klar over hvor stor andel av den publiserte forskningen som ikke er mulig å reprodusere. I fjor meldte det amerikanske farmasøytiske selskapet Amgen at deres forskere hadde gjentatt eksperimentene fra 53 velrennomerte studier innenfor kreftforskning, men bare klarte å bekrefte funnene fra seks av disse. Også Bayer Healthcare meldte om liknende uoverensstemmelser, og at dette var den vanligste årsaken til forsinkelser eller avbrudd i deres prosjekter.

Systemproblemer

Iorns mener dette illustrerer et systemisk problem. – Det er jo åpenbart veldig ineffektivt å finansiere forskning, og så ikke ha noe system for å sjekke resultater eller rådata etterpå, siden mye ganske sikkert ikke vil la seg reprodusere. Når andre igjen forsøker å bygge på denne forskningen, kan de samme eksperimentene bli gjentatt kanskje 20 eller 30 ganger, uten at man vet om de faktisk fungerer, hevder hun.

– Vanlige kvalitetskriterier som journal impact factor eller mengden siteringer en forskningspublikasjon får, fanger ikke opp om en studie er mulig å reprodusere, sier Iorns. Hun mener replikasjonsstudier er løsningen.

The reproducibility initiative

I samarbeid med blant annet open access-tidsskriftet PLoS ONE startet hun og kollegaene i Science Exchange høsten 2012 opp The Reproducilbility Initiative.

Her oppfordrer de forskere til å sende inn sine beste studier for validering. Blant annet kontakter de alle som publiserer artikler i Nature og gjør dem oppmerksom på tilbudet. Et ekspertutvalg gjennomgår alle innkomne studier, og vurderer hvilke eksperimenter som er avgjørende for funnene i studien. Disse blir så gjentatt av et uavhengig laboratorium.

Forskerne får svar på valideringsstudien i konfidensialitet og kan selv velge om de vil publisere resultatene i PLoS ONEs Reproducibility collection, med lenke til originalartikkelen. I tillegg får de et sertifikat på at studien er reproduserbar.

Initiativet er blitt veldig godt mottatt, hevder Iorns og mener dette kommer av at de ikke fremstår som fiendtlig innstilt overfor forskere.

– Dette er noe man deltar i frivillig, noe som også er avgjørende fordi vi som regel er avhengige av å samarbeide med forfatterne av originalstudien underveis, blant annet for å oppklare metodologiske spørsmål, forklarer hun.

Kan avsløre svakheter

Iorns legger vekt på at de ikke er ute etter å ta forskerne. – Skulle det vise seg at studien din ikke lar seg reprodusere, betyr ikke det nødvendigvis at du er en dårlig forsker, sier hun.

– Poenget er å kunne vise hva som er originalstudien, og hva som er repliseringen. Ofte vil det jo være forskjeller. Men hvorfor? Det behøver ikke å være fordi originalforskningen gjorde noe galt, det kan også bare være at biologien i seg selv er veldig «sølete». Kanskje er det også grunnleggende problemer med noen av tilnærmingene vi bruker i biologi?

Stikkprøver og etterkontroll

Per i dag er det bare forskere som kan betale for valideringsstudiene, som får dem gjort. Men man jobber aktivt med å få på plass ekstern finansiering, forteller Iorns.

Siden oppstarten har de fått inn over 1 800 studier. Mange av disse er fra forskere som ikke har muligheten til å betale for repliseringene. For disse finnes en såkalt opt in-løsning. Studien kan bli en del av en såkalt «proof of principle study». Formålet med denne er å bevise at det på en rask og kostnadseffektiv måte går an å gjennomgå en stor mengde studier ved hjelp av et system basert på ettersyn og stikkprøvekontroll. Gjennom å velge ut en liten prosentandel av studiene for replisering, kan man sikre at forskningen holder høy kvalitet, forklarer Iorns.

– Denne typen systemer har jo vist seg effektive på andre felt, fremhever Iorns, – for eksempel fartskontroller og dopingtesting i idrett.

Bør bli standard

Målet er at dette skal bli standard prosedyre, og Iorns mener veien dit ikke trenger å være så lang. – Et slikt system kan komme raskt på plass hvis de som finansierer forskning, forlag og tidsskrifter bare stiller krav om det. Dette kunne føre til store endringer umiddelbart, hevder hun.

Da det ble stilt krav om replisering og innsending av datasett for alle Genome-wide association studies endret dette bokstavelig talt feltet over natten, sier Iorns. – Andelen studier som lot seg reprodusere gikk dramatisk opp, avslutter hun.

 Kilder: nature.com

scienceexchange.com/reproducibility