Ved den konkrete vurderingen av aktuelle prosjekters vitenskapelige verdi, kan det være nyttig å stille følgende spørsmål:

Har problemstillingen vitenskapelig interesse?

Protokollen bør inneholde en gjennomtenkt begrunnelse for å gjennomføre studien. Det må være behov for den kunnskapen studien tar sikte på å skaffe til veie. Det må være en klar problemstilling som kan besvares med de metoder studien benytter.

Er det gjort rede for kunnskapsfronten (og mengden kunnskap) på området?

Spørsmålet henger nært sammen med spørsmålet over; om det er behov for den kunnskapen studien tar sikte på å skaffe til veie. Dersom det allerede er gjennomført lignende studier, vil spørsmålet melde seg om det er behov for flere studier. Det er prosjektleders ansvar å gjøre rede for eksisterende studier på feltet. Det bør gjøres rede for både innhold og omfang av slike.

Hvilke effektmål benyttes i studien og har disse klinisk interesse?


Effektmål som brukes i studien, må være klart definerte og operasjonaliserte, det vil si de må være mulig å måle eller registrere på en pålitelig måte. Effektstørrelsen må også være så stor at den har klinisk interesse. I en slik vurdering må det også tas hensyn til hvor hyppig den aktuelle effekten forventes å opptre. Studier som for eksempel tar sikte på å avdekke svært sjeldne bivirkninger, vil nødvendigvis måtte omfatte store pasientmaterialer som må følges over lang tid. Dette reiser spørsmål om en slik studie er forenlig med kravet om forsvarlig bruk av ressurser. En slik studie må evt. begrunnes særskilt.

Ofte ser man at effektmål angis som relative størrelser, som for eksempel reduksjon i relativ risiko. Slike relative mål sier lite om reelle endringer. Det er derfor viktig å se på hva som forventes i form av de absolutte endringer. Et nyttig mål for effekt i medikamentstudier er antallet som er nødvendig å behandle for å oppnå en bestemt effekt (numbers needed to treat).

Det er også viktig å unngå bruk av surrogatmål. For blodtrykksmedisiner er det for eksempel ikke viktig hvor mange millimeter kvikksølv blodtrykket reduseres med (surrogatmål), men om medikamentet forebygger hjerneslag eller hjerteinfarkt.

Har studien kontrollgrupper og er disse eventuelt plukket ut slik at det ikke foreligger utvalgsskjevheter? Er det andre utvalgsskjevheter?
I dobbeltblindede, klinisk kontrollerte forsøk forutsettes det at studiepopulasjonen randomiseres gjennom såkalt «forseglet prosedyre» (concealed randomisation) til én kontrollgruppe og én intervensjonsgruppe. Dette er den beste måten å sikre at det ikke oppstår utvalgsskjevheter. Mange post-marketing studier er såkalte «åpne» studier, der det er kjent hvem som får studiepreparat, og hvem som får sammenlignende behandling. I slike design er det i det minste viktig at kontrollgruppene trekkes fra samme utvalg som intervensjonsgruppen. Det er også viktig at eksklusjonskriteriene er de samme i intervensjons- og kontrollgruppen.

Dersom gruppen som skal få studiemedikamentet, er rekruttert fra tidligere utprøvingsstudier med samme medikament, kan man risikere at intervensjonsgruppen blir selektert ved at det primært er de som allerede har hatt god effekt av medikamentet som inkluderes. Om kontrollgruppen i samme studie er trukket fra et annet, ikke-selektert utvalg, vil man få et bedre resultat for studiemedikamentet på grunn av svakheter i studiedesignet.

Er dosering av studiepreparat og kontrollpreparat slik at det yter rettferdighet til sammenligningen?

 
Dette spørsmålet er nært beslektet med det foregående spørsmålet om forskjeller mellom intervensjons- og kontrollgruppe. Det kan være svært vanskelig å vurdere hva som er et relevant sammenligningsmedikament, og hva som er likeverdig dosering av to ulike medikament. Dette vil være en naturlig del av den vurderingen som gjøres i forbindelse med prosjektvurderingen i legemiddelverket (SLV). Det kan være til hjelp å bruke uavhengige konsulenter til å bedømme slike forhold.

Bruk av placebo


Normalt er det uakseptabelt å bruke placebo i post-marketing studier. Ved at det er gitt markedstillatelse, skal denne være basert på en allerede vist effekt av medikamentet. I etterfølgende placebo-kontrollerte studier vil studiemedikamentet derfor med nødvendighet komme positivt ut. I enkelte tilfelle kan det likevel forsvares å ha en placebo-arm, som regel som en tredje arm. Dette kan for eksempel tenkes i situasjoner der bruken gjennom praksis er blitt utvidet til grupper medikamentet ikke ble utprøvet på, eller der det i ettertid kan stilles spørsmål ved den tidligere oppgitte effekten av det aktuelle medikamentet. I slike unntakstilfelle kan bruken av placebo forsvares, men må begrunnes særskilt.

Er det gjort styrkeberegninger? Og står disse i forhold til effektmål og krav til statistisk signifikans? Med andre ord: Er det planlagt å ta flere (eller færre) personer inn i studien enn det som er nødvendig for å få svar på problemstillingen?


Det er misbruk av ressurser dersom studier dimensjoneres slik at man ikke får svar på de spørsmål som stilles. Dersom man inkluderer for få personer, kan man miste muligheten for å påvise viktige sammenhenger. Inkluderer man for mange, brukes unødvendige ressurser og det øker sjansen for å finne uvesentlige effekter.

Beregninger av utvalgsstørrelsen i studier er ikke alltid enkel. Den avhenger av de effektmål som er valgt, og av ønsket om å unngå såkalte «type 1» og «type 2» feil. «Type 1» feil består i at man har funnet en effekt som ikke er reell, men som skyldes tilfeldig variasjon. Konvensjonelt settes sjansen man er villig til å ta for «type 1» feil, alfa, til 5 %. «Type 2» feil kommer av at utvalget er for lite slik at man ikke oppdager faktiske effekter. Sjansen for slike feil, beta, settes vanligvis til 10–20% (som tilsvarer en styrke i studien på 80–90%). Man kan redusere sjansen for «type1» feil ved å redusere alfa til for eksempel 1 %, og «type 2» feil ved å øke styrken til for eksempel 95 % (det vil si 5 % sjanse for «type 2» feil). I begge tilfelle medfører dette at studiepopulasjonen må økes. Det må derfor begrunnes særskilt om man ønsker å fravike de konvensjonelle kravene til sjanse for slike feil.

Går studien over lengre tid enn nødvendig for å får svar på studiens spørsmål?


En studie skal ikke pågå lenger enn det som er nødvendig for å besvare studiens problemstillinger. Det må alltid fremgå av protokollen hvor lang tid studien vil vare. Tiden vil variere med aktuell problemstilling. Dersom studien dreier seg om å avdekke bivirkninger, vil det ofte være ønske om lang observasjonstid. Dersom det dreier seg om sjeldne bivirkninger, må store pasientgrupper følges over lang tid. Dette kan bidra til at utprøvere og forsøkspersoner vendes til det aktuelle medikamentet. I slike tilfelle er det grunn til å vurdere andre måter å fange opp sjeldne bivirkninger på.

Foreligger det analyseplan?


Er det redegjort for hvorledes materialet vil bli analysert, og hvem som skal analysere data? En analyseplan der det går frem at de statistiske analysene er relevante i forhold til de effektmål som inngår i studien, vil styrke studiens vitenskapelige kvalitet. Likeledes at analysene foregår i åpenhet av forskere som har deltatt i studien.

Foreligger det publiseringsplan?


Intensjonsavtale og plan for publisering skal foreligge før prosjektet starter. En slik avtale må sikre at så vel positive som negative resultat blir publisert. Prosjektleder må ha full frihet til publisering. Avtaler der sponsor (oppdragsgiver) forbeholder seg rettigheter til å endre et vitenskapelig arbeid eller nekte publisering, er uakseptable.