Myten om den selvkorrigerende vitenskap

Til glede for alle som ønsker seg noen år ekstra, kan vi tilby denne fantastiske nyheten. Lytter du til en sang av the Beatles, finnes det statistiske beviser på at det kan øke din levealder med 1,5 år.

Absurd?

Ja nettopp det var hele poenget for Joseph P. Simmons og hans team ved The Wharton School, Universitet i Pennsylvania. Vise hvor enkelt det er å samle og rapportere statistiske data som er bygd på en falsk hypotese. Prinsippet er enkelt, og det brukes i mange forskjellige grener av vitenskapen, deriblant den medisinske.

Simmons og hans team benyttet seg av 4 vanlige teknikker, som post-hoc theorizing( lage eller forandre en hypotese når man ser på data fra studien), eller data-fishing, som kan være å følge studiedeltagere tett, men stoppe det øyeblikk man finner statistisk signifikans.

Slike resultater kan man få publisert, og den medisinske litteratur kryr av lignende eksempler. Der blir de liggende i mange år i medisinske journaler, mens ingenting skjer.

Så da må man spørre seg. Mantraet «vitenskapen er selvkorrigerende», er det bare tull?

Juks innen vitenskapen har økt enormt de siste 10-15 år, og ingen steder er det mer enn i den medisinske delen. Folk som Uri Simonsohn har lenge jobbet med dette problemet, og han sier det er ikke den selvkorrigerende vitenskapen som avslører jukset, men fløyteblåsere.

Samme konklusjon kommer fra Wolfgang Stroebe ved  Utrecht Universitet i Nederland, som sier «most frauds are detected through information from whistleblowers with inside information.»

Stroebe sin studie, Scientific Misconduct and the Myth of Self-Correction in Science, peker på mange av problemene vitenskapen i dag har på dette området, og verst fatt er det hos medisinsk vitenskap.

«The fact that more than two thirds of the cases on our list come from the biomedical sciences might suggest that it is not psychology but the biomedical sciences that are most susceptible to scientific fraud, a conclusion that Goodstein (2010) also drew in his recent book on scientific fraud. «

Han sier de kan ikke sikkert si om det er mer juks innen medisinsk vitenskap, da datagrunnlaget for det er ujevnt undersøkt, men det understøttes av mange at problemet der er størst.

However, a meta-analysis by Fanelli (2009) provides some convergent evidence that fraud is indeed more frequent in the biomedical sciences than in other disciplines. Fanelli (2009) concluded that “surveys among clinical, medical and pharmacological researchers appeared to yield higher rates of misconduct than surveys in other fields or in mixed samples”

«One explanation for a higher incidence of fraud cases in medicine than in psychology could be that medical research is much more likely than psychological studies to result in financial rewards«

Det finnes mange aspekter innen vitenskapen som burde gjøre den selvkorrigerende, men behandlinger som skader pasienter blir ofte brukt i mange tiår før det blir oppdaget feil ved det originale datagrunnlaget for behandlingen.

Fagfellevurderingen er og et stort problem, og man kan virkelig lure noen ganger på hva som slipper gjennom nåløyet. Den prestisjefylte journalen New England Journal of Medicine kan her brukes som eksempel.

«For example, in a publication by Darsee and Heymsfield (1981) in the New England Journal of Medicine, a family tree is reproduced that shows one 17-year-old father with children ages 8, 7, 5, and 4 (Diekmann, 2004). Although this is biologically not impossible, it is highly unlikely and should have resulted in questions to the authors.»

Vitenskapen har mange myter rundt seg, selvkorrigerende vitenskap er en av de.

«So how can we explain the failure of the self-correcting processes of science? One major reason is that science is based on trust. As already mentioned, scientists do not expect their colleagues to falsify their data and therefore do not look for signs of fraud when reading manuscripts or articles. This is probably the reason why hardly any fraud cases are discovered by the peer review process. It is only in extreme cases of data patterns that are simply too good to be true that fraud is considered as a possibility. And then the signs of fraud are typically not found in a single manuscript but by looking over multiple publications of an author.

Another reason is that the accusation of fraud is so serious that it cannot be made lightly. Thus, even if one suspects that the work of a colleague is fraudulent, one needs unambiguous proof for this suspicion: the well-known “smoking gun.”

 

Mer om myten i The Atlantic.The Myth of Self-Correcting Science

Scientific Misconduct and the Myth of Self-Correction in Science

Legg igjen en kommentar