Drijfzand

Replicatie (of herhaalbaarheid) is een wetenschappelijk dogma. Het waarborgt de controleerbaarheid van onderzoek. Directe (of: zo exact mogelijke) replicatie is echter moeilijk.

In 2005 verscheen in PLOS Medicine ‘Why most research findings are false’, van de statisticus en epidemioloog John Ioannidis. Op basis van wiskundig en statistisch onderzoek stelde Ioannidis dat de conclusies in 80% van de medisch wetenschappelijke publicaties onhoudbaar zijn. Hij onderbouwde dat, ook in 2005, in een artikel in de Journal of the American Medical Association. Het bleek dat 41% van de 49 meest geciteerde onderzoeksconclusies vanaf 1990 onjuist of ernstig overdreven waren. Bayer en Amgen, twee van ‘s werelds grootste pharmaceuticals, rapporteerden in 2011 dat zij in hun eigen la­boratoria respectievelijk slechts 11% en 25% van eerder gepubliceerd onderzoek konden repliceren. In 2012 kon Amgen resultaten uit zes van de 54 ‘land­mark cancer papers’ re­pliceren. Het geeft aan dat Ioan­nidis’ conclusies dichter bij de waarheid zijn dan lange tijd werd gehoopt.

Vooral psychologisch onderzoek staat onder druk. Een artikel uit 2015 door een consortium van 270 wetenschappers (o.a. van de Universiteit van Amsterdam) con­cludeert dat 60% van de resultaten van psychologisch onderzoek niet repliceerbaar is. Deze studie werd in maart dit jaar onderuit gehaald met het verwijt dat er geen directe replicatie was uitgevoerd, waarna het ‘modder gooien’ begon.

De vraag is of directe replicatie binnen mens- en gedragswetenschappen wel mogelijk is. Hans Strik­werda, hoogleraar bedrijfskunde aan de Universiteit van Amsterdam, vindt van niet. Het gedrag van men­sen verandert immers in de tijd. In de bedrijfskunde liggen empirische waarnemingen bijvoorbeeld aan de basis van succesmodellen. Iedere manager die daarmee werkt, verandert de empirie, waardoor repliceerbaarheid onmogelijk wordt.

Bij conceptuele replicatie wordt dezelfde theorie getoetst aan nieuwe experimenten. Dit lijkt binnen de mens- en gedragswetenschappen meer voor de hand te liggen. Maar dat vereist wel veel van het Research Data Management van de wetenschappelijke instituten. Het vereist niet alleen het bewaren van de gebruikte datasets, maar ook exacte vastlegging van de methodologie voor dataverzameling, -bewerking, -selectie, -massage, -analyse en -verificatie. Het vereist het vastleggen van zoek-, be­werkings- en analysecriteria. Het vereist het bewaren van de gebruikte versies van algoritmen. Het vereist informatiemanagement en archivering. Het vereist volledige (contextuele) transparantie in de gebruikte onderzoekmethode, beschreven en gepubliceerd. Op grond van dergelijke vastleggingen zijn er initiatieven waarbij wetenschappers experimenten voor publicatie door andere onderzoekers (vrijwillig) laten herhalen en de resultaten in de uiteindelijke publicatie opnemen.

Het is een begin.

Tot dit wetenschappelijke usance wordt, is veel onderzoek echter niet herhaalbaar.

Wetenschappelijk drijfzand dus.

Voor de eerste keer gepubliceerd in: IP. Vakblad voor Informatieprofessionals, 2016, nr. 4, p. 32.