Drijfzand

Replicatie (of herhaalbaarheid) is een wetenschappelijk dogma. Het waarborgt de controleerbaarheid van onderzoek. Directe (of: zo exact mogelijke) replicatie is echter moeilijk.

In 2005 verscheen in PLOS Medicine ‘Why most research findings are false’, van de statisticus en epidemioloog John Ioannidis. Op basis van wiskundig en statistisch onderzoek stelde Ioannidis dat de conclusies in 80% van de medisch wetenschappelijke publicaties onhoudbaar zijn. Hij onderbouwde dat, ook in 2005, in een artikel in de Journal of the American Medical Association. Het bleek dat 41% van de 49 meest geciteerde onderzoeksconclusies vanaf 1990 onjuist of ernstig overdreven waren. Bayer en Amgen, twee van ‘s werelds grootste pharmaceuticals, rapporteerden in 2011 dat zij in hun eigen la­boratoria respectievelijk slechts 11% en 25% van eerder gepubliceerd onderzoek konden repliceren. In 2012 kon Amgen resultaten uit zes van de 54 ‘land­mark cancer papers’ re­pliceren. Het geeft aan dat Ioan­nidis’ conclusies dichter bij de waarheid zijn dan lange tijd werd gehoopt.

Lees verder “Drijfzand”

Integriteit

Het Centrum voor Ethiek en Gezondheid (CEG) publiceerde in januari Integriteit in zorgorganisaties. Hieruit blijkt dat in de praktijk van alle dag integriteit een moeilijk begrip is, gericht op gedrag en morele normen en waarden. Volgens het CEG bestaat integriteit uit vier componenten: betrouwbaarheid (handelen naar wat je zegt), deugdzaamheid (moreel het goede doen), authenticiteit (intrinsiek gemotiveerd zijn) en reflectie (je kritisch verhouden tot (de toepassing van) normen en regels). Integer handelen is moeilijk, ook omdat de publieke opinie er een beeld van heeft dat niet overeenkomt met de complexiteit ervan. Integriteit heeft te maken met persoonlijke overtuiging en ethiek, waardoor om ‘goed’ te doen ook regels aan de kant geschoven kunnen worden. Een medisch specialist laat bij een kwestie van leven en dood de ‘heilige’ protocollen voor wat ze zijn.

Lees verder “Integriteit”

We leven in een uitdagende tijd

We leven in een uitdagende tijd.

De hoeveelheid data neemt enorm toe. Organisaties worden bestookt met allerlei soorten informatie via een enorm aantal verschillende kanalen. Ze verzamelen zelf ook steeds meer data, over klanten en burgers. Vaak weten ze niet eens waarom, maar de mogelijkheden zijn er en het kan ‘misschien nog wel van pas komen’. Opslagservers, ‘on site’ of in de ‘cloud’, zijn dan ook erg in trek. Opslag is goedkoop, immers. Het is allang bekend dat dat niet zo is, maar struisvogels staan er ook om bekend hun kop in het zand te steken.

In de opslagprijzen per gigabyte zijn het gebruik en de terugvindbaarheid van data nooit meegenomen. Maar vanaf 2010 zijn de kosten daarvoor per jaar wereldwijd verdubbeld (tot €11 miljard, ongeveer)! Data behoren immers toegankelijk, vindbaar, betrouwbaar en duurzaam te zijn. Ze worden toch ook opgeslagen om te worden gebruikt. Het information governance regime, nodig voor vertrouwelijkheid, privacy, compliance en erfgoed, vergt met de stijging van de hoeveelheid data meer investeringen in software.

Lees verder “We leven in een uitdagende tijd”

Ontspoord

Luk van Parijs, Adrian Maxim, Joost Meijer, Diederik Stapel en Dirk Smeesters.Namen van wetenschappers die ontspoorden bij het verwerken van informatie. Ze verzonnen grafieken, datasets en/of mede-auteurs. Ze pleegden wetenschappelijke fraude. Ze vielen in het mes van wat Stapel zelf ‘wetenschappelijke pornografie’ noemde. Frank van Kolfschooten legt die datamanipulatie in Ontspoorde wetenschap pijnlijk bloot.
Een van de meest kwetsbare facetten van wetenschapsbeoefening is informatiemanagement. De mogelijkheden om niet integer met informatie om te gaan zijn legio. Publicatiedwang, narcisme en zakelijke belangen blijken sterker dan informatie-ethiek.
Lees verder “Ontspoord”

Compliance-fabriek

Afgelopen weken las ik Ger Biesta’s boek Het prachtige risico van onderwijs en Alderik Vissers artikel Marktfilosofie en onderwijsutopie. Beide onderwijsfilosofen maken ‘gehakt’ van de huidige onderwijspolitiek. Marktdenken leidde tot schaalvergroting, autonomie, outputfinanciering, prestatiebeurzen en -rankings. Marktdenken, bestuurlijke vrijheid en publieke verantwoording onderwierpen het onderwijs aan de ‘tucht’ van de markt, ‘maakbaar’ en ‘meetbaar’….
 
Lees verder “Compliance-fabriek”

Geletterd?

Eric Schmidt stelde in 2010 dat op dat moment iedere twee dagen evenveel informatie gegenereerd werd als in alle jaren tot 2003 toe. Dat zou kunnen, al kan niemand het precies berekenen. Het is echter zeker dat de grote hoeveelheden informatie maat­schappelijk succes en falen grotendeels afhankelijk maken van de informatievaardigheden die iemand heeft.

‘Information literacy’, de academische term om infor­matievaardigheden aan te duiden, is al meer dan drie decennia een populair onderzoeksthema. Google’s zoekmachine geeft 537.000 hits over het afgelopen jaar en 2.610.000 resultaten zonder tijdslimiet. Tientallen boeken en artikelen zijn er over geschreven, al gaan die meer over ‘technological literacy’ en over de ‘digitale vaardigheden’ van ‘digital natives’, ‘net savvy’s’ of ‘homo-zappiens’.

Lees verder “Geletterd?”

Big Data Bla Bla

In 2008 schreef Chris Anderson, een redacteur bij Wired, dat de zondvloed aan data (later Big Data genoemd) en nieuwe analysetools de wetenschappelijke methode onnodig maakten en een nieuwe manier waren om de wereld te begrijpen. ‘Correlation supersedes causation, and science can advance even without coherent models, unified theories, or really any mechanistic explanation at all’.

Big Data blabla-ers (ook evangelisten genoemd) hebben deze idee met vele anekdotes ondersteund en verkondigd. Volgens hen breekt er een nieuwe tijd aan: de dataficatie van onze maatschappij maakt alles meetbaar en doet alle bestaande problemen verdwijnen. Gemakshalve wordt er aan voorbij gegaan dat (zoals onderzoeksbedrijf Gartner stelt) 55% van alle Big Data projecten mislukt, vooral omdat ze niet de optimistische resultaten leveren die vooraf zijn ingecalculeerd. Zélfs het paradepaardje van de Big Data evangelisten niet: het in 2008 gestarte Google Flu Trends (GFT). Het geprofeteerde succes bleek rafelrandjes te kennen. In 2014 werd in Science aangetoond dat de resultaten (nog steeds) niet overeenkwamen met de ‘echte’ feiten. Het voorspellen van grieptrends lukte vele malen beter met drie weken oude, op traditionele wijze verzamelde en geanalyseerde gegevens van griepcentra.

Lees verder “Big Data Bla Bla”

Waanzin

Deze week werd ik weer geconfronteerd met de uitspraak dat opslag van data goedkoop is en dat alles makkelijk kan worden bewaard voor een Big Data strategie. Ik kon mijn lachen niet inhouden. In 2000 kostte een gigabyte opslag gemiddeld €8,31, in 2010 €0,07. De toegenomen hoeveelheid data en het effectievere gebruik van opslaghardware in diezelfde periode zorgde voor die substantiële verlaging van de opslagprijzen. De springvloed in Thailand verhinderde een verdere verlaging van de opslagprijzen na 2011. Veertig procent van productiecapaciteit van opslagschijven werd toen vernietigd, waardoor de prijzen voor opslagschijven verdubbelden. Die prijzen zijn in het vervolg weer lager geworden, maar ze hebben het niveau van 2011 niet meer bereikt. Wat in in de gigabyte-opslagprijzen nooit is meegenomen is het gebruik en de terugvindbaarheid van data. Van 2002 tot 2010 zijn de softwarekosten daarvoor gestegen van €4,8 miljard tot €10,9 miljard. De reden voor die kostenstijging is het feit dat data betrouwbaar en duurzaam moeten zijn. Ze worden immers opgeslagen om te worden gebruikt.

Lees verder “Waanzin”

Illegaal

Officier van Justitie Ward Ferdinandusse schreef in de NRC van 15 januari 2015 een opiniestuk over het belang van de bewaarplicht van telecomgegevens. Bewaring van telecomgegevens, zo schrijft hij, is belangrijk bij misdaad- en terrorismebestrijding. Hij illustreert dat met voorbeelden van (zware) criminaliteit en met de jihadistische aanslag op Charlie Hebdo. Privacy moet wijken om in dat soort gevallen doeltreffend te handelen. Ferdinandusse is niet de enige die zo denkt.

Maar speelt de bewaring van telecomgegevens wel zo’n grote rol bij misdaad- en terrorismebestrijding? Een adviescommissie van de Amerikaanse president concludeerde in 2014 dat ongericht bewaren van telecomgegevens geen aantoonbaar effect heeft op het voorkomen van terroristische aanslagen. De effectiviteit van de bewaarplicht voor die data is twijfelachtig. Ook bij de voorbeelden van Ferdinandusse spelen telecomgegevens nauwelijks een rol. Ze hebben niets voorkomen. Ze leveren geen bewijs. Bij Charlie Hebdo, zo zegt Ferdinandusse, hebben telecomgegevens de banden tussen de jihadisten aangetoond. Dat mag zo zijn, maar alleen doordat ze hun identiteitskaarten lieten liggen konden ze worden geïdentificeerd. Er is niets voorkomen.

Erg mager. Hoogst ineffectief.

Lees verder “Illegaal”

Leve de digitale overheid?

2014 is het jaar van Anouchka van Miltenburg.

Bij de overhandiging van het onderzoeksrapport over het falen van de overheids-ICT in oktober, sprak zij de onsterfelijke woorden: ‘Ik moest even googlen wat ICT betekent’. Ik moest hartelijk lachen. Ton Elias heeft met een commissie twee jaar lang ICT-projecten van de overheid bestudeerd in opdracht van de Tweede Kamer. Anouchka is daarvan voorzitter, geloof ik.

De conclusies van het onderzoeksrapport van Elias waren vernietigend.

Verantwoordelijkheden worden genegeerd, zijn niet belegd of versnipperd. De controle van projecten is belabberd. Ambities en doelstellingen wisselen. Gegevens zijn onbetrouwbaar of ontbreken. Het financieel beheer is matig, zodat niet kan worden vastgesteld hoeveel ICT jaarlijks kost. Elias’ rapport schat dat er per jaar 1 tot 5 miljard euro (of misschien 7 miljard?) wordt verspild. Tal van aanbevelingen worden gedaan om nog iets van deze chaos te maken. Een nieuw orgaan om ICT projecten te toetsen. Elk jaar een overzicht maken van de ICT-kosten. ICT opnemen in de opleidingen van alle ambtenaren. Geen aanbevelingen om politieke en bestuurlijke incompetentie aan te pakken.

Lees verder “Leve de digitale overheid?”