Er komen steeds meer en omvangrijkere datasets, vaak met gegevens over de hele wereld. De belofte is dat de kwaliteit van beleid daarmee kan worden verhoogd. Ik bespreek twee recente toepassingen van big data, waaruit blijkt dat deze belofte bij lange na niet wordt ingelost. Sterker nog, resultaten zijn vaak triviaal en soms misleidend.
De meest innovatieve universiteiten van Europa
Het eerste rapport is een rating van de meest innovatieve universiteiten van Europa, uitgevoerd door Reuters[1]. Er is een grote hoeveelheid data per universiteit verzameld en op basis daarvan is een samengestelde score berekend. Het bijgevoegde overzichtje geeft het resultaat weer. 
Het rapport gebruikt tien criteria; zeven(!) daarvan betreffen de geregistreerde patenten van elke universiteit. Hier wringt de schoen. In de eerste plaats is de titel meest innovatieve universiteit misleidend. Het gaat niet om het innovatieve karakter van de desbetreffende universiteit als zodanig, maar om het aantal gepatenteerde uitvingen. De bijdrage daarvan aan innovatie is beperkt en komt van slechts een klein aantal universiteiten. Naast patenten leveren universiteiten ook op andere en vaak meer substantiële wijze een bijdrage aan innovatie. Te denken valt aan spin-offs, de vorm en inhoud van het onderwijs en samenwerking met onderzoekers binnen bedrijven[2]. Dit rapport doet hieraan nauwelijks recht.
De productiviteit van de overheidsdienstverlening
De tweede studie heet Government productivity en is uitgevoerd door het McKinsey Center for Government (MCG)[3]. De studie wil aantonen dat overheden wereldwijd $ 3500 miljard te veel uitgeven en dat geld de komende vijf jaar kunnen gebruiken om te bezuinigen of om de effectiviteit van hun dienstverlening te verbeteren (zie onderstaande afbeelding).
Cruciaal is de wijze waarop effectiviteit wordt gemeten. Ik neem het hoger onderwijs – een van de besproken diensten – als voorbeeld. Voor elk land is een index berekend aan de hand van vier datasets: (1) Het aantal afgestudeerden ten opzichte van de instroom, (2) de kwaliteit van het onderwijs, de (3) baankans en het (4) inkomen van afgestudeerden. De kwaliteit van het onderwijs is gebaserd op de jaarlijkse rating van universiteiten door Times Higher Education.
Door per land effectiviteit te delen door kosten per student, berekenden de onderzoekers de productiviteit. De idee is nu dat regeringen de productiviteit van het hoger onderwijs op twee manieren kunnen verhogen: Of ze nemen een voorbeeld aan een land met een vergelijkbare effectiviteit, maar dat minder uitgeeft en ze besparen zo een hoop geld. Of ze spiegelen zich aan een land met een vergelijkbaar uitgavenniveau, maar dat dit geld effectiever besteedt en ze verbeteren zo hun effectiviteit zonder dat dit extra geld kost.
Wat MCG gedaan heeft is op zich ingenieus, maar als grondslag voor beleid schiet de berekening tekort. In de eerste plaats is manier waarop effectiviteit is geoperationaliseerd triviaal. Neem het Verenigd Koninkrijk. Dit is topscorer op het gebied van effectiviteit. Dit komt vooral door de hoge score van universiteiten in het Verenigd Koninkrijk op de rating van Times Higher Education, die overigens vooral wetenschappelijke reputatie meet. De universitaire infrastructuur in dat land is in eeuwen opgebouwd, mede dankzij omvangrijke schenkingen van particulieren. Geen enkel land kan binnen de gestelde vijf jaar voorzien in een vergelijkbaar stelsel, nog afgezien van het feit dat wetenschappelijke reputatie niet hetzelfde is als kwaliteit van het onderwijs. Maar ook op het gebied van werkgelegenheid en inkomen van afgestudeerden is de invloed van overheden beperkt. Het is een illusie dat landen geld kunnen besparen of hun geld effectiever kunnen besteden dankzij de berekeningen van McKinsey.
In beide voorbeelden is sprake van enorme datasets, ingenieuze berekeningen, maar triviale en zelfs misleidende resultaten. Het komt omdat gecomplicerde onderwerpen, zoals het innovatieve karakter van universiteiten en de effectiviteit van het hoger onderwijs vertaald worden naar enkele variabelen waarvoor data beschikbaar zijn (proxies). Het gevolg is een vergaand reductionisme, dat voorbij gaat aan de gecompliceerdheid van de onderwerpen en aan de uiteenlopende denkbeelden daarover.
We gaan dit reductionisme steeds vaker zien, ook binnen wetenschappelijk onderzoek. Het is immers verleidelijk om uit te gaan van bestaande datasets in plaats van eerst de gebruikte begrippen uit te diepen en op basis daarvan te bepalen welke gegevens nodig zijn. Beleid dat op deze manier tot stand komt, berust op drijfzand.
[1] Het rapport kan hier worden bekeken: http://www.reuters.com/article/us-reutersrankings-europeanuniversities-idUSKBN17Z09T#list
[2] Herman van den Bosch: Universiteit en bedrijfsleven: een moeizame relatie in:Robert Kok e.a.: Versterking van innovatie, Boom 2013, p. 201-215.
[3] Dit rapport en zijn samenvatting kan vanaf deze site worden gedownload: http://www.mckinsey.com/industries/public-sector/our-insights/the-opportunity-in-government-productivity
Een bijzondere bijdrage aan het symposium kwam van Gautam Bahm uit India
Een andere missie
Project 'De humane ruimte' 