Hoe kwantitatief onderzoek kwaliteit verhult….

28 Nov

Voor mij ligt een prachtig boek: Op zoek naar het DNA van de Brabantse topondernemer[1] van Ger Post.  De kern – en tevens het sterkste deel van het boek – zijn de portretten van 25 ondernemers waarop Brabant trots mag zijn.  Er valt veel over dit boek te zeggen. In de eerste plaats; lees het! Raadpleeg dan wel de onderstaande bijsluiter[2].

Scores op competentieschalen van ervaren en onervaren ondernemers

Scores op competentieschalen van ervaren (blauw) en startende (rood) ondernemers

Ik geneer me als wetenschapper voor een onbedoelde consequentie van dit boek. Dat is de vergelijking tussen de geportretteerde ondernemers met startende ondernemers. De auteur heeft – als lector business entrepreneurship – terecht gezocht naar een wetenschappelijk kader voor de gesprekken met ondernemers. Daarvoor heeft hij aan alle geïnterviewde ondernemers gevraagd de E-scan van Driessen en Zwart in te vullen, en wel dezelfde versie die ook voor startende ondernemers wordt gebruikt. Invullen van deze scan resulteert in een score op tien voor ondernemerschap relevante competenties. Uit het nevenstaande overzicht blijkt dat de scores elkaar niet veel ontlopen.

De auteur had de vergelijking tussen ervaren en startende ondernemers beter niet kunnen maken. Zij is methodologisch onjuist. Je mag personen die zichzelf beoordelen alleen met elkaar vergelijken, als je weet dat zij ongeveer hetzelfde referentiekader hebben. Dat weet je overigens zelden en daarom is het gebruik van schalen, ook al zijn ze gevalideerd, tricky.

Als je aan een ervaren en aan een startende ondernemer vraagt hoe zij in risicovolle situaties handelen dan weet je zeker dat ze die situaties geheel verschillend beoordelen. Dat geldt ook bij elk van de andere competenties. Vergelijk het maar met het stellen van de vraag of er een Elfstedentocht gehouden kan worden aan een overenthousiaste jonge schaatser of aan een Friese ijsmeester.

Ik heb in verschillende fasen van mijn leven deelgenomen aan competentietests. Ik merkte dat ik ernaar tendeerde mezelf steeds lager in te schalen. Met ervaring neemt het aantal nuances binnen je referentiekader toe. Ervaring leidt ook tot het besef dat competenties vaak polair van aard zijn: tegenover risicobereidheid staat verantwoordelijkheid, tegenover flexibiliteit staat vasthoudendheid. Hoe meer je je van dergelijke spanningsvelden bewust wordt, hoe meer je neigt naar het midden. Tenminste, als je generieke antwoorden moet geven. In concrete gevallen waarvan je de context kent, tendeer je vaker naar een van de polen: Je kent de omstandigheden die het verschil maken tussen aanvaardbaar risico en roekeloos handelen.

Competent gedrag is met andere woorden context-specifiek. Hoe ervarener je als ondernemer bent, hoe beter je de context kunt ‘lezen’ en hoe groter de kans is dat je een goede keuze maakt. En dat gaat nog vaak genoeg fout. Ook geluk speelt een belangrijke rol.

Met mijn commentaar wil ik vooral wijzen op de grenzen van het gebruik van kwantitatieve methoden bij onderzoek als dit. De rijkdom van 25 ondernemerslevens wordt samengeperst in tien of zelfs één samengestelde score.

Ik zou hebben gekozen voor een kwalitatieve analyse van de interviews. Ik had dan uit elk gesprek een aantal kritieke succes- en faalfactoren gehaald en – indien mogelijk – daarbij ook de context vermeld[3]. Vervolgens had ik deze factoren gegroepeerd en bekeken of zij paarsgewijs polen zijn van één dimensie. Om dit mogelijk te maken is informatie over de context van belang: In de ene situatie is een acquisitie een aanvaardbaar risico; in de andere een onverantwoorde daad. Tenslotte had ik gekeken naar overeenkomsten en verschillen tussen ondernemers. Ik hoopte dan dat ik bij vergelijkbare context meer overeenkomsten dan verschillen zou vinden. Hiermee had ik een profielschets van de ervaren ondernemer kunnen maken.

De betrokken ondernemers

De betrokken ondernemers

Kwantitatief onderzoek lijkt nog steeds een hoger aanzien te hebben dan kwalitatief onderzoek. Het wordt daarom te pas en te onpas gebruikt. In dit geval levert het geen inzicht in de levensgrote verschillen tussen startende en ervaren ondernemers.


[1] Uitgave Fontys Hogescholen in samenwerking met Brabants-Zeeuwse Werkgeversvereniging, Eindhoven 2013 ISBN 978-946226-012-2

[2] In een volgende post reflecteer ik op het begrip ondernemerschap, mede naar aanleiding van dit boek

[3] Een analyse zoals hier beschreven wordt in de praktijk uitgevoerd door enkele onafhankelijke beoordelaars, die achteraf hun resultaten vergelijken en bespreken.

Advertenties

Eén reactie to “Hoe kwantitatief onderzoek kwaliteit verhult….”

  1. hein vrolijk 28 november 2013 bij 21:51 #

    Volgens mij gaat het niet om kwantitatief versus kwalitatief onderzoek maar om goed versus slecht onderzoek. Dit lijkt mij een voorbeeld van slecht (kwantitatief) onderzoek, en wel hierom:
    1. Er is geen enkele robuuste reden om te verwachten dat starters dezelfde scores zouden hebben als topondernemers. Dat uit de black box van Driessen wèl vergelijkbare scores naar voren komen, is dus een slecht teken.
    2. Het is eerder te verwachten dat startende ondernemers slechter scoren dan topondernemers want de laatste groep bevat 100% toppers (per definitie) terwijl je van startende ondernemers mag verwachten dat bijv. 50% mislukt.
    3. En nu komt de aap uit de mouw: de E-scan van Driessen meet niet de feitelijke kwaliteiten van (beginnende) ondernemers maar de kwaliteiten die zij zichzelf toeschrijven (dus de gewenste kwaliteiten). Alleen dan is te verklaren waarom starters dezelfde scores hebben als topondernemers: zij willen zo graag ook topondernemers zijn (en dat lijkt mij nogal wiedes, en heel gezond).
    4. Tot slot: goed onderzoek is navolgbaar en reproduceerbaar, wat betekent dat iemand anders dan Driessen dezelfde scores krijgt bij een vergelijkbare groep (startende) ondernemers. Op dit punt blijft dit instrument volledig in gebreke.

    Overigens geldt dat laatste ook vaak bij kwalitatief onderzoek.

    hein vrolijk.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: