Terug naar overzicht

Publicatiebias

Thomas van Straaten, 26 oktober 2015

De publicatiebias en andere wetenschappelijke onhebbelijkheden 

Wij zijn bij Consumatics dol op wetenschappelijk onderzoek! Logisch, want in een wereld vol meningen en ideeën is het erg fijn als er ook gewoon objectieve feiten gepresenteerd worden. En die feiten bieden inzichten die van grote waarde zijn voor organisaties. ‘Moet ik nu route A of route B nemen?’ De juiste wetenschappelijke onderbouwing kan de kans op succes aanzienlijk vergroten.

Gedegen onderbouwd advies

De wetenschap is dan ook ons uitgangspunt. We willen geen populaire, ongefundeerde beweringen doen, maar gedegen onderbouwd advies geven om organisaties écht verder te helpen. Daarom bedienen we ons van bewezen wetenschappelijke werkwijzen. Dat wil zeggen: voldoende grote testpanels, goed geïsoleerde variabelen en grondige statistische analyses. Alles om met een zo groot mogelijke zekerheid vast te kunnen stellen wat de invloed van een specifieke variabele nu werkelijk is.

Toch is de wetenschap niet heilig. Zo hebben we te maken met een principe dat de publicatiebias genoemd wordt. Dit principe houdt in dat wetenschappelijke tijdschriften het liefst interessante ontdekkingen publiceren. “15% meer omzet door de juiste muziek”, is aanzienlijk spannender dan “Allerlei muziekjes geprobeerd, geen enkel effect”. Dit kan ertoe leiden dat uit de literatuur een wat overdreven realiteit naar voren komt. Immers, enkel de aansprekende resultaten worden gepubliceerd.

Wetenschap als houvast

Om bij het voorbeeld van muziek in retail te blijven; uit een gedegen literatuurstudie kan naar voren komen dat door te wisselen van popmuziek naar klassieke muziek de omzet van een winkel met meer dan 10% stijgt. Toch kan dit in de realiteit heel anders uitpakken. Niet alleen de publicatiebias is hierin van belang, ook het feit dat iedere winkel anders is, speelt mee. Het retaillandschap is dusdanig divers, dat het onmogelijk is over universele principes te spreken. Veel gepubliceerde wetenschappelijke onderzoeken beperken zich dan ook tot een specifieke testlocatie en noemen dit als beperking in de discussie. Je moet de onderzoeken zien als een houvast. Een degelijk startpunt, waaruit je een indicatie haalt van de effecten van de mogelijke keuzes waar je voor staat. Cruciaal blijft om de gekozen weg zelf te testen. Jouw eigen winkel of restaurant bestaat uit zoveel variabelen, die allemaal met elkaar interacteren, dat je grof gezegd gewoon eens iets moet proberen om te ontdekken wat het doet.

Test het uit!

Het is van cruciaal belang dat je testen op een wetenschappelijk verantwoorde manier doet. Je wilt natuurlijk wel weten wat de échte invloed van precies die ene knop waar je aan draait nu eigenlijk is. Dit is ook precies waarom Consumatics naast grote onderzoeken veel kleine lokale experimenten uitvoert. “De theorie wijst deze kant op, maar wat doet het nu echt in jouw bedrijf?”

Wij adviseren daarom altijd: gebruik bestaande wetenschappelijke publicaties om een richting te bepalen, en test vervolgens op wetenschappelijke wijze wat er gebeurt in jouw eigen praktijk!