[Column] Arno van Welzen (Choice): Onderzoek is geen hobby: de risico's van doe-het-zelf data

Zou jij zelf de remleidingen van je auto repareren? Of de beveiliging van je IT-systemen? Of je eigen media-inkoop doen voor campagnes?

Waarom zou je dan wel zelf je eigen onderzoek doen via één van de vele DIY-tools voor onderzoek?

Omdat het kan? Omdat je toch zelf het beste weet wat je eruit wilt halen? Omdat jij je markt toch kent? Omdat je toch zelf ook de hele dag vragen stelt? In dat geval kun je ook prima de remleidingen van je auto vervangen. Want je rijdt toch zelf in die auto? Je remt er elke dag mee. Of je eigen media inkoop. Want je kijkt toch zelf ook iedere dag tv? Of op Instagram?

Maar zoals ik in mijn eerdere post(s) al heb aangegeven, is onderzoek een vak. Een vragenlijst ontwerpen (ja, ik noem dit met opzet ontwerpen en niet opstellen) ook. Net als een goede check op de validiteit, op de data, op de representativiteit. En de eventuele correctie daarvan.

Want hoeveel niet-onderzoekers kunnen uitleggen:

Wat het verschil is tussen betrouwbaarheid en validiteit?
Hoe je een representatieve steekproef trekt?
Wanneer resultaten significant zijn?
Waarom en hoe je moet wegen?

Hoe je vraagvolgorde-effecten voorkomt?

Stilte

Waarom is dit gevaarlijk?

Confirmation bias: je hoort wat je wilt horen
Garbage in, garbage out: slechte vragen = waardeloze data
Sample bias: je bereikt alleen de usual suspects
Tunnelvisie: je mist de signalen die je niet zoekt
Emotionele betrokkenheid: objectiviteit? Ho maar!

Allemaal zaken die de DIY-tools niet voor je oplossen. Daar heb je een professional voor nodig. Een expert. Net als bij die remleidingen. Daar ga je toch zelf niet mee klooien?

Dus die 'doe-het-zelf'-survey tools? Dat is als een doorgeladen pistool in de handen van een kind. Gevaarlijk, vooral omdat je niet doorhebt hóe gevaarlijk het is.

Happy Halloween!

Arno van Welzen is oprichter en strateeg bij CHOICE insights + strategy

www.choice-insights.nl

Volg Marketing Report op LinkedIn!