Significantie tussen moderator en controle variabele

[Nina van der Steen]

Ik schrijf mijn scriptie over de relatie tussen Perceived Organizational Support (in hoeverrre een werknemer het idee heeft dat hij/zij ondersteund wordt door de manager) en job performance met een modererende rol voor autonomie. Hierbij controleren we voor geslacht, leeftijd en werkuren. Bij het schrijven van mijn scriptie loop ik tegen het volgende probleem aan. Er wordt slechts 1 significante correlatie gevonden en verder zijn de regressie analyses ook niet significant. In mijn resultaten sectie had ik gerapporteerd dat er een significante correlatie was gevonden wat was tussen autonomie (de moderator) en geslacht. Ik kreeg toen de feedback waarom dit uitmaakt voor mijn conceptueel model. Ik las online dat significantie van een controle variabele er misschien voor kan zorgen dat de resultaten beinvloedt worden, maar vroeg me af of dat ook het geval is bij significantie met een moderator. Dus mijn vraag is waarom/of het belangrijk is dat er een significant resultaat is tussen een moderator (autonomie) en een controle variabele (geslacht).

[Begeleider Bastiaan]

Hallo Nina,

Het simpele antwoord op deze vraag is dat de supervisor correct de aandacht bij je conceptueel model houdt. Uiteindelijk kunnen eindeloos veel variabelen worden geanalyseerd en alles kan inherent interessant zijn, maar er zijn een aantal belangrijke punten om te onthouden:

– Hoe meer je toetst, hoe groter de kans dat je bewijs voor een effect vindt puur op basis van kans (een zogenaamde false positive). Je zou die kans kunnen verkleinen aan de hand van een correctie van de p-waarde (bijv. Bonferroni), maar dat voelt gekunsteld, want waar trek je de grens? Dit is daarom sterk af te raden.

– In bevestigend onderzoek (confirmatory research) is het belangrijk hypothesegericht te werken. Je wilt uitspraken doen over specifieke effecten en een bijdrage leveren aan de stand van de literatuur binnen dat specifieke onderwerp. Je beschrijft daarom van tevoren een concept aan de hand van hypotheses (dat je dan samenvat in een conceptueel model), waarin je een bepaalde innovatie introduceert die jij wil gaan onderzoeken. Op die manier bouw je gericht verder op eerder onderzoek en houd je je studie nauw en specifiek. Sommige studies zijn exploratief (exploratory research) en hebben geen van tevoren vastgestelde hypotheses. In dat geval dienen de resultaten ook alleen als mogelijke opties voor toekomstige bevestigende onderzoeken – dat is heel iets anders dan werken vanuit een conceptueel model. De relatie tussen geslacht en autonomie is een heel ander onderwerp dan de relatie tussen perceived organisational support en job performance.

–  In lijn daarmee heb je bewust gekozen te controleren voor geslacht, leeftijd, etc., bijv. omdat uit eerder onderzoek bleek dat die variabelen iets van variantie verklaren in je uitkomstvariabele, maar dat je daar juist geen interesse in hebt! Immers, als je er wel interesse in had, dan zou je dat hebben beschreven in je introductie en die variabelen, bijv. als moderator hebben betrokken in je conceptuele model. Dan zie je ook meteen het probleem: je model wordt dan wel erg complex…

– Het is prima om als tussenweg wat lichte uitspraken te doen over de relatie die je gevonden hebt, maar het gaat dan over enkele regels waarbij je refereert naar bijvoorbeeld eerdere studies die een dergelijke relatie hebben gevonden, of waarbij je concreet omschrijft waarom dit een interessant effect is en wat de gevolgen ervan zouden kunnen zijn voor een toekomstig conceptueel model (moet geslacht daarin expliciet een rol spelen?). Echter, dit is een slippery slope – het is belangrijk dat je aandacht niet wordt gevestigd op dit significante effect, omdat je onderzoek daar dus niet over gaat. In plaats daarvan is het evenzo interessant om heel concreet en diepgaand uit te werken waarom jij de relaties die je verwacht had te vinden niet hebt gevonden. Maak daarbij heel expliciet een vergelijking met eerdere studies die bepaalde relaties wel rapporteren: hoe verhouden die studies zich tot jouw onderzoek? Dat helpt om te interpreteren waarom jij iets niet vindt, terwijl je dat wel had verwacht en in de inleiding had besproken dat het een logisch idee zou zijn (immers, dat is het doel van de inleiding).

– Tot slot is het belangrijk te beseffen dat de kwaliteit van je studie niet is af te lezen uit of effecten significant zijn of niet. Het meeste onderzoek vindt geen significante effecten. Helaas verdwijnen veel studies met zulke zogenaamde nulbevindingen in de kast en worden die nooit echt gepubliceerd (het zgn. filedrawer probleem). Je scoort punten door diepgaande interpretaties te geven aan je resultaten, ook als die niet in lijn waren met je hypotheses, en door die resultaten te plaatsen in het licht van het onderzoekveld en andere studies.