Studietaak – Validiteit bij experimenten - Bedreigers van de interne validiteit herkennen

18 belangrijke vragen over Studietaak – Validiteit bij experimenten - Bedreigers van de interne validiteit herkennen

Wat is interne validiteit, en wanneer vormt een andere factor een bedreiging voor een causale conclusie over het effect van variabele X op variabele Y?

Interne validiteit is de mate waarin een onderzoeksdesign voldoende bewijs geeft om te concluderen dat een verandering in variabele X de oorzaak is van een verandering in variabele Y. Een andere factor bedreigt de interne validiteit wanneer die factor de gevonden verandering of het verschil tussen voor- en nameting, of tussen een experimentele en controlegroep, ook kan verklaren. Dan is niet duidelijk of het effect door de manipulatie van X komt.

Welke drie voorwaarden moeten aanwezig zijn om op basis van onderzoek een causale conclusie te trekken, en hoe helpt experimenteel onderzoek daarbij?

Voor een causale conclusie moeten drie voorwaarden aanwezig zijn:
  • Tijdelijke volgorde: de oorzaak vindt plaats vóór het effect.
  • Samenhang: de oorzaak en het effect hangen met elkaar samen.
  • Geen plausibele alternatieve verklaring: geen andere factor kan de samenhang aannemelijk verklaren.

Experimenteel onderzoek ondersteunt deze voorwaarden door de onafhankelijke variabele te manipuleren en andere storende factoren zo veel mogelijk onder controle te houden. Bij het herkennen van een bedreiging vraag je daarom of een factor het verschil tussen voor- en nameting, of tussen experimentele en controlegroep, kan verklaren zonder dat de behandeling de oorzaak is.

Wat is het verschil tussen history en rijping als bedreigingen voor de interne validiteit van een onderzoek met een voor- en nameting?

  • History ontstaat door een specifieke gebeurtenis buiten het onderzoek die tussen de metingen plaatsvindt en deelnemers beïnvloedt, zoals een groot maatschappelijk incident of een nieuwsgebeurtenis.
  • Rijping ontstaat door veranderingen binnen deelnemers terwijl de tijd verstrijkt, zoals lichamelijke of psychologische ontwikkeling, vermoeidheid of concentratieverlies.
Bij beide bedreigingen kan een verandering tussen voor- en nameting ten onrechte aan de experimentele manipulatie worden toegeschreven. Bij een langere periode tussen metingen is er meer gelegenheid voor zulke alternatieve verklaringen.
  • Hogere cijfers + sneller leren
  • Niets twee keer studeren
  • 100% zeker alles onthouden
Ontdek Sailabus

Een onderzoek meet het aantal fouten van kinderen vóór en na een lange geheugentaak. Na afloop maken de kinderen meer fouten. Hoe kan deze uitkomst de interne validiteit bedreigen, en hoe kan een controlegroep helpen?

De toename in fouten kan worden veroorzaakt door rijping in brede zin, hier specifiek door tijdelijke veranderingen zoals afnemende concentratie of vermoeidheid tijdens het verstrijken van de tijd. De verandering hoeft dus niet door de onderzochte manipulatie te komen.
  • Een controlegroep ondergaat de metingen zonder de experimentele manipulatie.
  • Als ook de controlegroep meer fouten maakt, wijst dat erop dat tijdsgebonden veranderingen, zoals concentratieverlies, een alternatieve verklaring vormen.
  • Als de verandering vooral in de experimentele groep optreedt, is de manipulatie een aannemelijkere verklaring, hoewel de bedreiging daarmee niet automatisch volledig is uitgesloten.

Wat is een testeffect als bedreiging voor de interne validiteit, waardoor kan het ontstaan en hoe kan een onderzoeker het beperken?

Een testeffect ontstaat wanneer een voormeting de prestaties op een latere meting beïnvloedt. Deelnemers kunnen bijvoorbeeld:
  • antwoorden uit de voormeting onthouden;
  • door oefening beter worden;
  • gewend raken aan de testsituatie.

Een hogere score bij de nameting kan daardoor door de eerdere test zijn veroorzaakt en niet door de manipulatie. Mogelijke oplossingen zijn:
  • een onderzoeksdesign zonder voormeting gebruiken;
  • groepen zonder voormeting toevoegen;
  • achteraf een retrospectieve voormeting afnemen.

Wat is voormetingssensitisatie en waarom bedreigt dit de interne validiteit van een treatment-effect?

Voormetingssensitisatie is een specifieke vorm van beïnvloeding door de voormeting. De voormeting maakt deelnemers bewust van het onderwerp van het onderzoek, waardoor zij anders kunnen reageren op de treatment. Een gevonden effect kan dan het gevolg zijn van de combinatie van de voormeting en de treatment, in plaats van van de treatment alleen. De interne validiteit wordt daardoor bedreigd, omdat de verandering niet eenduidig aan de treatment kan worden toegeschreven.

Een onderzoeker meet de intelligentie van kinderen aan het begin en aan het einde van de basisschool, maar gebruikt bij de tweede meting een nieuwe intelligentietest. Welke bedreiging van de interne validiteit is dit, en waarom is dit niet automatisch rijping?

Dit is instrumentatie. Instrumentatie ontstaat wanneer het meetinstrument, de meetprocedure of de beoordelingscriteria tijdens het onderzoek veranderen. De nieuwe intelligentietest kan andere uitkomsten geven doordat de meetmethode anders is, niet doordat de kinderen werkelijk zijn veranderd. De verandering in de resultaten kan dan ten onrechte aan de behandeling worden toegeschreven. Dit is niet automatisch rijping: rijping betreft een natuurlijke verandering bij de deelnemers, terwijl instrumentatie betrekking heeft op een verandering in de meting.

Wat is regressie naar het gemiddelde, en hoe kan deze bedreiging de interne validiteit van een behandelingsevaluatie aantasten?

Regressie naar het gemiddelde is de natuurlijke neiging van een uitzonderlijk hoge of lage score om bij een volgende meting dichter bij het gemiddelde te liggen. Dit vormt een bedreiging voor de interne validiteit wanneer deelnemers vanwege een extreme score worden geselecteerd, bijvoorbeeld mensen met zeer ernstige klachten op hun slechtste moment. Als hun klachten daarna afnemen, kan die verbetering ten onrechte volledig aan de behandeling worden toegeschreven, terwijl een deel van de afname ook zonder behandeling zou zijn opgetreden.

Een onderzoek vergelijkt werknemers die vrijwillig een training in timemanagement volgen met werknemers die niet deelnemen. De deelnemers hebben vóór de training gemiddeld slechtere timemanagementvaardigheden dan de controlegroep. Welke bedreiging voor de interne validiteit is dit, waarom belemmert zij een causale conclusie en hoe kan randomisatie helpen?

Dit is selectie of selectiebias. De groepen verschillen al vóór de behandeling op een relevant kenmerk, namelijk timemanagementvaardigheden. Daardoor kan een verschil in uitkomst na afloop zowel door de training als door het bestaande groepsverschil zijn veroorzaakt. Het behandelingseffect is dan niet eenduidig vast te stellen. Randomisatie helpt systematische verschillen tussen groepen vóór de behandeling te voorkomen, zodat een gevonden verschil sterker aan de behandeling kan worden toegeschreven.

Hoe verschillen selectie en regressie naar het gemiddelde als bedreigingen voor de interne validiteit, en hoe kunnen beide tot een schijnbaar behandelingseffect leiden?

  • Selectie ontstaat doordat groepen vóór de behandeling al verschillen op relevante kenmerken. Een verschil na afloop kan daardoor aan die bestaande kenmerken in plaats van aan de behandeling worden toegeschreven.
  • Regressie naar het gemiddelde ontstaat doordat deelnemers vaak vanwege een extreme score worden geselecteerd. Die score kan bij een volgende meting vanzelf minder extreem worden, ook zonder behandeling.
Bij beide bedreigingen lijkt er een behandelingseffect te zijn, maar de oorzaak van de vertekening verschilt: selectie betreft vooraf bestaande groepsverschillen, terwijl regressie betrekking heeft op de natuurlijke verandering van extreme scores.

Wanneer vormt uitval een bedreiging voor de interne validiteit van een onderzoek, en waarom? Gebruik daarbij het voorbeeld van deelnemers met een zware depressie die voortijdig stoppen.

Uitval bedreigt de interne validiteit wanneer uitvallers systematisch verschillen van de deelnemers die het onderzoek voltooien, bijvoorbeeld in ernst van de klachten, behandeling of relevante kenmerken van de meting.
  • Als deelnemers met de zwaarste depressie eerder stoppen, bestaan de eindresultaten vooral uit deelnemers met minder ernstige klachten.
  • De overgebleven deelnemers vormen daardoor geen goede afspiegeling meer van de oorspronkelijke onderzoeksgroepen.
  • Uitval op zichzelf is dus niet altijd een bedreiging; het systematische verschil tussen uitvallers en deelnemers die overblijven veroorzaakt het probleem.

Wat is verspreiding van de ingreep als bedreiging voor de interne validiteit, hoe ontstaat deze bedreiging en wat betekent zij voor de interpretatie van onderzoeksresultaten?

Verspreiding van de ingreep ontstaat wanneer de controlegroep geheel of gedeeltelijk informatie over of toegang tot de manipulatie van de experimentele groep krijgt. Dit kan bijvoorbeeld gebeuren doordat deelnemers over een behandeling praten of doordat docenten uit de controlegroep lesmateriaal van de experimentele groep overnemen.
  • Mechanisme: de verschillen tussen de experimentele groep en de controlegroep worden kleiner.
  • Gevolg voor gevonden verschillen: een eventueel verschil vormt geen zuivere vergelijking meer.
  • Gevolg voor ontbrekende verschillen: het uitblijven van een verschil betekent niet noodzakelijk dat de behandeling niet werkt.

Wat is compenserende rivaliteit, ook wel het John Henry-effect genoemd, en hoe kan deze bedreiging de interne validiteit van een experiment aantasten?

Compenserende rivaliteit ontstaat wanneer deelnemers in de controlegroep weten of denken dat zij als minder goed worden beschouwd dan de experimentele groep. Zij kunnen daardoor extra hard hun best doen om de experimentele groep te overtreffen.
  • De extra inspanning ontstaat door competitie met de experimentele groep, niet door de experimentele behandeling.
  • Daardoor kan het verschil tussen de groepen kleiner worden.
  • Het effect van de behandeling lijkt dan kleiner dan het werkelijk is, waardoor de interne validiteit wordt bedreigd.

Wat betekent een interactie tussen bedreigingen voor de interne validiteit, en waarom kan de vertekening dan niet voldoende worden verklaard door slechts één bedreiging te onderzoeken?

Een interactie tussen bedreigingen betekent dat twee of meer bedreigingen elkaar versterken of dat hun effecten van elkaar afhangen.
  • Bijvoorbeeld: selectieverschillen tussen groepen kunnen in de loop van de tijd anders uitwerken door rijping.
  • Daardoor ontstaat vertekening uit de combinatie van bestaande groepsverschillen en natuurlijke verandering.
  • De causale conclusie is dan niet goed te beoordelen door alleen selectie of alleen rijping te onderzoeken.

Hoe reconstrueer je een causale vergelijking om een bedreiging voor de interne validiteit te herkennen? Koppel elke beschreven aanwijzing aan de juiste bedreiging: een gebeurtenis tussen metingen, natuurlijke verandering, een eerdere meting, een andere meetmethode, bestaande groepsverschillen en een systematische verandering in de deelnemersgroep.

Reconstrueer eerst welke verandering aan de manipulatie wordt toegeschreven en vraag vervolgens welke andere verklaring hetzelfde patroon kan veroorzaken.
  • Een gebeurtenis tussen metingen wijst op history.
  • Natuurlijke verandering wijst op rijping.
  • Een eerdere meting wijst op een testeffect.
  • Een andere meetmethode wijst op instrumentatie.
  • Bestaande groepsverschillen wijzen op selectie.
  • Een systematische verandering in de deelnemersgroep wijst op uitval.
Deze bedreigingen maken de causale conclusie onzeker omdat de waargenomen verandering ook door een alternatieve oorzaak kan zijn ontstaan.

Hoe kunnen selectie en rijping samen een schijnbaar behandelingseffect veroorzaken in een onderzoek met een experimentele en een controlegroep?

Selectie betekent dat de groepen vóór de behandeling al verschillen. Rijping betekent dat deelnemers in de loop van de tijd vanzelf veranderen, bijvoorbeeld door ontwikkeling, vermoeidheid of concentratieverlies. Als de groepen aanvankelijk verschillen, kan die natuurlijke verandering per groep anders uitwerken. Een verschil bij de nameting kan dan ontstaan door de combinatie van bestaande groepsverschillen en tijdsgebonden verandering, en niet door de behandeling alleen.

Hoe kunnen een voormeting en verspreiding van de manipulatie elk de vergelijking tussen een experimentele en een controlegroep vertekenen?

Een voormeting kan deelnemers oefenen of bewust maken van het onderwerp, waardoor hun latere reacties niet alleen door de behandeling worden bepaald. Bij verspreiding van de manipulatie krijgt de controlegroep informatie over of toegang tot de behandeling, waardoor het verschil tussen de groepen kleiner wordt. In beide gevallen is de vergelijking geen zuivere schatting van het behandelingseffect: de voormeting verandert de reacties, terwijl verspreiding het onderscheid tussen de condities vermindert.

Waarom is uitval vooral problematisch wanneer deelnemers met ernstigere klachten stoppen, en hoe verschilt dit van regressie naar het gemiddelde?

Uitval bedreigt de interne validiteit wanneer de overgebleven deelnemers systematisch verschillen van de uitvallers. Als deelnemers met de zwaarste depressie stoppen, lijken de eindresultaten mogelijk gunstiger omdat vooral minder ernstig depressieve deelnemers overblijven. Bij regressie naar het gemiddelde nemen extreme klachten echter vanzelf vaak af bij een volgende meting, ook zonder selectieve uitval. Beide kunnen een behandeling effectiever laten lijken, maar uitval verandert de samenstelling van de onderzoeksgroep, terwijl regressie voortkomt uit de instabiliteit van extreme scores.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

  • Een unieke studie- en oefentool
  • Nooit meer iets twee keer studeren
  • Haal de cijfers waar je op hoopt
  • 100% zeker alles onthouden
Onthoud sneller, leer beter. Wetenschappelijk bewezen.
Trustpilot-logo