Studietaak – Validiteit bij experimenten - Kri!sch reflecteren op de opzet van een onderzoek in termen van het type validiteitsbedreiging

26 belangrijke vragen over Studietaak – Validiteit bij experimenten - Kri!sch reflecteren op de opzet van een onderzoek in termen van het type validiteitsbedreiging

Welke twee kernvragen moet je stellen bij het kritisch beoordelen van de validiteit van een onderzoeksopzet, en welk type validiteit hoort bij elke vraag?

  • Interne validiteit: waardoor is het gevonden verschil ontstaan?
    • Deze vraag gaat over de betrouwbaarheid van de causale conclusie binnen het onderzoek: is verandering in X werkelijk de oorzaak van verandering in Y?
  • Externe validiteit: naar wie, welke situaties, plaatsen en tijdstippen kunnen de resultaten worden gegeneraliseerd?
    • Deze vraag gaat over de generaliseerbaarheid van de onderzoeksuitkomst buiten de onderzochte omstandigheden.

Een probleem kan beide typen validiteit raken. Benoem dan afzonderlijk welke redenering door welk probleem wordt verzwakt.

Aan welke drie voorwaarden moet zijn voldaan om binnen een onderzoek een causale conclusie over X en Y te kunnen trekken, en welke validiteit beschermt dit?

Voor een causale conclusie met voldoende interne validiteit moet aan drie voorwaarden zijn voldaan:
  1. Tijdvolgorde: de verandering in X moet voorafgaan aan de verandering in Y.
  2. Samenhang: X en Y moeten met elkaar samenhangen.
  3. Geen plausibele alternatieve verklaring: er mag geen andere aannemelijke oorzaak zijn die het gevonden effect kan verklaren.

Als vooral een alternatieve verklaring mogelijk blijft, wordt de interne validiteit bedreigd: het onderzoek kan dan niet overtuigend vaststellen dat X de oorzaak van Y is.

Wat is een bedreiging voor de externe validiteit van een onderzoek, en welk kritisch oordeel maakt zo’n bedreiging noodzakelijk?

Een bedreiging voor de externe validiteit maakt onzeker of de uitkomst van een onderzoek ook geldt buiten de concrete omstandigheden waarin het onderzoek is uitgevoerd. Bij kritische reflectie moet je daarom beoordelen of de onderzoeksconclusie gerechtvaardigd kan worden gegeneraliseerd naar andere omstandigheden.
  • Hogere cijfers + sneller leren
  • Niets twee keer studeren
  • 100% zeker alles onthouden
Ontdek Sailabus

Een onderzoek naar de invloed van een gezondheidswaarschuwing gebruikt eerst een vragenlijst over gezondheidsgedrag en toont daarna de waarschuwing. De onderzoeker wil de resultaten generaliseren naar mensen die in het dagelijks leven niet eerst zo’n vragenlijst invullen. Welke bedreiging voor de externe validiteit is hier aanwezig, en waarom?

Er is sprake van interactie tussen de voormeting en de experimentele stimulus, ook wel reactiviteit.
  • De vragenlijst kan deelnemers bewust maken van hun gezondheidsgedrag of hun houding beïnvloeden.
  • Daardoor kunnen zij anders reageren op de gezondheidswaarschuwing dan mensen die geen voormeting hebben gehad.
  • De resultaten van deelnemers met een voormeting kunnen daarom niet zonder meer worden gegeneraliseerd naar mensen zonder voormeting.
  • Deze bedreiging is vooral relevant wanneer de voormeting zelf gedrag of houding beïnvloedt.

Een onderzoeker wil de bedreiging van reactiviteit door een voormeting beperken. Welke drie strategieën kan de onderzoeker gebruiken, en welk nadeel kan een van deze strategieën hebben?

De onderzoeker kan:
  • de voormeting weglaten;
  • een retrospectieve voormeting gebruiken;
  • deelnemers niet volledig informeren over het onderzoek.

Het weglaten van de voormeting kan de interactie tussen voormeting en experimentele stimulus beperken, maar heeft als nadeel dat informatie over het startniveau ontbreekt. De keuze vraagt daarom een afweging tussen een kleinere bedreiging voor de generaliseerbaarheid en het behoud van informatie over de beginsituatie.

Wanneer bedreigt een niet-representatieve steekproef de externe validiteit van een onderzoek, en welke kenmerken kunnen daarbij relevant zijn?

Een niet-representatieve steekproef bedreigt de externe validiteit wanneer de deelnemers geen goede afspiegeling vormen van de doelpopulatie. Daardoor is het onzeker of de onderzoeksuitkomst naar die doelpopulatie kan worden gegeneraliseerd. Beoordeel onder meer:
  • Persoonskenmerken, zoals leeftijd, geslacht en opleidingsniveau.
  • Onderzoekscontext, zoals de plaats, het tijdstip en de omstandigheden van het onderzoek.

Onderzoek met studenten kan daarom niet automatisch worden gegeneraliseerd naar een bredere populatie. Dat is alleen aannemelijk wanneer de onderzochte psychologische processen niet afhangen van verschillen tussen studenten en die populatie.

Een onderzoek vergelijkt twee groepen en vindt een verschil in uitkomst. Leg uit hoe je onderscheidt tussen een niet-representatieve steekproef als bedreiging voor de externe validiteit en selectie als bedreiging voor de interne validiteit.

Het onderscheid hangt af van de vraag die je stelt:
  • Niet-representatieve steekproef: naar wie kan de onderzoeksuitkomst worden gegeneraliseerd? De deelnemers wijken op relevante kenmerken, zoals leeftijd, geslacht of opleidingsniveau, mogelijk af van de doelpopulatie. Dit beperkt de externe validiteit.
  • Selectie als bedreiging: verschillen de vergeleken onderzoeksgroepen van elkaar op een manier die een alternatieve verklaring voor het gevonden effect vormt? Dit bedreigt de interne validiteit.

Een steekproef kan dus wel een probleem vormen voor generaliseerbaarheid zonder dat daarmee automatisch een verschil tussen de onderzoeksgroepen als alternatieve verklaring is aangetoond.

Hoe kan een onderzoeker de invloed beperken van kennis over de groepsindeling bij deelnemers en onderzoekers, en wat betekent het specifiek wanneer een experiment dubbelblind is?

  • Een blind experiment beperkt de invloed van kennis over de groepsindeling bij deelnemers of onderzoekers.
  • Een experiment is dubbelblind wanneer zowel de deelnemers als de onderzoekers niet weten wie in welke groep zit. Hierdoor wordt de kans kleiner dat deelnemers zich naar verwachtingen gedragen of dat onderzoekers reacties selectief waarnemen.

Wanneer vormt een alternatieve verklaring voor een gevonden verschil een bedreiging voor de interne validiteit van een onderzoek, en wat betekent dit voor de interpretatie van het effect van de manipulatie?

Een alternatieve verklaring vormt een bedreiging voor de interne validiteit wanneer zij het gevonden verschil aannemelijker of mede verklaarbaar maakt naast de manipulatie. Daardoor kan de verandering niet overtuigend aan de manipulatie worden toegeschreven. De conclusie dat de manipulatie het effect heeft veroorzaakt, is dan dus onvoldoende onderbouwd.

Een onderzoek naar houdingen tegenover een bepaalde groep gebruikt een voor- en nameting. Tussen beide metingen krijgt een incident rond die groep veel media-aandacht. De houding verandert bij de deelnemers. Welke bedreiging voor de interne validiteit kan hier optreden, en waarom maakt deze gebeurtenis het moeilijk om een verandering aan de experimentele manipulatie toe te schrijven?

Dit is een bedreiging door een tussentijds extern voorval, ook wel history genoemd. De media-aandacht vormt een gebeurtenis buiten het onderzoek die de houding van de deelnemers kan beïnvloeden. Daardoor kan het verschil tussen de voor- en nameting geheel of gedeeltelijk door het incident zijn veroorzaakt in plaats van door de experimentele manipulatie. Hoe langer de periode tussen beide metingen, hoe meer gelegenheid er is voor zulke externe gebeurtenissen.

Een onderzoeker meet het geheugen van kinderen vóór en na een lange geheugentaak en vindt een lagere score na afloop. Er is geen controlegroep. Welke bedreiging voor de interne validiteit past hierbij, en waarom kan de daling niet zonder meer aan de manipulatie worden toegeschreven?

Dit is de bedreiging rijping of groei. De kinderen kunnen tijdens de lange geheugentaak vanzelf minder geconcentreerd raken. Daardoor kan de lagere geheugenscore door natuurlijke verandering in de deelnemers zijn ontstaan, en niet door de manipulatie. Zonder geschikte controlegroep is niet vast te stellen welke verklaring juist is.

Een onderzoek vergelijkt een behandelgroep en een controlegroep met een voormeting en een nameting. De score van deelnemers stijgt bij de nameting. Welk type bedreiging voor de interne validiteit kan deze stijging veroorzaken, en via welk mechanisme?

Dit is een intern testeffect, een bedreiging voor de interne validiteit. De voormeting kan de latere uitkomst beïnvloeden doordat deelnemers:
  • antwoorden uit de voormeting onthouden;
  • vaardiger worden door oefening;
  • gewend raken aan de testsituatie.

Daardoor hoeft een hogere score bij de nameting niet door de behandeling te zijn veroorzaakt. De verandering kan geheel of gedeeltelijk het gevolg zijn van de eerdere meting.

Een onderzoek met een voormeting laat zien dat deelnemers met een nameting anders reageren op een stimulus dan mensen buiten het onderzoek. Is dit een intern testeffect of een externe interactie tussen voormeting en stimulus? Leg het onderscheid uit.

Dit is een externe interactie tussen voormeting en stimulus. Het gaat erom dat mensen die een voormeting hebben gehad anders op de stimulus reageren dan mensen buiten het onderzoek.
  • Bij een intern testeffect verandert de voormeting de latere uitkomst binnen het onderzoek. Daardoor kan een hogere nametingsscore ten onrechte aan de behandeling worden toegeschreven.
  • Bij een externe interactie tussen voormeting en stimulus gaat het om de generaliseerbaarheid: de reactie van deelnemers met een voormeting kan verschillen van de reactie van mensen buiten het onderzoek.

Een onderzoek meet de verandering van deelnemers vóór en na een manipulatie. Voor de voormeting gebruikt de onderzoeker een vragenlijst, maar voor de nameting een andere vragenlijst. Welke bedreiging voor de interne validiteit is hierbij aanwezig, en waarom maakt deze verandering het moeilijk om een gevonden verschil aan de manipulatie toe te schrijven?

Dit is een bedreiging door instrumentatie. Het meetinstrument is tijdens het onderzoek veranderd, waardoor de twee metingen mogelijk niet hetzelfde meten. Een verschil tussen de voor- en nameting kan daardoor ontstaan door de verschillende vragenlijsten in plaats van door een werkelijke verandering bij de deelnemers. Daarom kan de gevonden verandering niet eenduidig aan de manipulatie worden toegeschreven.

Een onderzoek meet klachten bij deelnemers die hulp zoeken omdat hun klachten op dat moment uitzonderlijk ernstig zijn. Bij een nameting zijn de klachten gemiddeld minder ernstig, maar er is geen controlegroep. Op welke bedreiging voor de interne validiteit wijst dit ontwerp, en waarom kan de verbetering niet zonder meer aan de behandeling worden toegeschreven?

Dit wijst op statistische regressie naar het gemiddelde, een bedreiging voor de interne validiteit.
  • Extreme scores bewegen bij een latere meting vaak vanzelf meer richting het gemiddelde.
  • Deelnemers die hulp zoeken vanwege zeer ernstige klachten kunnen bij de nameting gemiddeld minder extreme klachten rapporteren, ook zonder effectieve behandeling.
  • Omdat het onderzoek geen controlegroep bevat, kan de natuurlijke afname niet goed worden onderscheiden van een werkelijk behandelingseffect.
  • De conclusie dat de behandeling de verbetering heeft veroorzaakt, is daarom niet gerechtvaardigd zonder meer ondersteuning.

Een onderzoek gebruikt bestaande schoolklassen om een training te vergelijken met een controlegroep. De leerlingen worden niet willekeurig aan de condities toegewezen. Welke bedreiging voor de interne validiteit moet je kritisch beoordelen, en waarom is deze opzet kwetsbaar?

De relevante bedreiging is selectiebias. Bij een quasi-experiment met bestaande groepen kunnen de groepen vóór de manipulatie al structureel verschillen in bekende of onbekende kenmerken die de uitkomst beïnvloeden. Daardoor kan een verschil tussen de condities niet uitsluitend door de training zijn veroorzaakt. Volledige randomisatie zou iedere deelnemer een gelijke kans geven op toewijzing aan elke conditie, waardoor persoonskenmerken bij voldoende deelnemers gemiddeld beter over de condities worden verspreid.

Een onderzoek kan deelnemers niet volledig randomiseren. De onderzoekers beperken bekende groepsverschillen met matching, een blokdesign of statistische controle. Hoe beoordeel je deze aanpak in vergelijking met volledige randomisatie, en wat is het verschil tussen precisiecontrole en globale controle?

Deze aanpak kan bekende verschillen beperken, maar neemt selectiebias niet op dezelfde manier weg als volledige randomisatie. Volledige randomisatie verspreidt bekende en onbekende persoonskenmerken bij voldoende deelnemers gemiddeld over de condities.
  • Precisiecontrole: vergelijkbare personen worden aan elkaar gekoppeld en daarna willekeurig over de condities verdeeld.
  • Globale controle: belangrijke kenmerken komen in beide groepen ongeveer even vaak voor, zonder dat personen op alle kenmerken precies aan elkaar worden gekoppeld.
Onbekende of resterende systematische verschillen kunnen daardoor nog steeds een bedreiging vormen voor de interne validiteit.

Een onderzoek naar de effectiviteit van een behandeling tegen depressie begint met deelnemers met uiteenlopende depressieniveaus. Tijdens het onderzoek verlaten vooral deelnemers met de zwaarste depressie de studie. Welk type bedreiging voor de interne validiteit is dit, en hoe kan deze uitval de conclusie over het verschil tussen de behandelcondities vertekenen?

Dit is de bedreiging uitval, meer specifiek selectieve of niet-willekeurige uitval. De interne validiteit wordt bedreigd omdat het verlaten van de studie samenhangt met de ernst van de depressie. Daardoor zijn de uiteindelijke resultaten vooral gebaseerd op deelnemers met minder ernstige depressie. Het gevonden verschil tussen de behandelcondities kan dan mede door deze selectieve uitval zijn ontstaan, in plaats van uitsluitend door de behandeling.
  • Bij willekeurige uitval is de samenstelling van de overgebleven deelnemers niet systematisch veranderd.
  • Bij niet-willekeurige uitval kan ook de behandeling of het meetinstrument samenhangen met wie uitvalt, waardoor de vergelijking tussen condities wordt vertekend.

Welke bedreiging voor de interne validiteit ontstaat wanneer deelnemers uit een controlegroep met deelnemers uit een experimentele groep praten over de behandeling, of wanneer docenten lesmateriaal uit de experimentele conditie aan de controlegroep doorgeven? Leg uit hoe deze bedreiging de interpretatie van het behandelingseffect beïnvloedt.

Dit is verspreiding van de manipulatie. De controlegroep ontvangt daardoor gedeeltelijk toch de behandeling of manipulatie die bedoeld was voor de experimentele groep.
  • Het verschil tussen de experimentele groep en de controlegroep wordt hierdoor kleiner.
  • Een onderzoeker kan dat kleinere verschil ten onrechte interpreteren als bewijs voor een zwak behandelingseffect.
  • De interne validiteit wordt bedreigd, omdat het geobserveerde groepsverschil niet meer zuiver kan worden toegeschreven aan het verschil in behandeling.

Een onderzoek vergelijkt een experimentele groep met een controlegroep. De controlegroep weet dat zij met de experimentele groep wordt vergeleken en doet daardoor extra hard haar best om de voorspelling van de onderzoekers te weerleggen. Welk type bedreiging voor de interne validiteit is dit, en waarom bemoeilijkt het een zuivere interpretatie van het groepsverschil?

Dit is compenserende rivaliteit, ook wel het John Henry-effect genoemd. De controlegroep wijkt door haar kennis van de vergelijking af van wat zonder die kennis zou zijn gebeurd. Het gevonden verschil tussen de experimentele en controlegroep weerspiegelt daardoor niet alleen het effect van de experimentele manipulatie, maar ook de extra inspanning van de controlegroep.

Hoe beoordeel je de interne validiteit van een onderzoeksopzet waarin zowel selectie-bias als rijping kan optreden? Leg uit waarom je deze bedreigingen niet alleen afzonderlijk, maar ook in combinatie moet analyseren.

De interne validiteit kan extra sterk worden bedreigd wanneer selectie-bias en rijping gelijktijdig optreden.
  • Selectie-bias: verschillen tussen deelnemers of groepen kunnen samenhangen met de manier waarop zij zijn geselecteerd.
  • Rijping: deelnemers kunnen tijdens het onderzoek veranderen.
  • Combinatie: de twee bedreigingen kunnen elkaar versterken, waardoor het moeilijker wordt om veranderingen aan de onderzochte factor toe te schrijven.
Een kritische beoordeling moet daarom nagaan welke afzonderlijke bedreigingen aanwezig zijn én of hun combinatie de interne validiteit verder vermindert.

Wat betekenen de symbolen O, X, R en NR in de notatie van een onderzoeksopzet?

  • O staat voor een observatie of meting van de afhankelijke variabele.
  • X staat voor de experimentele stimulus of behandeling.
  • R staat voor randomisatie: deelnemers worden willekeurig aan groepen toegewezen.
  • NR staat voor het ontbreken van randomisatie.

Waarom ondersteunt een gerandomiseerd pretest-posttestdesign met controlegroep een causale conclusie sterker dan een quasi-experimenteel pretest-posttestdesign?

In beide designs worden de experimentele en controlegroep vóór en na de behandeling gemeten.
  • Bij een gerandomiseerd design zijn de groepen door randomisatie naar verwachting bij de start vergelijkbaar. Een verschil in de nameting kan daardoor beter aan de behandeling worden toegeschreven.
  • Bij een quasi-experimenteel design zijn de groepen niet gerandomiseerd. De voormeting maakt zichtbare startverschillen zichtbaar, maar heft die verschillen niet op. Daardoor kunnen groepsverschillen een alternatieve verklaring voor het gevonden effect blijven.

Welke effecten kan het Solomon-vier-groependesign onderzoeken, en welke informatie leveren de verschillende groepen?

Het Solomon-vier-groependesign combineert groepen met en zonder voormeting en met en zonder behandeling. Daardoor kan het twee belangrijke kwesties onderzoeken:
  • Een testeffect: of de voormeting zelf de nameting beïnvloedt.
  • Een interactie tussen voormeting en behandeling: of de behandeling anders werkt wanneer deelnemers eerst een voormeting hebben gehad.
De groepen zonder voormeting zijn niet door die meting beïnvloed. De groepen met voormeting geven informatie over het startniveau en mogelijke effecten van de voormeting.

Een gerandomiseerd pretest-posttestonderzoek gebruikt een controlegroep, maar deelnemers met de zwaarste klachten vallen vooral tijdens het onderzoek uit. Welke bescherming biedt randomisatie aanvankelijk, welke nieuwe bedreiging ontstaat door de uitval en waarom blijft een causale conclusie daardoor onzeker?

Randomisatie verkleint aanvankelijk de kans op selectie bias, omdat bekende en onbekende persoonskenmerken gemiddeld over de condities worden verdeeld. Selectieve uitval kan die vergelijkbaarheid later echter verstoren: als vooral deelnemers met zware klachten wegvallen, zijn de overblijvende groepen niet langer noodzakelijk vergelijkbaar. Het gevonden verschil kan dan mede door de samenstelling van de uiteindelijke groepen zijn ontstaan en niet alleen door de behandeling. De oorspronkelijke randomisatie beschermt dus niet volledig tegen vertekening door niet-willekeurige uitval.

Een onderzoek bevat een voormeting en een experimentele behandeling, maar de onderzoeker wil zowel een intern testeffect als een externe interactie tussen voormeting en behandeling beoordelen. Hoe kan het Solomon-vier-groependesign hierbij helpen, en welke beperking van een posttest-onlydesign voorkomt het gebruik van groepen met een voormeting?

Het Solomon-vier-groependesign vergelijkt groepen met en zonder voormeting, zowel met als zonder behandeling. Daardoor kan de onderzoeker nagaan of de voormeting de latere score binnen het onderzoek beïnvloedt en of zij de reactie op de behandeling verandert ten opzichte van mensen zonder voormeting. Een posttest-onlydesign voorkomt wel een intern testeffect, maar geeft geen directe informatie over het startniveau. Groepen met een voormeting zijn daarom nodig om veranderingen en mogelijke voormetingseffecten beter te interpreteren.

De vragen op deze pagina komen uit de samenvatting van het volgende studiemateriaal:

  • Een unieke studie- en oefentool
  • Nooit meer iets twee keer studeren
  • Haal de cijfers waar je op hoopt
  • 100% zeker alles onthouden
Onthoud sneller, leer beter. Wetenschappelijk bewezen.
Trustpilot-logo