Probability Statistics

# Inferentie voor een enkele proportie Dit onderdeel behandelt de statistische methoden voor het schatten en toetsen van hypotheses over een enkele populatieproportie, inclusief het bepalen van de benodigde steekproefgrootte. ## 1. Inferentie voor een enkele proportie De populatieproportie van 'successen', aangeduid met $p$ of $\pi$, wordt geschat met de steekproefproportie $\hat{p}$. De steekproevenverdeling van $\hat{p}$ is bij benadering normaal verdeeld met een gemiddelde gelijk aan de ware populatieproportie $p$ en een standaardfout van $\sqrt{\frac{p(1-p)}{n}}$, waarbij $n$ de steekproefgrootte is. ### 1.1 Betrouwbaarheidsinterval voor een enkele proportie in een grote steekproef Een betrouwbaarheidsinterval (BI) biedt een reeks plausibele waarden voor de onbekende populatieproportie $p$. Voor grote steekproeven wordt dit als volgt berekend: Het steekproefgemiddelde is de steekproefproportie: $$ \hat{p} = \frac{X}{n} $$ waarbij $X$ het aantal successen in de steekproef is. De standaardfout van de steekproefproportie is: $$ SE(\hat{p}) = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}} $$ Het benaderde betrouwbaarheidsinterval wordt gegeven door: $$ BI = \text{statistiek} \pm \text{foutmarge} = \hat{p} \pm (z^{\ast} \times SE(\hat{p})) $$ Hierbij is $z^{\ast}$ de kritieke waarde uit de standaardnormaalverdeling die overeenkomt met het gewenste betrouwbaarheidsniveau. Deze formule is geschikt indien $X \geq 15$ en $n - X \geq 15$, en het betrouwbaarheidsniveau minimaal 90% is. > **Tip:** De 'plus-vier' methode biedt een verbeterde nauwkeurigheid, vooral bij kleinere steekproeven of proporties die dicht bij 0 of 1 liggen. Hierbij worden 2 successen en 2 mislukkingen 'toegevoegd' aan de data. > De plus-vier schatting van $p$ is: > $$ \tilde{p} = \frac{X+2}{n+4} $$ > Het plus-vier betrouwbaarheidsinterval is dan: > $$ \tilde{p} \pm z^{\ast} \sqrt{\frac{\tilde{p}(1-\tilde{p})}{n+4}} $$ **Voorbeeld:** Iemand beweert dat 50% van de mensen op hun rechter zijde in slaap valt. Een steekproef van 251 personen toonde aan dat 107 dit deden. Bereken en interpreteer een 90% betrouwbaarheidsinterval. Voor een 90% betrouwbaarheidsniveau is $z^{\ast} = 1.645$. $\hat{p} = \frac{107}{251} \approx 0.4263$ $SE(\hat{p}) = \sqrt{\frac{0.4263(1-0.4263)}{251}} \approx \sqrt{\frac{0.4263 \times 0.5737}{251}} \approx \sqrt{0.000975} \approx 0.0312$ Foutmarge: $1.645 \times 0.0312 \approx 0.0513$ BI: $0.4263 \pm 0.0513$, wat resulteert in het interval $[0.375; 0.477]$. Interpretatie: We zijn 90% zeker dat het interval $[0.375; 0.477]$ de ware proportie mensen die inslapen op hun rechter zijde bevat. Aangezien 0.5 niet in dit interval ligt, is er reden om de oorspronkelijke stelling te betwijfelen. ### 1.2 Significantietoets voor een enkele proportie Een significantietoets wordt gebruikt om te beoordelen of waargenomen data bewijs leveren tegen een nulhypothese over de populatieproportie. De $z$-statistiek voor het toetsen van de nulhypothese $H_0: p = p_0$ is: $$ z = \frac{\hat{p} - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} $$ Deze $z$-statistiek is bij benadering standaard normaal verdeeld indien de nulhypothese waar is. De $p$-waarde wordt berekend uit de standaardnormaalverdeling, gebaseerd op de alternatieve hypothese ($H_a$). De test is toepasbaar indien zowel het aantal successen ($n \cdot p_0$) als het aantal mislukkingen ($n \cdot (1-p_0)$) ten minste 10 bedraagt, en de steekproefgrootte $n \geq 10n$. **Voorbeeld:** Een producent van chips moet een lading aardappelen retourneren indien meer dan 8% beschadigd is. Een steekproef van 500 aardappelen toont 47 beschadigde exemplaren. Toets met $\alpha = 0.10$ of de lading teruggestuurd moet worden. Hypothesen: $H_0: p = 0.08$ $H_a: p > 0.08$ Controle van aannames: Random: Een toevalssteekproef van 500 aardappelen. Normaal: Verwacht aantal beschadigden $n \cdot p_0 = 500 \times 0.08 = 40$. Verwacht aantal niet-beschadigden $n \cdot (1-p_0) = 500 \times 0.92 = 460$. Beide zijn groter dan 10. $z = \frac{\frac{47}{500} - 0.08}{\sqrt{\frac{0.08(1-0.08)}{500}}} = \frac{0.094 - 0.08}{\sqrt{\frac{0.08 \times 0.92}{500}}} = \frac{0.014}{\sqrt{\frac{0.0736}{500}}} = \frac{0.014}{\sqrt{0.0001472}} = \frac{0.014}{0.01213} \approx 1.15$ $p$-waarde: $P(z \geq 1.15) = 1 - P(z < 1.15) = 1 - 0.8749 = 0.1251$. Conclusie: Aangezien de $p$-waarde (0.1251) groter is dan $\alpha = 0.10$, wordt $H_0$ niet verworpen. Er is onvoldoende bewijs om te stellen dat meer dan 8% van de lading beschadigd is. ### 1.3 Vereiste steekproefgrootte bepalen Om een populatieproportie te schatten met een gewenste foutmarge $m$ en betrouwbaarheidsniveau, kan de benodigde steekproefgrootte worden berekend. De formule voor de foutmarge is $m = z^{\ast} \sqrt{\frac{p(1-p)}{n}}$. Om $n$ op te lossen, wordt de formule herschreven als: $$ n = \frac{(z^{\ast})^2 \cdot p(1-p)}{m^2} $$ Als er geen eerdere schatting van $p$ beschikbaar is, wordt een conservatieve schatting van $p^{\ast} = 0.5$ gebruikt, omdat dit de grootste waarde voor het product $p(1-p)$ oplevert en dus de grootste benodigde steekproefgrootte garandeert. **Voorbeeld:** Bepaal de steekproefgrootte om $p$ te schatten binnen een marge van 0.03 met 95% betrouwbaarheid. Voor 95% betrouwbaarheid is $z^{\ast} = 1.96$. Conservatieve schatting van $p^{\ast} = 0.5$. Foutmarge $m = 0.03$. $$ n = \frac{(1.96)^2 \cdot 0.5(1-0.5)}{(0.03)^2} = \frac{3.8416 \cdot 0.25}{0.0009} = \frac{0.9604}{0.0009} \approx 1067.11 $$ Omdat een fractie van een respondent niet mogelijk is, wordt naar boven afgerond. Er zijn dus 1068 respondenten nodig. --- # Inferentie voor twee proporties Dit hoofdstuk behandelt methoden voor het vergelijken van twee proporties afkomstig uit verschillende populaties of steekproeven, met inbegrip van betrouwbaarheidsintervallen, significantietoetsen en het relatieve risico. ### 2.1 Het vergelijken van twee proporties Het vergelijken van twee proporties, aangeduid als $p_1$ en $p_2$ (of $\pi_1$ en $\pi_2$), is essentieel om te bepalen of een bepaald kenmerk relatief vaker voorkomt in populatie 1 dan in populatie 2. De standaardmethode hiervoor is het nemen van een enkelvoudige aselecte steekproef (EAS) uit elke populatie en vervolgens de resulterende steekproefproporties te vergelijken. #### 2.1.1 Steekproevenverdeling van een verschil tussen twee proporties bij grote steekproeven Wanneer we twee EAS'en met omvang $n_1$ en $n_2$ trekken uit grote populaties met respectievelijke onbekende proporties $p_1$ en $p_2$, is de steekproefproportie voor de eerste steekproef $\hat{p}_1 = \frac{X_1}{n_1}$ en voor de tweede steekproef $\hat{p}_2 = \frac{X_2}{n_2}$, waarbij $X_1$ en $X_2$ het aantal "successen" in de respectievelijke steekproeven zijn. Het verschil tussen de twee steekproefproporties, $\hat{p}_1 - \hat{p}_2$, heeft bij benadering een normale verdeling indien de steekproeven groot genoeg zijn. De voorwaarden voor deze benadering zijn doorgaans dat voor beide steekproeven het aantal successen ($n\hat{p}$) en het aantal mislukkingen ($n(1-\hat{p})$) groter dan of gelijk aan 10 zijn. De gemiddelde waarde van dit verschil is gelijk aan het werkelijke verschil tussen de populatieproporties: $$ E(\hat{p}_1 - \hat{p}_2) = p_1 - p_2 $$ De standaardfout van het verschil tussen de twee steekproefproporties wordt gegeven door: $$ SE(\hat{p}_1 - \hat{p}_2) = \sqrt{\frac{p_1(1-p_1)}{n_1} + \frac{p_2(1-p_2)}{n_2}} $$ Omdat de populatieproporties $p_1$ en $p_2$ onbekend zijn, wordt de standaardfout geschat met de steekproefproporties: $$ \widehat{SE}(\hat{p}_1 - \hat{p}_2) = \sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}} $$ #### 2.1.2 Betrouwbaarheidsinterval van een verschil tussen twee proporties bij grote steekproeven Een betrouwbaarheidsinterval voor het verschil tussen twee populatieproporties ($p_1 - p_2$) wordt berekend als: $$ (\hat{p}_1 - \hat{p}_2) \pm z^\ast \times \widehat{SE}(\hat{p}_1 - \hat{p}_2) $$ Hierbij is $z^\ast$ de kritieke waarde uit de standaardnormaalverdeling die overeenkomt met het gewenste betrouwbaarheidsniveau. Dit interval geeft een bereik van plausibele waarden voor het werkelijke verschil tussen de twee populatieproporties. > **Tip:** De aanname dat de steekproefgrootte groot genoeg is, wordt vaak gecontroleerd door te eisen dat het aantal successen ($n\hat{p}$) en het aantal mislukkingen ($n(1-\hat{p})$) in beide steekproeven minstens 10 zijn. **Voorbeeld gebruik sociale media:** Stel, we willen het verschil in gebruik van sociale netwerksites tussen Amerikaanse tieners en volwassenen schatten. Uit een EAS van 800 tieners geeft 73% aan sociale netwerksites te bezoeken, en uit een EAS van 2253 volwassenen geldt dit voor 47%. We stellen een 95% betrouwbaarheidsinterval op voor het verschil $p_1 - p_2$, waarbij $p_1$ de proportie tieners en $p_2$ de proportie volwassenen is. De steekproefproporties zijn $\hat{p}_1 = 0.73$ en $\hat{p}_2 = 0.47$. Het verschil is $\hat{p}_1 - \hat{p}_2 = 0.73 - 0.47 = 0.26$. De geschatte standaardfout is: $$ \widehat{SE}(\hat{p}_1 - \hat{p}_2) = \sqrt{\frac{0.73(1-0.73)}{800} + \frac{0.47(1-0.47)}{2253}} = \sqrt{\frac{0.1971}{800} + \frac{0.2492}{2253}} \approx \sqrt{0.000246 + 0.000111} \approx \sqrt{0.000357} \approx 0.0189 $$ Voor een 95% betrouwbaarheidsniveau is $z^\ast \approx 1.96$. De foutmarge is $1.96 \times 0.0189 \approx 0.037$. Het 95% betrouwbaarheidsinterval is $0.26 \pm 0.037$, wat resulteert in [0.223; 0.297] of [22.3%; 29.7%]. Dit betekent dat we met 95% betrouwbaarheid kunnen stellen dat de proportie Amerikaanse tieners die sociale media gebruiken tussen 22.3% en 29.7% hoger ligt dan bij volwassenen. #### 2.1.3 Meer-accurate betrouwbaarheidsintervallen voor de vergelijking van proporties Net als bij inferentie voor een enkele proportie, kan de nauwkeurigheid van betrouwbaarheidsintervallen voor het verschil tussen twee proporties worden verbeterd door een aanpassing toe te passen, zoals het toevoegen van een aantal imaginaire waarnemingen (bijvoorbeeld 2 successen en 2 mislukkingen in elke groep). #### 2.1.4 Significantie toets voor het vergelijken van proporties Een significantietoets voor het vergelijken van twee proporties helpt te bepalen of een waargenomen verschil tussen twee steekproefproporties significant is, of dat het waarschijnlijk het gevolg is van toevallige steekproefvariatie. De nulhypothese is doorgaans $H_0: p_1 - p_2 = 0$, wat equivalent is aan $H_0: p_1 = p_2$. De alternatieve hypothese kan eenzijdig zijn ($H_a: p_1 > p_2$ of $H_a: p_1 < p_2$) of tweezijdig ($H_a: p_1 \neq p_2$). Als de nulhypothese waar is ($p_1 = p_2 = p$), dan schatten we de gemeenschappelijke populatieproportie $p$ door de gegevens van beide steekproeven samen te voegen. De gepoelde (of gecombineerde) steekproefproportie, $\hat{p}_{\text{gepoolt}}$, wordt berekend als: $$ \hat{p}_{\text{gepoolt}} = \frac{X_1 + X_2}{n_1 + n_2} $$ De teststatistiek voor de $z$-toets voor het verschil tussen twee proporties is: $$ z = \frac{(\hat{p}_1 - \hat{p}_2) - 0}{\sqrt{\hat{p}_{\text{gepoolt}}(1-\hat{p}_{\text{gepoolt}})(\frac{1}{n_1} + \frac{1}{n_2})}} $$ Deze $z$-statistiek volgt bij benadering een standaardnormaalverdeling onder de nulhypothese, mits aan de voorwaarden voor grote steekproeven is voldaan (aantal successen en mislukkingen $\geq 10$ in beide groepen, of soms $\geq 5$ afhankelijk van de bron). > **Tip:** De $p$-waarde van de toets wordt bepaald uit de standaardnormaalverdeling op basis van de berekende $z$-statistiek en de richting van de alternatieve hypothese. Als de $p$-waarde kleiner is dan het significantieniveau $\alpha$, wordt de nulhypothese verworpen. **Voorbeeld significantietoets op proporties:** Onderzoekers willen weten of het percentage kinderen dat zonder ontbijt naar school komt, verschilt tussen twee scholen in achtergestelde wijken. In school 1 hadden 19 van de 80 onderzochte kinderen niet ontbeten ($\hat{p}_1 = 19/80 = 0.2375$). In school 2 hadden 26 van de 150 onderzochte kinderen niet ontbeten ($\hat{p}_2 = 26/150 \approx 0.1733$). We testen met $\alpha = 0.05$. Hypothesen: $H_0: p_1 - p_2 = 0$ $H_a: p_1 - p_2 \neq 0$ Voorwaarden: Random: De data komen van twee EAS'en. Normaal: Aantal successen en mislukkingen controleren. School 1: Successen = 19, Mislukkingen = 80 - 19 = 61. School 2: Successen = 26, Mislukkingen = 150 - 26 = 124. Beide aantallen zijn groter dan 5 (of 10), dus de normale benadering is redelijk. Gepoelde proportie: $$ \hat{p}_{\text{gepoolt}} = \frac{19 + 26}{80 + 150} = \frac{45}{230} \approx 0.1957 $$ $z$-statistiek: $$ z = \frac{(0.2375 - 0.1733) - 0}{\sqrt{0.1957(1-0.1957)(\frac{1}{80} + \frac{1}{150})}} = \frac{0.0642}{\sqrt{0.1575(0.0125 + 0.00667)}} = \frac{0.0642}{\sqrt{0.1575 \times 0.01917}} \approx \frac{0.0642}{\sqrt{0.00302}} \approx \frac{0.0642}{0.055} \approx 1.167 $$ De $p$-waarde voor een tweezijdige toets bij $z \approx 1.17$ is $P(|Z| > 1.17) \approx 0.2420$. Omdat $p$-waarde ($0.2420$) > $\alpha$ ($0.05$), kunnen we de nulhypothese niet verwerpen. Er is onvoldoende bewijs om te concluderen dat de proporties kinderen die zonder ontbijt naar school komen significant verschillen tussen de twee scholen. #### 2.1.5 Relatief Risico Een andere methode om twee proporties te vergelijken is door de verhouding van de proporties te beschouwen, bekend als het relatieve risico (RR). Het relatieve risico van 1 duidt op gelijke proporties. $$ RR = \frac{p_1}{p_2} $$ Het berekenen van een betrouwbaarheidsinterval voor het relatieve risico is complexer en vereist doorgaans gespecialiseerde software, maar is gebaseerd op dezelfde inferentiële principes. **Voorbeeld relatief risico:** Een studie naar de leeftijd waarop een vrouw haar eerste kind krijgt en het risico op borstkanker toonde aan dat vrouwen die hun eerste kind na hun 30ste kregen, 1.45 keer meer risico op borstkanker liepen dan vrouwen die hun eerste kind voor hun 30ste kregen. De 95% betrouwbaarheidsinterval was [1.34; 1.57]. Dit suggereert dat vrouwen met een eerste kind na hun 30ste een significant verhoogd risico op borstkanker hebben. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Inferentie | Het proces van het trekken van conclusies over een populatie op basis van gegevens uit een steekproef. Dit omvat het maken van schattingen en het toetsen van hypothesen. | | Proportie (Fractie) | Een deel of aandeel van een geheel, vaak uitgedrukt als een decimaal getal tussen 0 en 1, of als een percentage. In statistiek vertegenwoordigt het de verhouding van een bepaald kenmerk binnen een populatie of steekproef. | | Betrouwbaarheidsinterval | Een reeks waarden die, met een bepaald betrouwbaarheidsniveau, naar verwachting de ware populatieparameter zal bevatten. Het geeft een bereik van plausibele waarden voor de parameter. | | Significantieniveau ($\alpha$) | Het gekozen waarschijnlijkheidsdrempel voor het verwerpen van de nulhypothese. Een veelvoorkomende waarde is 0.05, wat betekent dat er een 5% kans is om de nulhypothese onterecht te verwerpen. | | Steekproevenverdeling | De verdeling van een statistiek (zoals het steekproefgemiddelde of de steekproefproportie) die wordt verkregen door herhaaldelijk steekproeven van dezelfde grootte uit een populatie te trekken. | | Steekproefproportie ($\hat{p}$) | De proportie van een bepaald kenmerk in een steekproef, gebruikt als schatter voor de populatieproportie. Het wordt berekend als het aantal successen gedeeld door de steekproefgrootte. | | Standaardfout | De standaarddeviatie van de steekproevenverdeling van een statistiek. Het meet de typische variatie van de statistiek over verschillende steekproeven. | | Kritieke waarde | Een waarde uit een kansverdeling (zoals de standaardnormaalverdeling of t-verdeling) die wordt gebruikt om de grenzen van een betrouwbaarheidsinterval te bepalen of om een beslissing te nemen bij een significantietoets. | | Populatieproportie ($p$ of $\pi$) | De werkelijke proportie van een bepaald kenmerk in de gehele populatie. Deze is meestal onbekend en wordt geschat op basis van steekproefgegevens. | | Significantietoets | Een statistische procedure die wordt gebruikt om te bepalen of er voldoende bewijs is in de steekproefgegevens om de nulhypothese te verwerpen ten gunste van een alternatieve hypothese. | | Nulhypothese ($H_0$) | Een stelling over een populatieparameter die wordt aangenomen als waar totdat het steekproefbewijs anders aantoont. Vaak stelt deze dat er geen effect of geen verschil is. | | Alternatieve hypothese ($H_a$) | Een stelling die het tegendeel beweert van de nulhypothese. Het vertegenwoordigt de claim die we proberen te bewijzen met ons steekproefbewijs. | | p-waarde | De waarschijnlijkheid om een toetsingsgrootheid te observeren die minstens zo extreem is als de geobserveerde toetsingsgrootheid, aangenomen dat de nulhypothese waar is. Een kleine p-waarde (kleiner dan $\alpha$) leidt tot het verwerpen van $H_0$. | | Plus-vier schatting | Een methode om betrouwbaarheidsintervallen voor proporties te berekenen door twee "successen" en twee "mislukkingen" toe te voegen aan de waarnemingen, wat de nauwkeurigheid verbetert, vooral bij kleinere steekproeven. | | Gepoelde (gecombineerde) steekproefproportie | Een proportie die wordt berekend door de aantallen "successen" uit twee groepen te combineren en te delen door de totale gecombineerde steekproefgrootte. Dit wordt gebruikt bij het toetsen van de gelijkheid van twee proporties onder de nulhypothese. | | Relatief Risico (RR) | De verhouding van de kans op een gebeurtenis in een blootgestelde groep ten opzichte van de kans op dezelfde gebeurtenis in een niet-blootgestelde groep. Een RR van 1 betekent geen verschil in risico. |

# Inleiding tot niet-parametrische toetsen Dit hoofdstuk introduceert niet-parametrische toetsen als een flexibel alternatief voor parametrische toetsen, met name wanneer data niet voldoen aan de aannames van normaliteit of wanneer variabelen op nominaal of ordinaal niveau zijn gemeten. ## 1. Inleiding tot niet-parametrische toetsen ### 1.1 Beperkingen van parametrische toetsen en de noodzaak van niet-parametrische methoden Parametrische toetsen, zoals de t-toets en ANOVA, vereisen doorgaans dat de data op intervalniveau worden gemeten en dat de populatie waaruit de steekproef is getrokken, normaal verdeeld is. Hoewel veel parametrische methoden robuust zijn voor matige afwijkingen van normaliteit, wordt het gebruik ervan afgeraden bij duidelijk niet-normaal verdeelde data. Bovendien behalen psychologische meetinstrumenten zelden het intervalniveau, wat de toepassing van parametrische toetsen beperkt. In situaties waar de assumpties van parametrische toetsen geschonden worden, bieden niet-parametrische methoden een waardevol alternatief. Deze methoden stellen minder strenge eisen aan de data. ### 1.2 Alternatieven voor niet-normaal verdeelde data Er zijn verschillende benaderingen mogelijk wanneer data niet normaal verdeeld zijn: * **Transformatie van data**: Soms kunnen data getransformeerd worden (bv. via een logaritme) om afwijkingen van normaliteit te corrigeren, vooral bij scheve verdelingen. * **Alternatieve theoretische verdelingen**: Er bestaan methoden die gebaseerd zijn op andere verdelingen dan de normale verdeling. * **Bootstrap methoden**: Moderne computerintensieve methoden maken het mogelijk om toetsen te baseren op de data zelf zonder de assumptie van normaliteit, door gebruik te maken van herhaalde steekproeftrekking uit de geobserveerde data. * **Niet-parametrische methoden**: Deze methoden bieden vaak een eenvoudig en effectief alternatief. ### 1.3 Eigenschappen van niet-parametrische toetsen Niet-parametrische toetsen zijn gebaseerd op de ordening (rangorde) van de data, in plaats van op hun eigenlijke meetwaarden. Hierdoor verliezen ze een deel van de informatie die in de numerieke waarden zit, wat kan leiden tot een minder goed onderscheidingsvermogen vergeleken met parametrische toetsen die wel voldoen aan hun assumpties. Echter, voor situaties waarin de aannames van parametrische toetsen niet voldaan zijn, kunnen niet-parametrische toetsen een beter onderscheidingsvermogen bieden. Ze geven echter geen directe informatie over de effectgrootte op basis van de oorspronkelijke schaal. ### 1.4 Overzicht van besproken niet-parametrische toetsen De volgende niet-parametrische toetsen worden behandeld als alternatieven voor t-toetsen en ANOVA wanneer de hypothese van normaal verdeelde populaties niet voldaan is: * Wilcoxon Rank Sum Test (Mann-Whitney U-test) * Wilcoxon Signed Rank Test * Kruskal-Wallis Test Deze toetsen gaan over het centrum van de populatie, wat bij scheve verdelingen de mediaan is, in plaats van het gemiddelde zoals bij normaal verdeelde populaties. ## 2. Wilcoxon Signed Rank Test (Rangtekentoets) De Wilcoxon Signed Rank Test is een niet-parametrische toets voor afhankelijke (gepaarde of gekoppelde) steekproeven. ### 2.1 Toepassingsgebieden Deze toets is toepasbaar op: * Gepaarde data, zoals bij within-subjects designs (herhaalde metingen). * Gekoppelde steekproeven waarbij proefpersonen worden gematcht op basis van bepaalde kenmerken. ### 2.2 Procedure 1. **Bereken verschillen**: Bepaal de verschillen tussen de responsen binnen elk paar. 2. **Orden absolute verschillen**: Rangschik de absolute waarden van deze verschillen van klein naar groot. 3. **Ken rangen toe**: Ken aan elk van deze absolute verschillen een rang toe, waarbij de kleinste absolute verschil rang 1 krijgt. Bij gelijke absolute verschillen (knopen) wordt het gemiddelde van de betrokken rangen toegekend. 4. **Bereken sommen van rangen**: Bereken de som van de rangen voor de positieve verschillen ($W^+$) en de som van de rangen voor de negatieve verschillen ($W^-$). 5. **Bepaal toetsingsgrootheid**: De toetsingsgrootheid is $V = \min(W^+, W^-)$. ### 2.3 Hypotheses De nulhypothese ($H_0$) stelt dat er geen systematische verschillen zijn binnen de paren. De alternatieve hypothese ($H_1$) stelt dat er wel systematische verschillen zijn. ### 2.4 Verwachting en standaardfout Onder de nulhypothese geldt voor de toetsingsgrootheid $V$: * Verwachting: $E(V)$ * Standaardfout: $SE(V)$ Voor grote steekproeven kan de verdeling van $V$ benaderd worden met een normale verdeling, waarvoor specifieke formules gelden voor de verwachting en standaardfout, rekening houdend met eventuele knopen (gelijke scores). > **Tip:** De Wilcoxon Signed Rank Test houdt rekening met de grootte van het verschil, in tegenstelling tot de gewone tekentoets, wat resulteert in een beter onderscheidingsvermogen. ### 2.5 Interpretatie De nulhypothese wordt verworpen indien de toetsingsgrootheid $V$ significant verschilt van zijn verwachte waarde onder $H_0$. Dit gebeurt wanneer $V$ kleiner is dan een kritische waarde uit een referentietabel, of wanneer de berekende p-waarde kleiner is dan het gekozen significantieniveau ($\alpha$). ### 2.6 Benaderingsmethode voor grote steekproeven Voor grote steekproeven (bijvoorbeeld $n \ge 10$) kan een benaderingsmethode met de normale verdeling worden gebruikt, wat de noodzaak van uitgebreide tabellen vermindert. De formules voor de verwachting en standaardfout onder de normale benadering worden dan toegepast. > **Voorbeeld:** Om na te gaan of een filmpje van een spin angst kan opwekken, kan men de hartslag van deelnemers meten vóór en na het tonen van het filmpje. De Wilcoxon Signed Rank Test kan dan gebruikt worden om te bepalen of er een significant verschil is in hartslag. De toetsingsgrootheid $V$ wordt berekend op basis van de rangen van de verschillen tussen de na- en voor-metingen. ## 3. Wilcoxon Rank Sum Test (Rangsomtest) / Mann-Whitney U-test De Wilcoxon Rank Sum Test, ook bekend als de Mann-Whitney U-test, is een niet-parametrische toets om twee onafhankelijke verdelingen te vergelijken. ### 3.1 Basisprincipe De toets vergelijkt de posities van de waarnemingen uit twee groepen binnen een geordende gezamenlijke lijst. ### 3.2 Rangtransformatie Alle waarnemingen uit beide groepen worden samengevoegd en van klein naar groot geordend. Elke waarneming krijgt vervolgens een rang toegekend op basis van haar positie in deze geordende lijst. De laagste rang is 1. Door de oorspronkelijke meetwaarden te vervangen door hun rangen, gaat informatie over de numerieke waarde verloren, maar de toets wordt robuuster tegen afwijkingen van normaliteit. ### 3.3 Hypotheses De nulhypothese ($H_0$) stelt dat de mediaan van beide populaties gelijk is, of specifiek dat de kans dat een willekeurige waarneming uit groep X groter is dan een willekeurige waarneming uit groep Y gelijk is aan 0.5. $H_0: P[X \ge Y] = 1/2 \iff H_0: \text{mediaan}(X) \ge \text{mediaan}(Y)$. De alternatieve hypothese ($H_1$) stelt dat er een verschil is in de locatie (mediaan) van de twee verdelingen. ### 3.4 Berekening van de toetsingsgrootheid Er zijn twee veelgebruikte definities voor de toetsingsgrootheid: * **Gewone rangsom ($W$)**: De som van de rangen in een van de groepen. $W = \min(W_X, W_Y)$, waarbij $W_X$ en $W_Y$ de sommen van de rangen zijn voor respectievelijk groep X en groep Y. * **Gecorrigeerde rangsom ($W_{\text{corr}}$ of $U$)**: Hierbij wordt een correctie toegepast voor de groepsgrootte. $W_{\text{corr}} = W - \frac{n(n+1)}{2}$, waarbij $n$ de groepsgrootte is. Deze gecorrigeerde rangsom wordt vaak aangeduid als $U$ wanneer de test wordt gerapporteerd als een Mann-Whitney U-test. > **Voorbeeld:** Om na te gaan of het zelf mogen kiezen van een onderwerp leidt tot hogere motivatiescores, kan een groep studenten die zelf een onderwerp kiest (groep X) vergeleken worden met een groep studenten aan wie een onderwerp wordt opgelegd (groep Y). De motivatiescores worden samengevoegd, geordend en gerangschikt. Vervolgens wordt de rangsom voor beide groepen berekend. ### 3.5 Interpretatie Onder $H_0$ verwachten we dat de rangsommen voor beide groepen ongeveer gelijk zijn. Als $H_0$ onjuist is, verwachten we dat een van de rangsommen significant hoger (of lager) is dan de andere. De toetsingsgrootheid ($W$ of $W_{\text{corr}}$) wordt vergeleken met kritische waarden uit tabellen of de p-waarde wordt berekend (vaak via software) om de nulhypothese te beoordelen. ### 3.6 Benadering door de normale verdeling Voor grotere steekproeven (bv. $n_1 \ge 10$ en $n_2 \ge 10$) kan de verdeling van de toetsingsgrootheid (zowel $W$ als $W_{\text{corr}}$) bij benadering als normaal verdeeld worden beschouwd. Hiervoor worden specifieke formules gebruikt voor de verwachting en standaardfout van $W$ of $W_{\text{corr}}$. > **Tip:** Bij het rapporteren van de resultaten van een Wilcoxon Rank Sum Test is het belangrijk om duidelijk aan te geven welke toetsingsgrootheid (gewone rangsom $W$ of gecorrigeerde rangsom $W_{\text{corr}}$ of $U$) is gebruikt, en welke software is aangewend, aangezien er verschillende definities circuleren. ### 3.7 Omgaan met "knopen" (gelijke scores) Wanneer er gelijke scores voorkomen in de data ("knopen"), kunnen de standaardformules voor de verwachting en standaardfout van de toetsingsgrootheid een minder nauwkeurige benadering geven. De meeste statistische softwarepakketten passen automatisch correcties toe voor knopen wanneer ze worden gedetecteerd. Bij het gebruik van de normale benadering kan een continuïteitscorrectie worden toegepast. ### 3.8 Eigenschappen van de Wilcoxon-Mann-Whitney test * **Onderscheidingsvermogen**: De test heeft een hoog onderscheidingsvermogen, ongeveer $3/\pi$ (ongeveer 95%) van dat van de t-toets wanneer de data voldoen aan de aannames van de t-toets. Dit maakt het een zeer goed alternatief bij twijfel over de normaliteit van de data. * **Datavereiste**: Vereist slechts ordinale data. * **Alternatieve berekening**: De test kan ook worden geïnterpreteerd als het toetsen van de locatieverschuiving tussen de twee verdelingen. ## 4. Kruskal-Wallis Test De Kruskal-Wallis test is een niet-parametrische rangorde toets die een alternatief biedt voor de één-weg ANOVA F-toets voor situaties met meer dan twee onafhankelijke groepen. ### 4.1 Basisprincipe Net als bij de Wilcoxon Rank Sum Test worden alle waarnemingen uit alle groepen samengevoegd, van klein naar groot geordend en vervolgens wordt een rang toegekend aan elke waarneming. De Kruskal-Wallis test voert vervolgens een één-weg ANOVA uit op deze rangen in plaats van op de oorspronkelijke meetwaarden. ### 4.2 Toepassingsgebied Deze toets is geschikt voor het vergelijken van de medianen van drie of meer onafhankelijke groepen. ### 4.3 Hypotheses De nulhypothese ($H_0$) stelt dat de medianen van alle groepen gelijk zijn. De alternatieve hypothese ($H_1$) stelt dat er ten minste één groep is met een significant andere mediaan. ### 4.4 Procedure 1. **Combineer en rangschik**: Voeg alle data van de verschillende groepen samen en rangschik ze van klein naar groot. 2. **Ken rangen toe**: Ken aan elke waarneming een rang toe. Bij gelijke waarden worden gemiddelde rangen toegekend. 3. **Bereken rangsommen per groep**: Bereken de som van de rangen voor elke groep afzonderlijk. 4. **Bereken toetsingsgrootheid**: De toetsingsgrootheid $H$ wordt berekend op basis van deze rangsommen, de groepsgroottes en het totale aantal waarnemingen. Er bestaat een formule om de rangen te corrigeren voor eventuele "knopen". ### 4.5 Interpretatie De toetsingsgrootheid $H$ wordt vergeleken met een chi-kwadraatverdeling om de p-waarde te bepalen. Als de p-waarde kleiner is dan het gekozen significantieniveau ($\alpha$), wordt de nulhypothese verworpen en geconcludeerd dat er ten minste één groep is met een andere mediaan. > **Probleem van meervoudige vergelijkingen:** Wanneer meer dan twee groepen worden vergeleken, schieten toetsen voor slechts twee groepen tekort omdat het risico op een type I fout (onterecht verwerpen van $H_0$) toeneemt bij elke individuele toets. De Kruskal-Wallis test dient als een globale "omnibus test" om na te gaan of er ergens verschillen zijn. Indien deze globaal significant is, kunnen follow-up analyses (pairwise vergelijkingen met correctie voor meervoudige toetsen, bv. Bonferroni correctie of Dunn's test) worden uitgevoerd om te bepalen welke specifieke groepen van elkaar verschillen. --- # De Wilcoxon rangsomtest (Mann-Whitney U-test) De Wilcoxon rangsomtest, ook bekend als de Mann-Whitney U-test, is een niet-parametrische toets die gebruikt wordt om twee onafhankelijke verdelingen te vergelijken door middel van de rangorde van de data. ### Uitgangspunt en rangtransformatie Het kernprincipe van de Wilcoxon rangsomtest is het vergelijken van de posities van twee groepen binnen een geordende reeks van alle waarnemingen. Dit proces omvat een rangtransformatie, waarbij de oorspronkelijke numerieke meetwaarden worden vervangen door hun rangorde (positie in de geordende lijst, beginnend bij 1 voor de kleinste waarde). Hoewel dit informatieverlies betekent betreffende de exacte meetwaarden, behoudt de rangorde de relatieve volgorde van de data. Deze rangtransformatie is essentieel voor niet-parametrische toetsen omdat ze minder strenge aannames over de data vereisen dan parametrische toetsen zoals de t-toets. De toets is met name geschikt voor ordinale data of wanneer de assumptie van normaliteit voor intervalniveau data niet voldaan is. ### Hypothesen De nulhypothese ($H_0$) voor de Wilcoxon rangsomtest stelt doorgaans dat er geen systematisch verschil is tussen de medianen van de twee populaties waaruit de onafhankelijke steekproeven zijn getrokken. Een veelgebruikte formulering is: $H_0$: De mediaan van de ene groep is gelijk aan de mediaan van de andere groep. Of, meer specifiek: $H_0$: $P[X \ge Y] = 1/2$, wat equivalent is aan $H_0$: mediaan($X$) $\ge$ mediaan($Y$). De alternatieve hypothese ($H_a$) stelt dat er wel een verschil is in de medianen. Dit kan eenrichtingsgebonden zijn (bijvoorbeeld mediaan($X$) $>$ mediaan($Y$)) of tweerichtingsgebonden (mediaan($X$) $\neq$ mediaan($Y$)). ### Toetsingsgrootheid: W en W gecorrigeerd (U) Er bestaan twee varianten van de toetsingsgrootheid die in de literatuur worden gebruikt: de "gewone rangsom" ($W$) en de "gecorrigeerde rangsom" ($W_{corr}$), die ook wel aangeduid wordt als de Mann-Whitney $U$-statistiek. * **Gewone rangsom ($W$):** Dit is de som van de rangen van de waarnemingen in één van de twee groepen. Men berekent de som van de rangen voor beide groepen ($W_X$ en $W_Y$). De toetsingsgrootheid $W$ is dan het minimum van deze twee sommen: $W = \min(W_X, W_Y)$. * **Gecorrigeerde rangsom ($W_{corr}$ of $U$):** Deze variant corrigeert de rangsom voor de grootte van de groep waarvoor de rangsom is berekend. Het wordt berekend door eerst de rangsommen van beide groepen te bepalen en vervolgens de minimale rangsom af te trekken van de som van de rangen van de betreffende groep. Een veelgebruikte methode om de $U$-statistiek te berekenen is: $$U = n_1 n_2 + \frac{n_1(n_1+1)}{2} - W_1$$ Waarbij $n_1$ en $n_2$ de groepsgroottes zijn en $W_1$ de rangsom van groep 1 is. Een alternatieve berekening is door de rangsommen van beide groepen te berekenen en de toetsingsgrootheid als $U = \min(W_X, W_Y)$ te noteren, waarbij $W_X$ en $W_Y$ de rangsommen van de groepen zijn, en dan de correctie toe te passen indien nodig. Een veelgebruikte definitie voor de gecorrigeerde rangsom ($W_{corr}$) is gebaseerd op de som van de rangen binnen een groep, verminderd met een minimale rangsom die afhangt van de groepsgrootte. Echter, de meest courante interpretatie in statistische software is dat de $U$-statistiek (die gelijk is aan onze $W_{corr}$) de toetsingsgrootheid is. Bij het rapporteren is het cruciaal om duidelijk te specificeren welke statistiek wordt gebruikt. Het is aan te bevelen om de test te rapporteren als een Mann-Whitney $U$-test en de gecorrigeerde $W_{corr}$ te vermelden als de toetsingsgrootheid $U$. #### Voorbeeld van rangtransformatie en berekening van W: Stel, we vergelijken twee groepen (X en Y) op basis van motivatiescores. Data: Groep X: 21, 24, 43, 32, 27, 37, 29, 44, 22, 41 Groep Y: 45, 30, 34, 48, 42, 47, 25, 33, 46, 31, 28, 35 1. **Alle waarnemingen ordenen en rangen toekennen:** Gecombineerde geordende data: 21, 22, 24, 25, 27, 28, 29, 30, 31, 32, 33, 34, 35, 37, 41, 42, 43, 44, 45, 46, 47, 48 Rangen: 21 (X) - 1 22 (X) - 2 24 (X) - 3 25 (Y) - 4 27 (X) - 5 28 (Y) - 6 29 (X) - 7 30 (Y) - 8 31 (Y) - 9 32 (X) - 10 33 (Y) - 11 34 (Y) - 12 35 (Y) - 13 37 (X) - 14 41 (X) - 15 42 (Y) - 16 43 (X) - 17 44 (X) - 18 45 (Y) - 19 46 (Y) - 20 47 (Y) - 21 48 (Y) - 22 2. **Rangsommen berekenen voor elke groep:** $W_X = 1 + 2 + 3 + 5 + 7 + 10 + 14 + 15 + 17 + 18 = 92$ $W_Y = 4 + 6 + 8 + 9 + 11 + 12 + 13 + 16 + 19 + 20 + 21 + 22 = 161$ 3. **Toetsingsgrootheid bepalen:** $W = \min(W_X, W_Y) = \min(92, 161) = 92$. De gecorrigeerde $U$ wordt berekend op basis van deze rangsommen en de groepsgroottes ($n_1=10, n_2=12$). Een veelgebruikte formule voor $U$ is: $U = n_1 n_2 + \frac{n_1(n_1+1)}{2} - W_1 = 10 \times 12 + \frac{10(10+1)}{2} - 92 = 120 + 55 - 92 = 83$. Echter, softwarepakketten zoals R of SPSS geven vaak de $U$-statistiek direct weer, die equivalent is aan onze $W_{corr}$. In het voorbeeld uit het document wordt de gecorrigeerde rangsom berekend als $W_{corr} = 37$, wat overeenkomt met de $U$-statistiek uit de Mann-Whitney test. Dit suggereert dat de definitie van $W$ en $U$ kan variëren, en het is belangrijk de specifieke implementatie te volgen. > **Tip:** Wanneer er gelijke waarnemingen ("ties" of knopen) zijn, moet een aangepaste methode voor de berekening van de variantie en standaardfout van de rangsommen worden gebruikt. De meeste statistische software past dit automatisch toe. ### Benadering met de Normaalverdeling Voor grotere steekproeven ($n_1$ en $n_2$ $\ge$ 10) kan de verdeling van de toetsingsgrootheid ($W$ of $W_{corr}$) bij benadering normaal verdeeld worden geacht. De verwachtingswaarde en standaardfout worden dan als volgt berekend: * **Voor de gewone rangsom ($W$):** Verwachting: $$\mu_W = \frac{n_1(N+1)}{2}$$ Standaardfout: $$\sigma_W = \sqrt{\frac{n_1 n_2 (N+1)}{12}}$$ Waarbij $N = n_1 + n_2$ het totale aantal waarnemingen is. * **Voor de gecorrigeerde rangsom ($W_{corr}$ of $U$):** Verwachting: $$\mu_U = \frac{n_1 n_2}{2}$$ Standaardfout: $$\sigma_U = \sqrt{\frac{n_1 n_2 (n_1 + n_2 + 1)}{12}}$$ De toetsingsgrootheid kan vervolgens worden gestandaardiseerd tot een $z$-score: $$z = \frac{W - \mu_W}{\sigma_W} \quad \text{of} \quad z = \frac{U - \mu_U}{\sigma_U}$$ Deze $z$-score wordt dan vergeleken met de kritische waarden van de standaard normaalverdeling om de p-waarde te bepalen. #### Voorbeeld van benadering met de Normaalverdeling (met $W_{corr} = U = 37, n_1=10, n_2=12$): * **Verwachting:** $$\mu_U = \frac{10 \times 12}{2} = 60$$ * **Standaardfout:** $$\sigma_U = \sqrt{\frac{10 \times 12 \times (10 + 12 + 1)}{12}} = \sqrt{\frac{120 \times 23}{12}} = \sqrt{10 \times 23} = \sqrt{230} \approx 15.17$$ * **z-score:** $$z = \frac{37 - 60}{15.17} \approx -1.52$$ Afhankelijk van de alternatieve hypothese (een- of tweezijdig) wordt deze $z$-score gebruikt om de p-waarde te vinden. Voor een eenzijdige toets met $H_a: \text{mediaan}(X) > \text{mediaan}(Y)$, zou een p-waarde van ongeveer 0.0643 gevonden worden met behulp van tabel A. ### Conclusie en Rapportage Het besluit om de nulhypothese te verwerpen is gebaseerd op de p-waarde. Als de p-waarde kleiner is dan het gekozen significantieniveau (alfa, $\alpha$), wordt de nulhypothese verworpen ten gunste van de alternatieve hypothese. Bij het rapporteren van de resultaten van een Wilcoxon rangsomtest is het belangrijk om het volgende te vermelden: * De gebruikte toets (bv. Mann-Whitney $U$-test of Wilcoxon rangsomtest). * De toetsingsgrootheid (bv. $U$, $W_{corr}$ of $W$). * De groepsgroottes ($n_1$ en $n_2$). * De p-waarde. * De richting van het gevonden verschil, indien relevant. #### Voorbeeld van rapportage: "Deelnemers die zelf een onderwerp kozen hadden hogere motivatiescores dan deelnemers die een onderwerp opgelegd kregen, echter, dit verschil is niet significant (Mann-Whitney test: $U = 37$, $p = 0.06$)." OF "Deelnemers die zelf een onderwerp hadden gekozen bleken niet significant meer gemotiveerd dan deelnemers met een opgelegd onderwerp (Wilcoxon test zonder correctie: $W = 92$, $p = 0.06$)." ### Eigenschappen van de Wilcoxon-Mann-Whitney test * **Veelzijdigheid:** Zeer geschikt als alternatief voor de t-toets, aangezien het enkel ordinale data vereist en robuust is tegen afwijkingen van normaliteit. * **Onderscheidingsvermogen:** Een van de niet-parametrische toetsen met het hoogste onderscheidingsvermogen. Zelfs bij data die geschikt zouden zijn voor een t-toets, bereikt deze test ongeveer 95% van het onderscheidingsvermogen van de t-toets. * **Ties (Knopen):** Bij het voorkomen van gelijke waarden (ties) vereist de berekening van de standaardfout aanpassingen. Software past dit meestal automatisch toe. * **Continuïteitscorrectie:** Bij benadering via de normaalverdeling wordt vaak automatisch een continuïteitscorrectie toegepast door statistische software. * **Onderscheid met Rangtekentoets:** Belangrijk is het onderscheid te maken met de Wilcoxon "rangteken toets" die gebruikt wordt voor gepaarde (afhankelijke) steekproeven. ### Probleem van meervoudige vergelijkingen Wanneer meer dan twee groepen tegelijkertijd worden vergeleken, schieten methoden voor tweegroepsvergelijkingen tekort. Om het probleem van meervoudige vergelijkingen te beheersen (het verhoogde risico op Type I fouten), wordt vaak een twee-stappen procedure gevolgd: 1. Een globale "omnibus test" (zoals de Kruskal-Wallis test) die nagaat of er überhaupt verschillen zijn tussen de parameters. 2. Vervolgens, indien de globale test significant is, gedetailleerde follow-up analyses (2-aan-2 vergelijkingen met de Mann-Whitney U-test) om te bepalen welke specifieke groepen verschillen. --- # De Kruskal-Wallis test De Kruskal-Wallis test is een niet-parametrische rangordetoets die dient als alternatief voor de ANOVA F-toets voor het vergelijken van meer dan twee groepen. ### 3.1 Introductie en Principe De Kruskal-Wallis test is een niet-parametrische, één-weg analyse van variantie (ANOVA). Dit betekent dat het een alternatief is voor de standaard ANOVA F-toets wanneer de aannames van de ANOVA, zoals normaliteit van de data en homogeniteit van varianties, niet voldaan zijn. In plaats van de daadwerkelijke meetwaarden te gebruiken, maakt deze toets gebruik van de rangordes van alle waarnemingen over alle groepen heen. **Uitgangspunt:** Het principe achter de Kruskal-Wallis test is om alle waarnemingen uit alle te vergelijken groepen te verzamelen, ze van klein naar groot te ordenen, en deze geordende waarnemingen rangnummers toe te kennen. Vervolgens wordt een één-weg ANOVA uitgevoerd op deze rangnummers in plaats van op de oorspronkelijke meetwaarden. **Toepasbaarheid:** Deze toets is geschikt voor situaties waarin men de verdelingen van een continue of ordinale variabele wil vergelijken over drie of meer onafhankelijke groepen. Het is met name nuttig wanneer de data niet voldoen aan de normaliteitsassumptie van de ANOVA. ### 3.2 Hypothesen De nulhypothese ($H_0$) voor de Kruskal-Wallis test stelt dat er geen verschil is in de centrale tendens (meestal de mediaan) tussen de groepen. De alternatieve hypothese ($H_1$) stelt dat er ten minste één groep is waarvan de centrale tendens verschilt van de andere groepen. * **$H_0$:** De medianen van alle groepen zijn gelijk. $$ H_0: \text{mediaan}_1 = \text{mediaan}_2 = \dots = \text{mediaan}_k $$ waarbij $k$ het aantal groepen is. * **$H_1$:** Ten minste één groep heeft een andere mediaan dan de rest. $$ H_1: \text{ten minste één } \text{mediaan}_i \neq \text{mediaan}_j \text{ voor } i \neq j $$ ### 3.3 Berekening van de Toetsingsgrootheid De berekening van de Kruskal-Wallis toetsingsgrootheid omvat de volgende stappen: 1. **Combineer en rangschik alle data:** Verzamel alle waarnemingen uit alle $k$ groepen en rangschik ze van klein naar groot. Ken aan elke waarneming een rangnummer toe. Als er gelijke waarden (knopen of "ties") zijn, wordt vaak het gemiddelde van de rangnummers toegewezen aan die waarden. 2. **Bereken de som van de rangen per groep:** Bereken voor elke groep de som van de rangnummers van de waarnemingen die tot die groep behoren. Laten we deze sommen aanduiden als $R_1, R_2, \dots, R_k$. 3. **Bereken de Kruskal-Wallis toetsingsgrootheid $H$:** De formule voor de Kruskal-Wallis toetsingsgrootheid is: $$ H = \frac{12}{N(N+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} - 3(N+1) $$ waar: * $N$ is het totale aantal waarnemingen over alle groepen ($N = n_1 + n_2 + \dots + n_k$). * $k$ is het aantal groepen. * $R_i$ is de som van de rangen in groep $i$. * $n_i$ is het aantal waarnemingen in groep $i$. Een alternatieve, veelgebruikte formulering van de toetsingsgrootheid, die equivalent is, is: $$ H = \frac{12}{N(N+1)} \sum_{i=1}^{k} n_i (\bar{R}_i - \bar{R})^2 $$ waar: * $\bar{R}_i = \frac{R_i}{n_i}$ de gemiddelde rang in groep $i$ is. * $\bar{R} = \frac{N+1}{2}$ de algemene gemiddelde rang is. **Correctie voor knopen (ties):** Als er gelijke waarden in de data voorkomen, moet de $H$-statistiek gecorrigeerd worden. De gecorrigeerde statistiek, vaak aangeduid als $H_c$, wordt berekend door $H$ te delen door een correctiefactor $C$: $$ C = 1 - \frac{\sum_{j=1}^{g} (t_j^3 - t_j)}{N^3 - N} $$ waar: * $g$ is het aantal groepen met gelijke waarden. * $t_j$ is het aantal waarnemingen met dezelfde waarde voor de $j$-de groep van gelijke waarden. De gecorrigeerde toetsingsgrootheid is dus $H_c = \frac{H}{C}$. ### 3.4 Besluitvorming Voor grote steekproeven (typisch wanneer $N \ge 20$ en het aantal waarnemingen per groep niet extreem klein is) volgt de toetsingsgrootheid $H$ (of $H_c$ bij knopen) bij benadering een chi-kwadraatverdeling ($\chi^2$) met $k-1$ vrijheidsgraden onder de nulhypothese. * De beslissing wordt genomen door de berekende $H$ (of $H_c$) te vergelijken met een kritische waarde uit de $\chi^2$-verdeling voor een gekozen significantieniveau ($\alpha$), of door de p-waarde te berekenen die overeenkomt met de berekende $H$. * Als de berekende $H$ groter is dan de kritische waarde, of als de p-waarde kleiner is dan $\alpha$, wordt de nulhypothese verworpen. Dit suggereert dat er significante verschillen zijn tussen de medians van de groepen. ### 3.5 Post-hoc Analyses Wanneer de Kruskal-Wallis test een significant verschil tussen de groepen aantoont ($H_0$ wordt verworpen), is het noodzakelijk om post-hoc analyses uit te voeren om te bepalen welke specifieke groepen van elkaar verschillen. Er zijn verschillende niet-parametrische post-hoc toetsen beschikbaar, zoals de Dunn's test of pairwise Wilcoxon Rank Sum tests met een correctie voor meervoudige vergelijkingen (bijvoorbeeld Bonferroni-correctie). #### 3.5.1 Dunn's Test De Dunn's test is een veelgebruikte post-hoc test na de Kruskal-Wallis. Deze test vergelijkt alle paren van groepen twee-aan-twee met behulp van de Wilcoxon Rank Sum test, waarbij de significantieniveaus worden aangepast om het risico op Type I-fouten te beheersen. De toetsingsgrootheid voor Dunn's test kan worden uitgedrukt in termen van de rangsommen. #### 3.5.2 Pairwise Wilcoxon Rank Sum Tests Alternatief kunnen Wilcoxon Rank Sum tests twee-aan-twee tussen alle groepen worden uitgevoerd. Om het probleem van meervoudige vergelijkingen aan te pakken, wordt het significantieniveau $\alpha$ meestal gedeeld door het aantal vergelijkingen, $m = \frac{k(k-1)}{2}$. Een p-waarde kleiner dan $\alpha/m$ wordt dan als significant beschouwd. > **Tip:** Onthoud dat de Kruskal-Wallis test een "omnibus test" is; het vertelt je óf er een verschil is, maar niet waar het verschil zit. Post-hoc tests zijn essentieel voor gedetailleerde interpretatie. ### 3.6 Vergelijking met ANOVA | Kenmerk | ANOVA F-toets | Kruskal-Wallis Test | | :-------------------------- | :-------------------------------------------------- | :------------------------------------------------ | | **Meetniveau** | Minimaal intervalniveau | Minimaal ordinaal niveau | | **Verdelingassumptie** | Normaliteit van de residuen/populatieverdeling | Geen normaliteitsassumptie | | **Variantieassumptie** | Homogeniteit van varianties (homoscedasticiteit) | Niet strikt vereist, maar gevoelig voor grote verschillen | | **Toetsingsgrootheid** | F-statistiek gebaseerd op gemiddelden en varianties | H-statistiek gebaseerd op rangordes | | **Gevoeligheid voor uitschieters** | Gevoelig | Minder gevoelig (door rangordening) | | **Informatie over effectgrootte** | Kan effectgrootte schatten (bv. $\eta^2$) | Beperkter, vereist aanvullende post-hoc analyses | > **Tip:** De Kruskal-Wallis test behoudt ongeveer 95% van het onderscheidingsvermogen van de ANOVA wanneer de data wel aan de assumpties van de ANOVA voldoen. Dit maakt het een robuust alternatief, zelfs wanneer de data "braaf" normaal verdeeld zijn. ### 3.7 Voordelen en Nadelen **Voordelen:** * Vereist geen normaliteitsassumptie. * Geschikt voor ordinale data. * Robuuster tegen uitschieters dan ANOVA. * Kan worden gebruikt voor kleine steekproeven. **Nadelen:** * Minder statistisch vermogen dan ANOVA wanneer aan de assumpties van ANOVA is voldaan. * De interpretatie van de toetsingsgrootheid is gebaseerd op rangordes, wat kan leiden tot verlies van informatie over de magnitude van verschillen. * Post-hoc analyses zijn nodig om specifieke groepsverschillen te identificeren. ### 3.8 Voorbeeld Stel, we willen de effectiviteit van drie verschillende studiemethoden (Methode A, Methode B, Methode C) vergelijken op basis van de score op een examen. De scores zijn ordinaal (bv. cijfer van 1 tot 10, waarbij een hoger cijfer beter is) en we vermoeden dat de scores niet normaal verdeeld zijn. * **Groep A (n=10):** Scores $...$ * **Groep B (n=12):** Scores $...$ * **Groep C (n=11):** Scores $...$ 1. Combineer alle $N = 10 + 12 + 11 = 33$ scores en rangschik ze van laag naar hoog. Ken rangen toe (en pas correctie toe voor eventuele gelijke scores). 2. Bereken de som van de rangen voor elke groep: $R_A, R_B, R_C$. 3. Bereken de $H$-statistiek met de formule: $H = \frac{12}{33(33+1)} \left( \frac{R_A^2}{10} + \frac{R_B^2}{12} + \frac{R_C^2}{11} \right) - 3(33+1)$. 4. Vergelijk de berekende $H$ met een kritische $\chi^2$-waarde met $k-1 = 3-1 = 2$ vrijheidsgraden, of bepaal de p-waarde. Als $p < \alpha$, verwerp $H_0$ en voer post-hoc tests uit (bv. Dunn's test) om te zien welke studiemethoden significant van elkaar verschillen. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Niet-parametrische toetsen | Statistische toetsen die geen strikte aannames doen over de verdeling van de populatie, zoals normaliteit. Ze zijn vaak gebaseerd op rangordes van data en zijn daarom geschikter voor ordinale data of wanneer data afwijken van normaliteit. | | Intervalniveau | Een meetschaal waarbij de afstanden tussen opeenvolgende waarden gelijk zijn en er geen absoluut nulpunt is. Voorbeelden zijn temperatuur in graden Celsius of Fahrenheit. | | Normaalverdeling | Een symmetrische, klokvormige kansverdeling waarbij de meeste waarden zich rond het gemiddelde bevinden. Veel parametrische statistische methoden veronderstellen dat data uit een normaalverdeling afkomstig zijn. | | Robuust | Een statistische methode die relatief ongevoelig is voor schendingen van de aannames, zoals afwijkingen van normaliteit of de aanwezigheid van uitschieters. | | Uitschieters | Waarden in een dataset die significant afwijken van de meeste andere waarden en potentieel de resultaten van statistische analyses kunnen beïnvloeden. | | Transformatie van data | Een wiskundige bewerking toegepast op variabelen om de verdeling ervan te wijzigen, bijvoorbeeld om normaliteit te benaderen of de variantie te stabiliseren. Voorbeelden zijn logaritmen of worteltrekken. | | Bootstrap methoden | Een resamplingtechniek waarbij herhaaldelijk willekeurig steekproeven met teruglegging worden getrokken uit de originele dataset om de steekproevenverdeling van een statistiek te schatten. | | Rangorde | De ordening van waarnemingen van laag naar hoog (of omgekeerd) op basis van hun waarde. Niet-parametrische toetsen maken vaak gebruik van deze rangordes in plaats van de oorspronkelijke meetwaarden. | | Centrum van de populatie | Een maat die het typische of centrale niveau van een dataset aangeeft. Voor normaalverdelingen is dit het gemiddelde, voor scheve verdelingen kan dit de mediaan zijn. | | Mediaan | De middelste waarde in een geordende dataset. De helft van de waarden ligt boven de mediaan en de helft ligt eronder. | | Wilcoxon rangtekentoets (Signed Rank Test) | Een niet-parametrische toets voor gekoppelde (afhankelijke) steekproeven die de grootte en richting van verschillen tussen paren analyseert, gebaseerd op rangordes van deze verschillen. | | Gekoppelde steekproeven | Steekproeven waarbij de waarnemingen aan elkaar gerelateerd zijn, bijvoorbeeld door herhaalde metingen bij dezelfde personen of door matching van proefpersonen op bepaalde kenmerken. | |onderscheidingsvermogen | Het vermogen van een statistische toets om een echt effect of verschil te detecteren wanneer dit aanwezig is (het vermogen om de nulhypothese te verwerpen wanneer deze onjuist is). | | Toetsingsgrootheid | De waarde berekend uit de steekproefgegevens die wordt gebruikt om de nulhypothese te toetsen. De waarde wordt vergeleken met een kritieke waarde of een overschrijdingskans. | | Kritieke waarde | Een drempelwaarde in een steekproevenverdeling die wordt gebruikt om te beslissen of de nulhypothese wordt verworpen. | | Overschrijdingskans (p-waarde) | De kans om een teststatistiek te verkrijgen die extreem is, gegeven dat de nulhypothese waar is. Een lage p-waarde (typisch < 0.05) leidt tot verwerping van de nulhypothese. | | Wilcoxon rangsomtest (Rank Sum Test) | Een niet-parametrische toets voor twee onafhankelijke steekproeven, ook bekend als de Mann-Whitney U-test. Het vergelijkt de centrale tendens van twee groepen op basis van de rangordes van alle waarnemingen. | | Onafhankelijke steekproeven | Steekproeven waarbij de waarnemingen in de ene steekproef geen invloed hebben op de waarnemingen in de andere steekproef. | | Rangtransformatie | Het vervangen van de oorspronkelijke meetwaarden door hun rangordes in een geordende lijst van alle waarnemingen. | | Kruskal-Wallis test | Een niet-parametrische rangordetoets die dient als een alternatief voor de eenweg ANOVA. Het wordt gebruikt om drie of meer onafhankelijke groepen te vergelijken. | | ANOVA (Analysis of Variance) | Een statistische toets die wordt gebruikt om de gemiddelden van drie of meer groepen te vergelijken. De standaard ANOVA vereist normaliteit en gelijke varianties van de groepen. | | Omnibus test | Een statistische toets die als eerste wordt uitgevoerd om te bepalen of er überhaupt significante verschillen zijn tussen de groepen die worden vergeleken, voordat specifieke pairwise vergelijkingen worden uitgevoerd. | | Chi-kwadraat statistiek | Een statistische maat die wordt gebruikt in chi-kwadraat toetsen om het verschil tussen waargenomen en verwachte frequenties te evalueren. Vaak gebruikt in omnibus tests. | | Geknoopte paren (ties) | Situaties in data-analyse waarbij meerdere waarnemingen dezelfde waarde hebben, wat van invloed kan zijn op de berekening van statistische toetsen, met name rangordetoetsen. | | Continuïteitscorrectie | Een aanpassing die wordt toegepast bij het benaderen van een discrete verdeling met een continue verdeling (zoals het benaderen van de binomiale verdeling met de normale verdeling). Het helpt de nauwkeurigheid te verbeteren. |

# Chi-kwadraat goodness-of-fit toets Deze toets onderzoekt in hoeverre de proporties van categorieën in een steekproef overeenkomen met de verwachte proporties, en is een een-steekproef toets. ### 1.1 Doel en principe van de chi-kwadraat goodness-of-fit toets Het hoofddoel van de chi-kwadraat goodness-of-fit toets is het nagaan in welke mate de proporties waarin categorieën voorkomen in een steekproef overeenstemmen met de verwachtte proporties, gebaseerd op een referentieverdeling. Het is een een-steekproef toets die toegepast kan worden op data met een nominaal of hoger meetniveau. Het basisprincipe is het vergelijken van de omvang van de waargenomen frequenties in de verschillende categorieën met de theoretisch verwachte omvang van die categorieën. **Voorbeelden:** * Is er een gelijke verdeling van mannen en vrouwen in de steekproef? * Is de verdeling van leiderschapsstijlen bij arbeiders dezelfde als bij een referentiegroep (bijvoorbeeld democratisch, laissez-faire, autoritair, consulterend)? ### 1.2 De nulhypothese De nulhypothese ($H_0$) voor de chi-kwadraat goodness-of-fit toets stelt dat er geen significant verschil is tussen de waargenomen proporties in de klassen en de referentieverdeling, anders dan wat verwacht mag worden door toevalssteekproeven. ### 1.3 De toetsingsgrootheid De toetsingsgrootheid voor de chi-kwadraat goodness-of-fit toets wordt berekend met de volgende formule: $$ \chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i} $$ Waar: * $\chi^2$ is de chi-kwadraat toetsingsgrootheid. * $O_i$ staat voor de waargenomen frequentie in categorie $i$. * $E_i$ staat voor de verwachte frequentie in categorie $i$. * $k$ is het aantal categorieën. Als de waargenomen frequenties sterk afwijken van de verwachte frequenties, zal de waarde van $\chi^2$ hoog zijn. Dit pleit tegen de nulhypothese. ### 1.4 De chi-kwadraat verdeling en vrijheidsgraden De steekproevenverdeling van de $\chi^2$ toetsingsgrootheid volgt een chi-kwadraat verdeling. Het aantal vrijheidsgraden ($df$) voor de goodness-of-fit toets wordt berekend als: $$ df = k - 1 $$ Waar $k$ het aantal categorieën is. De p-waarde van de toets wordt bepaald door de berekende waarde van de $\chi^2$ statistiek te vergelijken met de kritieke waarde van de overeenkomstige chi-kwadraat verdeling met het berekende aantal vrijheidsgraden. ### 1.5 Beperkingen en vereisten De chi-kwadraat goodness-of-fit toets is een benaderende methode en vereist dat de celfrequenties voldoende groot zijn voor betrouwbare p-waarden. * **Minimale celfrequenties:** * Indien $df = 1$ (dus 2 categorieën), moet elke verwachte celfrequentie groter zijn dan 5. * Indien $df > 1$, mogen niet meer dan 20% van de verwachte celfrequenties kleiner zijn dan 5. Alle verwachte celfrequenties moeten groter zijn dan of gelijk zijn aan 1. * Voor een $2 \times 2$ tabel moeten alle verwachte celfrequenties groter zijn dan of gelijk zijn aan 5. > **Tip:** Als de verwachte celfrequenties te klein zijn, kan dit probleem soms worden opgelost door categorieën samen te voegen. * **Rangorde:** De chi-kwadraat toets houdt geen rekening met de rangorde van categorieën. Als de data ordinaal is en rangorde belangrijk is, zijn andere toetsen wellicht geschikter. ### 1.6 Berekening van verwachte celfrequenties De verwachte celfrequentie ($E_i$) voor elke categorie $i$ wordt bepaald op basis van de totale steekproefgrootte ($N$) en de verwachte proportie ($\pi_i$) voor die categorie: $$ E_i = N \times \pi_i $$ De verwachte proporties ($\pi_i$) komen uit de referentieverdeling die wordt getoetst onder de nulhypothese. ### 1.7 Interpretatie van de resultaten Een hoge $\chi^2$-waarde, gecombineerd met een lage p-waarde (typisch $p < 0.05$), leidt tot het verwerpen van de nulhypothese. Dit suggereert dat de waargenomen proporties significant afwijken van de verwachte proporties. Een lage $\chi^2$-waarde en een hoge p-waarde wijzen erop dat er onvoldoende bewijs is om de nulhypothese te verwerpen, en de waargenomen proporties dus in lijn zijn met de verwachting. > **Voorbeeld:** Stel we toetsen of een dobbelsteen eerlijk is (uniforme verdeling). We gooien 600 keer. Onder de nulhypothese verwachten we dat elke zijde 100 keer voorkomt ($E_i = 100$). Als we waarnemen dat zijde 1 bijvoorbeeld 130 keer voorkomt, en andere zijden minder, berekenen we de $\chi^2$-waarde om te zien of deze afwijking groter is dan wat toeval verwacht. Als de p-waarde < 0.05 is, concluderen we dat de dobbelsteen waarschijnlijk niet eerlijk is. --- # Chi-kwadraat toets voor onafhankelijkheid Deze toets wordt toegepast om de nulhypothese te toetsen dat de rij- en kolomvariabelen in een kruistabel (contingentietabel) niet gerelateerd zijn aan elkaar. Het vergelijkt geobserveerde celfrequenties met verwachte celfrequenties. ### 2.1 Overzicht van de chi-kwadraat toets voor onafhankelijkheid De chi-kwadraat toets voor onafhankelijkheid, ook wel de afhankelijkheidstoets genoemd, is een niet-parametrische statistische toets die wordt gebruikt om te onderzoeken of er een verband bestaat tussen twee categorische variabelen die in een kruistabel (contingentietabel) zijn weergegeven. Het hoofddoel is het toetsen van de nulhypothese dat de twee variabelen statistisch onafhankelijk zijn van elkaar. ### 2.2 Toepassing en principe De toets wordt toegepast om de nulhypothese te toetsen dat de rij- en kolomvariabelen in een kruistabel niet gerelateerd zijn aan elkaar. Het onderliggende principe is de vergelijking tussen de **geobserveerde celfrequenties** (de werkelijke aantallen in de cellen van de tabel) en de **verwachte celfrequenties** (de aantallen die we zouden verwachten als de twee variabelen onafhankelijk zouden zijn). Als de geobserveerde frequenties sterk afwijken van de verwachte frequenties, suggereert dit dat er een verband bestaat tussen de variabelen, wat leidt tot het verwerpen van de nulhypothese. ### 2.3 De berekening van de chi-kwadraat toetsingsgrootheid De toetsingsgrootheid voor de chi-kwadraat toets voor onafhankelijkheid wordt berekend met de volgende formule: $$ \chi^2 = \sum_{i=1}^{r} \sum_{j=1}^{k} \frac{(O_{ij} - E_{ij})^2}{E_{ij}} $$ Waarbij: * $ \chi^2 $ staat voor de chi-kwadraat toetsingsgrootheid. * $ O_{ij} $ is de geobserveerde frequentie in cel $ (i,j) $ (rij $ i $, kolom $ j $). * $ E_{ij} $ is de verwachte frequentie in cel $ (i,j) $. * $ r $ is het aantal rijen in de kruistabel. * $ k $ is het aantal kolommen in de kruistabel. De term $ (O_{ij} - E_{ij})^2 $ zorgt ervoor dat zowel positieve als negatieve afwijkingen tussen geobserveerde en verwachte waarden worden gekwadrateerd, waardoor ze bijdragen aan de totale toetsingsgrootheid. Het delen door $ E_{ij} $ maakt de afwijking relatief ten opzichte van de verwachte grootte. #### 2.3.1 Berekenen van verwachte celfrequenties De verwachte celfrequenties $ E_{ij} $ worden berekend op basis van de marginale verdelingen (de totalen van de rijen en kolommen) in de aanname van statistische onafhankelijkheid. Voor een kruistabel met $ r $ rijen en $ k $ kolommen, wordt de verwachte frequentie voor cel $ (i,j) $ berekend als: $$ E_{ij} = \frac{(\text{Som van rij } i) \times (\text{Som van kolom } j)}{\text{Totaal aantal waarnemingen}} $$ Als de geobserveerde proporties tussen de rijen en kolommen op dezelfde manier zouden zijn verdeeld, zouden de verwachtte en geobserveerde waarden gelijk zijn, wat resulteert in een $ \chi^2 $-waarde van 0. Een hogere $ \chi^2 $-waarde indiceert een grotere afwijking van de onafhankelijkheid. #### 2.3.2 Vrijheidsgraden Het aantal vrijheidsgraden ($ df $) voor de chi-kwadraat toets voor onafhankelijkheid wordt berekend als: $$ df = (k - 1) \times (r - 1) $$ Dit aantal vrijheidsgraden wordt gebruikt om de kritieke waarde te bepalen uit de chi-kwadraat verdeling om de p-waarde te berekenen. ### 2.4 Interpretatie van de resultaten #### 2.4.1 Statistische afhankelijkheid * Als de berekende $ \chi^2 $-waarde hoog is, wijst dit op een aanzienlijke afwijking van de verwachte verdeling, wat pleit tégen de nulhypothese van onafhankelijkheid. Dit betekent dat de rij- en kolomvariabelen statistisch afhankelijk zijn. * Als de berekende $ \chi^2 $-waarde laag is (dicht bij nul), suggereert dit dat de geobserveerde frequenties dicht bij de verwachte frequenties liggen, wat de nulhypothese van onafhankelijkheid ondersteunt. De significantie van de toets wordt bepaald door de p-waarde te vergelijken met een vooraf bepaald significantieniveau (meestal $ \alpha = 0.05 $). Als $ p < \alpha $, wordt de nulhypothese verworpen. #### 2.4.2 Beperkingen en voorwaarden De chi-kwadraat toets is een benaderende methode en de betrouwbaarheid van de p-waarde hangt af van de grootte van de celfrequenties. Er gelden specifieke voorwaarden: * **Minimale celfrequenties:** * Voor een $ 2 \times 2 $ tabel moeten alle verwachte celfrequenties minimaal 5 zijn. * Voor tabellen met meer dan 2 rijen of kolommen (df > 1), mogen niet meer dan 20% van de verwachte celfrequenties kleiner zijn dan 5, en geen enkele verwachte celfrequentie mag kleiner zijn dan 1. * Als deze voorwaarden niet voldaan zijn, kunnen categorieën samengenomen worden om de verwachte celfrequenties te verhogen, of er kunnen alternatieve toetsen zoals de Fisher's exact test (voor $ 2 \times 2 $ tabellen) overwogen worden. * **Geen rekening met rangorde:** De chi-kwadraat toets houdt geen rekening met de rangorde van de categorieën in ordinale variabelen. Als rangorde relevant is, kunnen andere niet-parametrische toetsen geschikter zijn. #### 2.4.3 Verdere analyse bij significant resultaat Wanneer de chi-kwadraat toets significant is, wat aangeeft dat er een verband is, kan de aard van dit verband verder worden geanalyseerd door: * **Celpercentages te vergelijken:** Nagaan welke cellen een afwijkend percentage vertonen ten opzichte van de verwachte proporties. * **Geobserveerde en verwachte celfrequenties te vergelijken:** Identificeren welke cellen over- of ondervertegenwoordigd zijn ten opzichte van de nulhypothese. * **Bijdragen aan de toetsingsgrootheid te bekijken:** Analyseren welke cellen het meest bijdragen aan de totale $ \chi^2 $-waarde. ### 2.5 Voorbeeld Stel we onderzoeken of er een verband is tussen geslacht (jongens/meisjes) en het blijven zitten (ja/nee) in een klas. **Geobserveerde celfrequenties:** | | Zitten blijven (Ja) | Niet blijven zitten (Nee) | Totaal | | :--------- | :------------------ | :------------------------ | :----- | | Jongens | 80 | 120 | 200 | | Meisjes | 70 | 130 | 200 | | **Totaal** | **150** | **250** | **400** | **Berekening van verwachte celfrequenties:** * Verwacht voor jongens die blijven zitten: $ E_{jj} = \frac{200 \times 150}{400} = 75 $ * Verwacht voor jongens die niet blijven zitten: $ E_{jn} = \frac{200 \times 250}{400} = 125 $ * Verwacht voor meisjes die blijven zitten: $ E_{mj} = \frac{200 \times 150}{400} = 75 $ * Verwacht voor meisjes die niet blijven zitten: $ E_{mn} = \frac{200 \times 250}{400} = 125 $ **Berekening van de chi-kwadraat toetsingsgrootheid:** $$ \chi^2 = \frac{(80-75)^2}{75} + \frac{(120-125)^2}{125} + \frac{(70-75)^2}{75} + \frac{(130-125)^2}{125} $$ $$ \chi^2 = \frac{25}{75} + \frac{25}{125} + \frac{25}{75} + \frac{25}{125} $$ $$ \chi^2 \approx 0.333 + 0.200 + 0.333 + 0.200 = 1.066 $$ **Vrijheidsgraden:** $ df = (2 - 1) \times (2 - 1) = 1 \times 1 = 1 $ Stel dat de kritieke waarde voor $ df=1 $ en $ p=0.05 $ gelijk is aan 3.841. Aangezien onze berekende $ \chi^2 $-waarde van 1.066 kleiner is dan de kritieke waarde, en de bijbehorende p-waarde groter is dan 0.05, zouden we de nulhypothese van onafhankelijkheid niet verwerpen. Er is onvoldoende bewijs om te concluderen dat geslacht en blijven zitten statistisch afhankelijk zijn in deze steekproef. > **Tip:** Altijd eerst de verwachte celfrequenties controleren op hun grootte voordat de chi-kwadraat waarde berekend wordt, om te beoordelen of de toets betrouwbaar is. ### 2.6 Vergelijking met Goodness of Fit test Het is belangrijk de chi-kwadraat toets voor onafhankelijkheid te onderscheiden van de chi-kwadraat goodness-of-fit test. * De **chi-kwadraat goodness-of-fit test** (ook wel aanpassingstoets genoemd) wordt gebruikt voor één categorische variabele om na te gaan in hoeverre de proporties van categorieën in een steekproef overeenkomen met een theoretisch verwachte verdeling (bv. is de verdeling van leiderschapsstijlen gelijk aan een bekende referentieverdeling). * De **chi-kwadraat toets voor onafhankelijkheid** wordt gebruikt voor twee categorische variabelen om te toetsen of deze twee variabelen gerelateerd zijn of onafhankelijk van elkaar. Beide toetsen maken gebruik van de chi-kwadraat verdeling, maar de toepassing en de berekening van de vrijheidsgraden verschillen. Voor de goodness-of-fit test is $ df = k - 1 $ (waarbij $ k $ het aantal categorieën is), terwijl voor de onafhankelijkheidstoets $ df = (r - 1) \times (k - 1) $ is. --- # Kolmogorov-Smirnov toets Hieronder volgt een samenvatting voor het onderwerp "Kolmogorov-Smirnov toets", opgesteld als een studiehandleiding. ## 3. Kolmogorov-Smirnov toets De Kolmogorov-Smirnov (K-S) toets is een statistische methode die wordt gebruikt om te bepalen of een steekproef afkomstig is uit een specifieke theoretische verdeling, waarbij de meest voorkomende toepassing is om na te gaan of een populatie normaal verdeeld is. ### 3.1 Doel en basisprincipe #### 3.1.1 Doel van de toets Het hoofddoel van de Kolmogorov-Smirnov toets is het nagaan in welke mate de proporties waarin categorieën voorkomen in een waargenomen steekproef overeenkomen met de theoretisch verwachte proporties van een specifieke referentieverdeling. Het is een type "goodness-of-fit" (aanpassingstoets) voor één steekproef. #### 3.1.2 Basisprincipe De toets vergelijkt de cumulatieve frequentieverdeling van de waargenomen steekproef met de cumulatieve frequentieverdeling van de theoretisch verwachte verdeling. Het verschil tussen deze twee cumulatieve verdelingen wordt geanalyseerd om te bepalen of de waargenomen steekproef significant afwijkt van de hypothetische verdeling. ### 3.2 Kenmerken van de Kolmogorov-Smirnov toets * **Meetniveau:** De toets kan worden toegepast op data met een ordinaal meetniveau of hoger. * **Hypotheses:** * **Nulhypothese ($H_0$):** De waargenomen verdeling wijkt niet significant af van de referentieverdeling, waarbij eventuele verschillen verklaard kunnen worden door toevalssteekproeven. * **Alternatieve hypothese ($H_1$):** De waargenomen verdeling wijkt significant af van de referentieverdeling. * **Toetsingsgrootheid:** De toetsingsgrootheid is de maximale absolute afwijking tussen de geobserveerde cumulatieve verdeling ($F_{obs}(x)$) en de verwachte cumulatieve verdeling ($F_{exp}(x)$). Deze wordt aangeduid als $D = \max_x |F_{obs}(x) - F_{exp}(x)|$. * **P-waarden:** P-waarden worden doorgaans voor een tweezijdige toets gerapporteerd. ### 3.3 Toepassingen en voorbeelden #### 3.3.1 Normale verdeling controleren De meest voorkomende toepassing van de K-S toets is het controleren of een steekproef afkomstig is uit een normaal verdeelde populatie. Dit is een belangrijke aanname voor veel parametrische statistische toetsen. > **Voorbeeld 1:** Je hebt 100 keer een dobbelsteen gegooid. De K-S toets kan worden gebruikt om te bepalen of de dobbelsteen "eerlijk" is, wat betekent of de waarnemingen afkomstig zijn uit een uniforme verdeling. De kritieke waarde voor de K-S toets, in relatie tot de steekproefgrootte $n$, wordt vaak bepaald door een drempelwaarde. Als de maximale afwijking $D$ groter is dan deze kritieke waarde (bijvoorbeeld $1.36 / \sqrt{n}$ voor een specifieke significantieniveau), wordt de nulhypothese verworpen. > **Voorbeeld 2:** Een onderzoeker verzamelt gegevens over de levenskwaliteit (QOL) van 201 kankerpatiënten, gemeten op een schaal van 0 tot 10. De K-S toets wordt toegepast om te onderzoeken of deze gegevens afkomstig zijn uit een normaal verdeelde populatie. De resultaten kunnen worden vergeleken met de cumulatieve verdeling van een theoretische normale verdeling met de geschatte gemiddelde ($\mu$) en standaarddeviatie ($\sigma$) van de steekproef. #### 3.3.2 Andere verdelingen controleren Naast de normale verdeling kan de K-S toets ook worden gebruikt om andere verdelingen te toetsen, zoals de uniforme verdeling. ### 3.4 Beperkingen en correcties #### 3.4.1 Gevoeligheid en de oorspronkelijke K-S toets De oorspronkelijke versie van de Kolmogorov-Smirnov toets is in het verleden bekritiseerd omdat deze de nulhypothese te gemakkelijk accepteert, met name wanneer de populatieparameters (zoals gemiddelde en standaarddeviatie) uit de data zelf worden geschat. Dit kan leiden tot te weinig conservatieve p-waarden. #### 3.4.2 De Lilliefors correctie Om dit probleem aan te pakken, is de **Lilliefors correctie** ontwikkeld. Deze correctie houdt rekening met het feit dat de populatieparameters zijn geschat uit de steekproef. Het resultaat is dat er meer conservatieve p-waarden worden gebruikt, wat betekent dat de toets strenger wordt. Statistische softwarepakketten passen deze correctie vaak automatisch toe wanneer de K-S toets wordt uitgevoerd voor normaliteit. #### 3.4.3 Interpretatie van software resultaten Wanneer statistische software, zoals R met de `lillie.test` functie, wordt gebruikt voor een K-S toets, is het belangrijk op te merken dat de resultaten (zoals de $D$-statistiek en de p-waarde) de Lilliefors correctie kunnen bevatten. Handmatige berekeningen met klassenmiddens kunnen afwijken van de resultaten van software die individuele waarnemingen analyseert. ### 3.5 Vergelijking met andere toetsen Hoewel de K-S toets nuttig is, is het een "omnibus" toets, wat betekent dat het weliswaar een verband of afwijking detecteert, maar niet specifiek de aard ervan aangeeft. Als een significante afwijking wordt gevonden, zijn verdere analyses nodig om de specifieke cellen of categorieën te identificeren die het meest bijdragen aan dit verschil. ### 3.6 K-S toets voor twee steekproeven De Kolmogorov-Smirnov toets kan ook worden uitgebreid om te toetsen of twee steekproeven afkomstig zijn uit dezelfde populatie. Dit wordt gedaan door de cumulatieve verdelingen van beide steekproeven te vergelijken. > **Tip:** De K-S toets kan als een snelle eerste screening worden gebruikt om te controleren of data voldoen aan bepaalde distributieaannames. Echter, vanwege de beperkingen (met name de gevoeligheid van de oorspronkelijke versie), is het vaak aan te raden om bij twijfel aanvullende of meer specifieke toetsen te gebruiken. --- # Beperkingen en interpretatie van chi-kwadraat toetsen Hier volgt een gedetailleerde samenvatting over de beperkingen en interpretatie van chi-kwadraat toetsen, opgesteld in het Nederlands en conform de gestelde formatteerregels. ## 4. Beperkingen en interpretatie van chi-kwadraat toetsen Dit onderwerp behandelt de noodzakelijke voorwaarden voor het correct toepassen van chi-kwadraat toetsen, zoals minimale verwachte celfrequenties, en hoe de resultaten geïnterpreteerd moeten worden, inclusief de analyse van afwijkende celpercentages en bijdragen aan de toetsgrootheid. ### 4.1 Chi-kwadraat goodness-of-fit test: beperkingen De chi-kwadraat (𝜒²) goodness-of-fit test is een benaderende methode. De betrouwbaarheid van de p-waarde is afhankelijk van de grootte van de celfrequenties. Er zijn specifieke vereisten om ervoor te zorgen dat de toets nauwkeurig blijft. #### 4.1.1 Minimale verwachte celfrequenties Om te waarborgen dat de kritieke waarden voor de chi-kwadraat toets betrouwbaar zijn, gelden de volgende regels voor verwachte celfrequenties: * **Algemene regel:** Gemiddeld moeten de verwachte celfrequenties minstens 5 zijn. * **Specifieke regel:** Alle verwachte celfrequenties moeten groter zijn dan of gelijk aan 1. * **Voor 2x2 tabellen:** Alle verwachte celfrequenties moeten 5 of meer zijn. > **Tip:** Als de verwachte celfrequenties te laag zijn, wordt de chi-kwadraat toets te instabiel, wat kan leiden tot onjuiste resultaten. Het kan soms nodig zijn om categorieën samen te voegen om aan deze voorwaarden te voldoen, hoewel dit de interpretatie kan bemoeilijken. #### 4.1.2 Gevoeligheid voor rangorde De chi-kwadraat toets houdt geen rekening met de rangorde van de categorieën. Dit betekent dat als de variabelen een ordinaal meetniveau hebben, de informatie over de ordening van de categorieën verloren gaat bij het toepassen van deze toets. > **Tip:** Voor ordinale data kan een alternatieve toets zoals de Kruskal-Wallis toets (voor meerdere groepen) of de Mann-Whitney U toets (voor twee groepen) geschikter zijn, aangezien deze wel rekening houden met rangordes. ### 4.2 Interpretatie van chi-kwadraat toets resultaten Wanneer een chi-kwadraat toets significant is, geeft dit aan dat er een verband bestaat tussen de variabelen. De aard van dit verband kan verder geanalyseerd worden door verschillende invalshoeken te bekijken. De chi-kwadraat toets is een zogenaamde "omnibus test", wat betekent dat het een algemeen verband detecteert zonder specifiek aan te geven waar dit verband zit. #### 4.2.1 Vergelijken van specifieke celpercentages Een manier om een significant resultaat verder te duiden is door de percentages in specifieke cellen van de kruistabel te vergelijken. Hierbij wordt gekeken welke cellen een afwijkend percentage vertonen ten opzichte van wat verwacht zou worden. #### 4.2.2 Vergelijken van waargenomen en verwachte celfrequenties Een andere interpretatiemethode is het direct vergelijken van de waargenomen celfrequenties ($O$) met de verwachte celfrequenties ($E$) onder de nulhypothese van onafhankelijkheid. Dit helpt te identificeren welke cellen over- of ondervertegenwoordigd zijn in vergelijking met de verwachtingen. #### 4.2.3 Analyse van bijdragen aan de chi-kwadraat toetsingsgrootheid De chi-kwadraat toetsingsgrootheid wordt berekend met de formule: $$ \chi^2 = \sum \frac{(O_i - E_i)^2}{E_i} $$ waarbij $O_i$ de waargenomen frequentie is en $E_i$ de verwachte frequentie voor cel $i$. Door de term $\frac{(O_i - E_i)^2}{E_i}$ voor elke cel te berekenen, kan men zien welke cellen het meest bijdragen aan de totale chi-kwadraat waarde. Cellen met een grote bijdrage wijzen op een sterke afwijking van de nulhypothese in die specifieke cel. > **Tip:** Een hoge bijdrage aan de 𝜒² waarde duidt op een aanzienlijk verschil tussen de waargenomen en verwachte frequentie in die specifieke cel, wat bijdraagt aan de algehele significantie van de toets. ### 4.3 Toepassing en berekening van verwachte celfrequenties Bij het toetsen van de onafhankelijkheid van variabelen in een kruistabel (contingentietabel), is het cruciaal om de verwachte celfrequenties correct te berekenen. #### 4.3.1 Berekenen van verwachte celfrequenties Voor een $r \times k$ kruistabel (met $r$ rijen en $k$ kolommen), wordt de verwachte celfrequentie voor de cel in rij $i$ en kolom $j$ berekend met de volgende formule, onder de aanname van statistische onafhankelijkheid: $$ E_{ij} = \frac{\text{(Som van rij } i) \times \text{(Som van kolom } j)}{\text{Totaal aantal observaties}} $$ Als de waargenomen frequenties sterk verschillen van de verwachte frequenties, resulteert dit in een hoge chi-kwadraat waarde, wat zou pleiten tegen de nulhypothese. #### 4.3.2 Vrijheidsgraden voor afhankelijkheidstoetsen Voor $r \times k$ kruistabellen is het aantal vrijheidsgraden ($df$) voor de chi-kwadraat afhankelijkheidstoets: $$ df = (k - 1) \times (r - 1) $$ Een hogere chi-kwadraat waarde, gecombineerd met een lager aantal vrijheidsgraden, leidt tot een kleinere p-waarde, wat sterker bewijs levert tegen de nulhypothese van onafhankelijkheid. #### 4.3.3 Voorbeeld: jongens blijven vaker zitten dan meisjes Beschouw een 2x2 kruistabel met de variabelen "geslacht" (jongens/meisjes) en "uitkomst" (blijven zitten/geslaagd). Stel we observeren de volgende frequenties: | | Blijven zitten | Geslaagd | Totaal | | :-------- | :------------ | :------- | :----- | | Jongens | 80 | 70 | 150 | | Meisjes | 42 | 78 | 120 | | Totaal | 122 | 148 | 270 | De verwachte celfrequenties worden berekend als volgt: * Verwacht (Jongens, Blijven zitten) = $\frac{150 \times 122}{270} \approx 67.78$ * Verwacht (Jongens, Geslaagd) = $\frac{150 \times 148}{270} \approx 82.22$ * Verwacht (Meisjes, Blijven zitten) = $\frac{120 \times 122}{270} \approx 54.22$ * Verwacht (Meisjes, Geslaagd) = $\frac{120 \times 148}{270} \approx 65.78$ De chi-kwadraat toetsingsgrootheid wordt dan berekend door voor elke cel de bijdrage $\frac{(O - E)^2}{E}$ op te tellen. Met deze waarden zou de toets resulteren in een significante afwijking, wat impliceert dat jongens vaker blijven zitten dan meisjes. > **Voorbeeld:** Stel de berekende chi-kwadraat waarde is 93.7 met 1 vrijheidsgraad. Dit is zeer significant (p < .001), wat leidt tot de conclusie dat geslacht en de uitkomst (blijven zitten/geslaagd) statistisch afhankelijk zijn. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Niet-Parametrische Statistiek | Een tak van statistiek die zich bezighoudt met toetsen en methoden die geen aannames doen over de verdeling van de populatie waaruit de steekproef is getrokken. | | Kruistabel (contingentietabel) | Een tabel die de frequentieverdeling van twee of meer categorische variabelen weergeeft, waarbij de cellen de gezamenlijke frequenties van combinaties van categorieën bevatten. | | Kwadraat van een normaalverdeling | De verdeling die ontstaat wanneer de waarden van een normaal verdeelde variabele worden gekwadrateerd. Dit leidt tot een scheve verdeling die positief georiënteerd is. | | Som van kwadraten van normaalverdelingen | De verdeling die ontstaat wanneer de kwadraten van meerdere onafhankelijke normaal verdeelde variabelen worden opgeteld. De vorm van deze verdeling hangt af van het aantal variabelen. | | Chi-kwadraat verdeling ($\chi^2$) | Een continue waarschijnlijkheidsverdeling die vaak wordt gebruikt bij het toetsen van hypothesen, met name bij analyses van categorische data. De vorm van de verdeling wordt bepaald door het aantal vrijheidsgraden. | | Vrijheidsgraden (df) | Het aantal waarden in de laatste berekening van een statistische analyse dat vrij kan variëren. Bij chi-kwadraat toetsen is dit gerelateerd aan het aantal categorieën of cellen in de tabel. | | Goodness of Fit test (Aanpassingstoets/Verdelingstoets) | Een statistische toets die nagaat in hoeverre de geobserveerde frequenties van categorieën in een steekproef overeenkomen met de theoretisch verwachte frequenties. | | Geobserveerde frequentie (o) | Het daadwerkelijke aantal waarnemingen in een specifieke categorie of cel van een dataset. | | Verwachte frequentie (e) | Het theoretisch aantal waarnemingen dat men zou verwachten in een specifieke categorie of cel, gebaseerd op de nulhypothese of marginale verdelingen. | | Nulhypothese ($H_0$) | Een stelling die een effect, verschil of verband veronderstelt dat er niet is, en die men probeert te weerleggen met statistische toetsing. | | Alternatieve hypothese ($H_1$) | Een stelling die stelt dat er wel een effect, verschil of verband is, tegengesteld aan de nulhypothese. | | p-waarde | De waarschijnlijkheid om een teststatistiek te verkrijgen die minstens zo extreem is als de waargenomen teststatistiek, ervan uitgaande dat de nulhypothese waar is. | | Kritieke waarde | De grens op de schaal van de teststatistiek waarboven of waaronder de nulhypothese wordt verworpen, gebaseerd op een vooraf bepaald significantieniveau ($\alpha$). | | Onafhankelijke steekproeven | Steekproeven waarbij de uitkomsten in de ene steekproef geen invloed hebben op de uitkomsten in de andere steekproef. | | Afhankelijke steekproeven | Steekproeven waarbij de uitkomsten in de ene groep gerelateerd zijn aan de uitkomsten in de andere groep (bv. metingen voor en na een interventie bij dezelfde personen). | | Celfrequentie | Het aantal waarnemingen in een individuele cel van een kruistabel of contingency tabel. | | Marginale verdelingen | De totalen van de rijen en kolommen in een kruistabel, die de verdeling van elke afzonderlijke variabele weergeven. | | Kolmogorov-Smirnov goodness-of-fit toets | Een non-parametrische toets die de cumulatieve verdelingsfunctie van een steekproef vergelijkt met de cumulatieve verdelingsfunctie van een theoretische verdeling. | | Cumulatieve frequentieverdeling | Een functie die de som van de frequenties van alle waarden tot en met een bepaalde waarde weergeeft. | | Lillieforscorrectie | Een correctie toegepast op de Kolmogorov-Smirnov toets wanneer de populatieparameters (gemiddelde en standaarddeviatie) geschat worden uit de data. Deze correctie maakt de toets conservatiever. |

# Introductie tot inferentie voor regressie Dit onderwerp introduceert inferentie voor regressie, waarbij de regressielijn niet alleen als beschrijving wordt gebruikt, maar ook om conclusies te trekken over populatieparameters. ## 1. Introductie tot inferentie voor regressie ### 1.1 Van regressielijn naar regressie-analyse De regressie-analyse bouwt voort op de beschrijvende regressielijn. Waar de beschrijvende analyse zich richt op het beschrijven van het lineaire verband binnen een steekproef, stelt inferentiële regressie zich ten doel deze resultaten te extrapoleren naar de populatie waaruit de steekproef afkomstig is. De regressielijn berekend uit de steekproefdata dient dan als schatter voor de "werkelijke" regressielijn van de populatie. ### 1.2 Algemene vragen en notatie Met regressie-analyse kunnen we antwoorden vinden op vragen zoals: * Is het waargenomen lineaire verband tussen $x$ en $y$ significant, of kan het door toeval zijn ontstaan? * Wat is de precieze "reactie" (helling) van $y$ op $x$, en met welke foutenmarge moeten we rekening houden? * Hoe nauwkeurig zijn voorspellingen die we doen op basis van de regressielijn? De populatie regressielijn wordt beschreven door de vergelijking: $$ \mu_y = \beta_0 + \beta_1 x $$ waarbij $\beta_0$ het intercept is en $\beta_1$ de helling (richtingscoëfficiënt). Deze parameters zijn doorgaans onbekend en worden geschat met de steekproefdata. De steekproef regressielijn is: $$ \hat{y} = b_0 + b_1 x $$ waar $b_0$ en $b_1$ de schatters zijn voor respectievelijk $\beta_0$ en $\beta_1$. ### 1.3 Voorwaarden voor inferentie over regressie Om betrouwbare inferentie te kunnen doen over regressieparameters en voorspellingen, moeten aan een aantal voorwaarden worden voldaan. Deze voorwaarden beschrijven de structuur van de data en de relatie tussen de variabelen: * **Lineariteit:** Het gemiddelde van de responsvariabele $y$ moet voor elke waarde van de verklarende variabele $x$ op een rechte lijn liggen. Dit wordt beschreven door de populatie regressielijn: $\mu_y = \beta_0 + \beta_1 x$. * **Normaliteit:** Voor elke waarde van $x$ wordt aangenomen dat de overeenkomstige waarden van $y$ normaal verdeeld zijn. Het is niet vereist dat de $y$-variabele als geheel normaal verdeeld is. * **Gelijke standaardafwijking (Homoscedasticiteit):** De standaardafwijking van de verdeling van $y$ is gelijk voor alle waarden van $x$. Deze gemeenschappelijke standaardafwijking wordt aangeduid met $\sigma$. De waarde van $\sigma$ is doorgaans onbekend. * **Onafhankelijkheid:** De waarnemingen van $y$ zijn onderling onafhankelijk. Dit geldt ook voor de residuen. > **Tip:** De lineariteitsvoorwaarde kan visueel worden gecontroleerd met een spreidingsdiagram (scatterplot) en het residuplot. Het residuplot toont de afwijkingen van de waargenomen waarden ten opzichte van de voorspelde waarden. Als er een patroon in het residuplot zichtbaar is, duidt dit op een schending van de lineariteitsvoorwaarde. ### 1.4 De rol van schatters en onzekerheid De regressieparameters $\beta_0$ en $\beta_1$ zijn onbekende populatieparameters. De berekende waarden $b_0$ en $b_1$ uit de steekproef zijn schatters van deze parameters. Omdat $b_0$ en $b_1$ gebaseerd zijn op steekproefdata, zijn het zelf ook toevalsvariabelen en dus variabel. Ze worden verondersteld onbevooroordeelde schatters te zijn, wat betekent dat hun verwachte waarde gelijk is aan de populatieparameter ($E(b_0) = \beta_0$ en $E(b_1) = \beta_1$). De onzekerheid rondom deze schattingen wordt gekwantificeerd door hun standaardafwijking. Deze standaardafwijking is afhankelijk van $\sigma$, de standaardafwijking van de residuen. ### 1.5 Het statistische model Het enkelvoudige lineaire regressiemodel kan als volgt worden uitgedrukt: $$ y_i = (\beta_0 + \beta_1 x_i) + \epsilon_i $$ Hierbij is: * $y_i$: de waargenomen waarde van de responsvariabele voor de $i$-de observatie. * $x_i$: de waarde van de verklarende variabele voor de $i$-de observatie. * $\beta_0 + \beta_1 x_i$: de verwachte waarde van $y$ voor een gegeven $x_i$, wat de populatie regressielijn vertegenwoordigt. * $\epsilon_i$: de foutterm of residu voor de $i$-de observatie. Deze wordt verondersteld onafhankelijk en normaal verdeeld te zijn met een gemiddelde van 0 en een standaardafwijking $\sigma$ ($\epsilon_i \sim N(0, \sigma)$). Het datamodel wordt dan: $$ y_i = b_0 + b_1 x_i + e_i $$ waarbij $b_0$ en $b_1$ de geschatte regressiecoëfficiënten zijn en $e_i$ de residuen van de steekproef. De residuen ($e_i$) zijn schatters van de fouttermen ($\epsilon_i$). ### 1.6 Schatting van regressieparameters en standaardafwijking De parameters $b_0$ en $b_1$ worden geschat met de kleinste-kwadratenmethode (least squares), die de som van de gekwadrateerde residuen minimaliseert. Deze schatters zijn zelf normaal verdeeld met verwachtingen $\beta_0$ en $\beta_1$. De standaardafwijking van de residuen, $\sigma$, kan worden geschat aan de hand van de berekende residuen ($e_i$). De schatter voor $\sigma$ wordt vaak aangeduid als $s_\epsilon$ of $\hat{\sigma}$, en wordt berekend als: $$ s_\epsilon = \sqrt{\frac{\sum_{i=1}^n e_i^2}{n-2}} $$ Hierbij is $n-2$ het aantal vrijheidsgraden, omdat er twee parameters ($\beta_0$ en $\beta_1$) zijn geschat. > **Tip:** Uitschieters en invloedrijke waarnemingen in de dataset kunnen de geschatte regressieparameters en de schatting van $\sigma$ aanzienlijk beïnvloeden en de geldigheid van de inferentie ondermijnen. Het is daarom belangrijk om deze kritisch te evalueren. ## 2. Betrouwbaarheidsintervallen en significantietoetsen voor $\beta_0$ en $\beta_1$ ### 2.1 Standaardfouten van de schatters Voor het construeren van betrouwbaarheidsintervallen en het uitvoeren van significantietoetsen, hebben we de standaardfouten van de geschatte regressieparameters nodig. De standaardfout van de geschatte helling $b_1$ wordt gegeven door: $$ SE(b_1) = \frac{s_\epsilon}{\sqrt{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ De standaardfout van het geschatte intercept $b_0$ wordt gegeven door: $$ SE(b_0) = s_\epsilon \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ Hierin is $\bar{x}$ het gemiddelde van de $x$-waarden. ### 2.2 Betrouwbaarheidsintervallen Een betrouwbaarheidsinterval (BI) voor een populatieparameter geeft een reeks waarden aan waarbinnen we met een bepaalde mate van betrouwbaarheid verwachten dat de ware parameter ligt. Een algemene vorm voor een betrouwbaarheidsinterval is: $$ \text{Schatter} \pm t^* \cdot (\text{Standaardfout van de schatter}) $$ Voor $\beta_1$: $$ b_1 \pm t^* \cdot SE(b_1) $$ Voor $\beta_0$: $$ b_0 \pm t^* \cdot SE(b_0) $$ De waarde van $t^*$ wordt verkregen uit de $t$-verdeling met $n-2$ vrijheidsgraden, corresponderend met het gewenste betrouwbaarheidsniveau. ### 2.3 Significantietoetsen Significantietoetsen worden gebruikt om te beoordelen of een waargenomen effect in de steekproef groot genoeg is om aan te nemen dat het ook in de populatie aanwezig is, of dat het waarschijnlijk door toeval is ontstaan. **Nulhypothese voor de helling:** De meest voorkomende nulhypothese voor de helling is $H_0: \beta_1 = 0$. Dit toets of er geen lineair verband is tussen $x$ en $y$ in de populatie. De alternatieve hypothese is $H_a: \beta_1 \neq 0$. De toetsingsgrootheid voor deze hypothese is een $t$-statistiek: $$ t = \frac{b_1 - 0}{SE(b_1)} = \frac{b_1}{SE(b_1)} $$ Deze $t$-statistiek volgt een $t$-verdeling met $n-2$ vrijheidsgraden onder de nulhypothese. De $p$-waarde is de kans om een $t$-statistiek te observeren die minstens zo extreem is als de berekende waarde, gegeven dat $H_0$ waar is. **Nulhypothese voor het intercept:** Hoewel het mogelijk is om een significantietoets uit te voeren voor $\beta_0$ ($H_0: \beta_0 = 0$), is deze toets vaak minder relevant in de praktijk, tenzij de interpretatie van het intercept bij $x=0$ specifiek betekenisvol is in de context van het onderzoek. > **Tip:** Een kleine $p$-waarde (doorgaans kleiner dan een vooraf bepaald significantieniveau, zoals 0,05) leidt tot het verwerpen van de nulhypothese. Dit suggereert dat er statistisch bewijs is voor een lineair verband tussen $x$ en $y$ in de populatie. ## 3. Inferentie over voorspellingen Regressiemodellen worden vaak gebruikt om voorspellingen te doen over de responsvariabele $y$ voor specifieke waarden van de verklarende variabele $x$. We kunnen onderscheid maken tussen het voorspellen van het gemiddelde van $y$ voor een gegeven $x$, en het voorspellen van een individuele waarneming van $y$ voor een gegeven $x$. ### 3.1 Voorspelling van het gemiddelde van $y$ voor een gegeven $x$ ($\mu_y$) Voor een specifieke waarde $x^*$, willen we een betrouwbaarheidsinterval construeren voor de verwachte waarde van $y$, $\mu_y(x^*) = \beta_0 + \beta_1 x^*$. De voorspelde waarde is $\hat{y}^* = b_0 + b_1 x^*$. Het betrouwbaarheidsinterval wordt gegeven door: $$ \hat{y}^* \pm t^* \cdot SE(\hat{y}^*) $$ waarbij de standaardfout van de voorspelde gemiddelde waarde wordt gegeven door: $$ SE(\hat{y}^*) = s_\epsilon \sqrt{\frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ > **Tip:** Dit interval wordt ook wel een "betrouwbaarheidsinterval voor de gemiddelde respons" genoemd. Het is altijd smaller dan het voorspellingsinterval voor een individuele waarneming, omdat het gaat over het gemiddelde van vele toekomstige waarnemingen. Het interval wordt breder naarmate $x^*$ verder afwijkt van $\bar{x}$. ### 3.2 Voorspelling van een individuele $y$-waarde voor een gegeven $x$ Voor een specifieke waarde $x^*$, willen we een voorspellingsinterval construeren voor een individuele waarneming $y^*$. De voorspelde waarde is wederom $\hat{y}^* = b_0 + b_1 x^*$. Het voorspellingsinterval wordt gegeven door: $$ \hat{y}^* \pm t^* \cdot SE_{indiv}(\hat{y}^*) $$ waarbij de standaardfout voor een individuele voorspelling wordt gegeven door: $$ SE_{indiv}(\hat{y}^*) = s_\epsilon \sqrt{1 + \frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ > **Tip:** Dit interval wordt ook wel een "voorspellingsinterval voor een individuele respons" genoemd. Het is breder dan het betrouwbaarheidsinterval voor het gemiddelde, omdat het rekening houdt met de extra onzekerheid die voortkomt uit het voorspellen van een enkele waarneming in plaats van een gemiddelde. ## 4. Variantie-analyse (ANOVA) voor regressie De variantie-analyse (ANOVA) is een krachtig statistisch hulpmiddel dat de totale variantie in de responsvariabele $y$ opsplitst in delen die verklaard kunnen worden door het regressiemodel en delen die onverklaard blijven (residuen). ### 4.1 Deelcomponenten van variantie * **Totale Kwadratensom (SST - Sum of Squares Total):** Dit meet de totale variatie in $y$ rond het gemiddelde $\bar{y}$. $SST = \sum_{i=1}^n (y_i - \bar{y})^2$. * **Geklaarde Kwadratensom (SSR of SSM - Sum of Squares Regression/Model):** Dit meet de variatie in $y$ die verklaard wordt door het regressiemodel (de regressielijn). $SSR = \sum_{i=1}^n (\hat{y}_i - \bar{y})^2$. * **Onverklaarde Kwadratensom (SSE - Sum of Squares Error):** Dit meet de variatie in $y$ die niet verklaard wordt door het model, oftewel de residuen. $SSE = \sum_{i=1}^n (y_i - \hat{y}_i)^2 = \sum_{i=1}^n e_i^2$. De relatie tussen deze kwadratensommen is: $SST = SSR + SSE$. ### 4.2 Determinatiecoëfficiënt ($R^2$) De determinatiecoëfficiënt, $R^2$, is een maat voor de proportie van de totale variantie in de responsvariabele die verklaard wordt door het regressiemodel. Het wordt berekend als: $$ R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST} $$ Een $R^2$ waarde van 0,408, zoals in een voorbeeld, betekent dat 40,8% van de variantie in de globale levenstevredenheid verklaard kan worden door de score op de Likertschaal. ### 4.3 ANOVA F-toets De ANOVA F-toets wordt gebruikt om de nulhypothese te toetsen dat er geen lineair verband is tussen $x$ en $y$ in de populatie ($H_0: \beta_1 = 0$). De toetsingsgrootheid is de ratio van de gemiddelde kwadratensommen: $$ F = \frac{MSM}{MSE} $$ waarbij: * $MSM = \frac{SSR}{DFM}$ (Mean Square Model, met $DFM$ vrijheidsgraden voor het model) * $MSE = \frac{SSE}{DFE}$ (Mean Square Error, met $DFE$ vrijheidsgraden voor de error) Voor enkelvoudige lineaire regressie is $DFM = 1$ (vanwege de enkele verklarende variabele $x$) en $DFE = n-2$. De $F$-toetsingsgrootheid volgt dan een $F$-verdeling met 1 en $n-2$ vrijheidsgraden onder de nulhypothese. > **Opmerking:** Voor enkelvoudige lineaire regressie is de $F$-toets equivalent aan de $t$-toets voor $\beta_1$, aangezien $F = t^2$. De $p$-waarden van beide toetsen zijn dus identiek. De $t$-toets heeft echter de voorkeur bij een enkele verklarende variabele omdat deze ook richtinggevoelig is en het makkelijker is om eenzijdig te toetsen. ## 5. Inferentie voor correlatie Wanneer er geen duidelijke verklarende of verklaarde variabele is (bv. bij het onderzoeken van de relatie tussen armlengte en beenlengte), of wanneer we specifiek geïnteresseerd zijn in de sterkte en richting van het lineaire verband, kan inferentie op de correlatiecoëfficiënt ($\rho$, rho) relevanter zijn dan regressie-inferentie. ### 5.1 Toetsen van de correlatiecoëfficiënt De nulhypothese dat er geen lineair verband is tussen twee variabelen kan ook getoetst worden door de populatiecorrelatiecoëfficiënt $\rho$ te toetsen. De nulhypothese is $H_0: \rho = 0$. Als de variabelen $x$ en $y$ bivariaat normaal verdeeld zijn, is $H_0: \rho = 0$ equivalent aan de stelling dat $x$ en $y$ onafhankelijk zijn. De significantietoets voor $\rho$ is gebaseerd op een 1-steekproef $t$-toets: $$ t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}} $$ waarbij $r$ de steekproefcorrelatiecoëfficiënt is en $n$ de steekproefgrootte. De $t$-statistiek volgt een $t$-verdeling met $n-2$ vrijheidsgraden. De $p$-waarde wordt berekend op basis van deze $t$-verdeling. > **Opmerking:** Als $x$ de duidelijke verklarende variabele is, is de toets op $\beta_1=0$ equivalent aan de toets op $\rho=0$. In andere situaties is de toets op $\rho$ meer geschikt. --- # Regressiemodel en schatting van parameters Dit deel behandelt het enkelvoudige lineaire regressiemodel, de bijbehorende statistische aannames, en de methoden voor het schatten van de modelparameters. ### 2.1 Enkelvoudige lineaire regressie Een enkelvoudig lineair regressiemodel wordt gebruikt wanneer er één verklarende variabele ($x$) is om een verklaarde variabele ($y$) te modelleren. Het doel is om het lineaire verband tussen $x$ en $y$ te beschrijven en te voorspellen. #### 2.1.1 Het populatiemodel Het populatiemodel van enkelvoudige lineaire regressie stelt dat voor elke waarde van de verklarende variabele $x$, de verklaarde variabele $y$ normaal verdeeld is rond een gemiddelde $\mu_y$. Dit gemiddelde $\mu_y$ heeft een lineair verband met $x$, wat wordt uitgedrukt door de populatie regressierechte: $$ \mu_y = \beta_0 + \beta_1 x $$ Hierbij zijn $\beta_0$ het populatie-intercept en $\beta_1$ de populatie-helling (richtingscoëfficiënt). Daarnaast wordt verondersteld dat de standaarddeviatie van $y$, aangeduid met $\sigma$, gelijk is voor alle waarden van $x$. De waarde van $\sigma$ is echter onbekend. #### 2.1.2 Veronderstellingen voor regressie-inferentie Voor het uitvoeren van statistische inferentie (zoals betrouwbaarheidsintervallen en significantietoetsen) op basis van een regressiemodel, zijn de volgende veronderstellingen cruciaal: * **Lineariteit:** Het gemiddelde van de verklaarde variabele $y$ hangt lineair af van de verklarende variabele $x$. * **Onafhankelijkheid:** De waarnemingen van $y$ zijn onderling onafhankelijk. * **Normaliteit:** Voor elke waarde van $x$ is de verklaarde variabele $y$ normaal verdeeld. * **Gelijke standaardafwijking (homoscedasticiteit):** De standaardafwijking $\sigma$ van $y$ is gelijk voor alle waarden van $x$. Deze veronderstellingen kunnen visueel worden gecontroleerd met behulp van spreidingsdiagrammen (scatterplots) en residuplotten. #### 2.1.3 Het datamodel Het datamodel beschrijft hoe individuele waarnemingen zich verhouden tot het populatiemodel. Voor een steekproef van $n$ waarnemingen $(x_i, y_i)$ wordt dit als volgt weergegeven: $$ y_i = \beta_0 + \beta_1 x_i + \epsilon_i $$ waarbij $\epsilon_i$ de foutterm is die de afwijking van de individuele waarneming $y_i$ van de populatie regressierechte voorstelt. De fouttermen $\epsilon_i$ worden verondersteld onafhankelijk en normaal verdeeld te zijn met een gemiddelde van 0 en een standaarddeviatie $\sigma$. #### 2.1.4 Schatting van regressieparameters De populatieparameters $\beta_0$ en $\beta_1$ zijn meestal onbekend en moeten geschat worden op basis van steekproefgegevens. De meest gebruikte methode hiervoor is de **methode van de kleinste kwadraten (least squares)**. ##### 2.1.4.1 De regressierechte (least-squares line) De regressierechte is de lijn die het best past bij de geobserveerde data door de som van de gekwadrateerde verticale afstanden (residuen) tussen de geobserveerde waarden $y_i$ en de voorspelde waarden $\hat{y}_i$ te minimaliseren. De vergelijking van de geschatte regressierechte is: $$ \hat{y} = b_0 + b_1 x $$ waarbij $b_0$ de schatter is voor $\beta_0$ en $b_1$ de schatter is voor $\beta_1$. ##### 2.1.4.2 Berekening van $b_0$ en $b_1$ De schatters $b_0$ en $b_1$ worden als volgt berekend: $$ b_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2} $$ $$ b_0 = \bar{y} - b_1 \bar{x} $$ waarbij $\bar{x}$ en $\bar{y}$ de steekproefgemiddelden zijn van respectievelijk $x$ en $y$. > **Tip:** $b_1$ kan ook worden uitgedrukt als $b_1 = r \frac{s_y}{s_x}$, waarbij $r$ de Pearsoncorrelatiecoëfficiënt is en $s_x$ en $s_y$ de steekproefstandaarddeviaties van $x$ en $y$ zijn. ##### 2.1.4.3 Schatting van de standaarddeviatie van de residuen De standaarddeviatie van de residuen, vaak aangeduid met $s$ of $\hat{\sigma}$, is een schatting van de populatiestandaarddeviatie $\sigma$. Deze schatting wordt gemaakt op basis van de residuen ($e_i = y_i - \hat{y}_i$) en wordt berekend met de volgende formule: $$ s = \sqrt{\frac{\sum_{i=1}^n e_i^2}{n-2}} = \sqrt{\frac{\sum_{i=1}^n (y_i - (b_0 + b_1 x_i))^2}{n-2}} $$ De noemer $n-2$ komt voort uit het feit dat twee parameters ($\beta_0$ en $\beta_1$) zijn geschat. De term $n-2$ vertegenwoordigt het aantal vrijheidsgraden voor de schatting van $\sigma$. > **Tip:** Een kleinere waarde van $s$ geeft aan dat de geobserveerde waarden van $y$ gemiddeld dichter bij de regressierechte liggen, wat duidt op een betere fit van het model. #### 2.1.5 Eigenschappen van de schatters $b_0$ en $b_1$ Onder de aannames van het lineaire regressiemodel, hebben de kleinste-kwadraten schatters $b_0$ en $b_1$ belangrijke eigenschappen: * **Zuiverheid:** $b_0$ en $b_1$ zijn zuivere schatters van $\beta_0$ en $\beta_1$, wat betekent dat hun verwachtingswaarde gelijk is aan de werkelijke populatieparameters: $E(b_0) = \beta_0$ en $E(b_1) = \beta_1$. * **Normaliteit:** De schatters $b_0$ en $b_1$ zelf zijn normaal verdeeld (of bij benadering normaal verdeeld voor grote steekproeven) met gemiddelden $\beta_0$ en $\beta_1$ respectievelijk. De standaarddeviaties van deze schatters (standaardfouten) kunnen uit de data worden geschat. > **Tip:** Het is cruciaal om de aannames van het regressiemodel te controleren, omdat schendingen van deze aannames de geldigheid van de schattingen en de daaropvolgende inferentie kunnen aantasten. #### 2.1.6 Analyse van residuen De analyse van de residuen ($e_i = y_i - \hat{y}_i$) is essentieel voor het controleren van de regressieveronderstellingen. * **Residuplot:** Een plot van de residuen tegen de voorspelde waarden $\hat{y}_i$ of tegen de verklarende variabele $x_i$ kan patronen onthullen die duiden op schendingen van lineariteit, homoscedasticiteit of normaliteit. Een willekeurig spreidingspatroon rond nul is wenselijk. * **Normaal-kwantiel-diagram van residuen (QQ-plot):** Dit diagram helpt bij het beoordelen van de normaliteitsveronderstelling. Als de residuen normaal verdeeld zijn, liggen de punten in het QQ-plot bij benadering op een rechte lijn. > **Voorbeeld:** Als een residuplot een gebogen patroon vertoont, kan dit duiden op een niet-lineair verband tussen $x$ en $y$, wat suggereert dat een lineair regressiemodel mogelijk niet de beste keuze is. ### 2.2 Inferentie over de regressieparameters Nadat de regressieparameters zijn geschat, kunnen we inferentie uitvoeren om conclusies te trekken over de populatieparameters $\beta_0$ en $\beta_1$. #### 2.2.1 Standaardfouten van de schatters De standaardfouten van de geschatte regressieparameters meten de variabiliteit van deze schatters over verschillende steekproeven. * **Standaardfout van $b_1$ (helling):** $$ SE(b_1) = \frac{s}{\sqrt{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ * **Standaardfout van $b_0$ (intercept):** $$ SE(b_0) = s \sqrt{\frac{1}{n} + \frac{\bar{x}^2}{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ #### 2.2.2 Betrouwbaarheidsintervallen voor $\beta_0$ en $\beta_1$ Een betrouwbaarheidsinterval biedt een bereik van waarden waarbinnen de populatieparameter met een bepaalde mate van betrouwbaarheid zal liggen. De algemene vorm van een betrouwbaarheidsinterval is: $$ \text{Schatter} \pm t^* \cdot \text{Standaardfout van de schatter} $$ Voor de helling $\beta_1$ wordt dit: $$ b_1 \pm t^* \cdot SE(b_1) $$ Voor het intercept $\beta_0$ wordt dit: $$ b_0 \pm t^* \cdot SE(b_0) $$ Hierbij is $t^*$ de kritieke waarde uit de $t$-verdeling met $n-2$ vrijheidsgraden die overeenkomt met het gewenste betrouwbaarheidsniveau. > **Voorbeeld:** Een 95% betrouwbaarheidsinterval voor $\beta_1$ dat (0.094, 0.128) is, suggereert dat we met 95% betrouwbaarheid kunnen zeggen dat de werkelijke toename in $y$ voor elke eenheidstoename in $x$ tussen 0.094 en 0.128 ligt. #### 2.2.3 Significantietoetsen voor $\beta_0$ en $\beta_1$ Significantietoetsen worden gebruikt om te beoordelen of er voldoende bewijs is om de nulhypothese te verwerpen. ##### 2.2.3.1 Toets voor de helling $\beta_1$ De meest voorkomende nulhypothese voor de helling is $H_0: \beta_1 = 0$, wat impliceert dat er geen lineair verband is tussen $x$ en $y$ in de populatie. De toetsgrootheid is een $t$-statistiek: $$ t = \frac{b_1 - \beta_{1,0}}{SE(b_1)} $$ waarbij $\beta_{1,0}$ de waarde van de helling onder de nulhypothese is (meestal 0). * **Hypothesen:** * $H_0: \beta_1 = 0$ (er is geen lineair verband) * $H_a: \beta_1 \neq 0$ (er is wel een lineair verband) De $p$-waarde van deze toets geeft de kans weer op het observeren van een steekproefstatistiek die minstens zo extreem is als de berekende waarde, aangenomen dat de nulhypothese waar is. Een lage $p$-waarde (typisch $< 0.05$) leidt tot het verwerpen van $H_0$. ##### 2.2.3.2 Toets voor het intercept $\beta_0$ Hoewel toetsen voor $\beta_0$ mogelijk zijn ($H_0: \beta_0 = 0$), is de toets op $\beta_1$ meestal van groter praktisch belang, omdat deze het effect van de verklarende variabele $x$ op $y$ kwantificeert. Een nulhypothese $\beta_0 = 0$ betekent dat de regressierechte door de oorsprong snijdt, wat niet altijd theoretisch relevant is. #### 2.2.4 Variantie-analyse (ANOVA) voor regressie ANOVA wordt gebruikt om de totale variantie in de verklaarde variabele $y$ op te splitsen in een deel dat verklaard wordt door het regressiemodel (door $x$) en een deel dat onverklaard blijft (de residuen). * **Totale som der kwadraten ($SST$):** De totale variantie in $y$. $SST = \sum (y_i - \bar{y})^2$. * **Som der kwadraten van het model ($SSM$ of $SSR$):** De variantie in $y$ verklaard door het regressiemodel. $SSM = \sum (\hat{y}_i - \bar{y})^2$. * **Som der kwadraten van de fout ($SSE$):** De onverklaarde variantie in $y$ (de som van de gekwadrateerde residuen). $SSE = \sum e_i^2$. Er geldt de relatie: $SST = SSM + SSE$. ##### 2.2.4.1 Determinatiecoëfficiënt ($R^2$) De determinatiecoëfficiënt, $R^2$, is de proportie van de totale variantie in $y$ die verklaard wordt door het regressiemodel (de variabele $x$). $$ R^2 = \frac{SSM}{SST} = 1 - \frac{SSE}{SST} $$ In enkelvoudige lineaire regressie is $R^2$ gelijk aan het kwadraat van de Pearsoncorrelatiecoëfficiënt ($r^2$). Een hogere $R^2$ waarde duidt op een betere pasvorm van het model. ##### 2.2.4.2 F-toets in ANOVA De ANOVA-tabel bevat de gemiddelde kwadratensommen ($MSM = SSM/(k)$ en $MSE = SSE/(n-k-1)$, waarbij $k$ het aantal predictoren is, in enkelvoudige regressie $k=1$). De $F$-statistiek wordt berekend als: $$ F = \frac{MSM}{MSE} $$ Deze $F$-statistiek volgt een $F$-verdeling met $k$ en $n-k-1$ vrijheidsgraden onder de nulhypothese $H_0: \beta_1 = 0$. De $F$-toets in enkelvoudige lineaire regressie is equivalent aan de $t$-toets voor de helling: $F = t^2$. > **Opmerking:** Voor regressie met één verklarende variabele ($k=1$) geeft de ANOVA $F$-toets dezelfde $p$-waarde als de $t$-toets voor de helling $\beta_1$. #### 2.2.5 Inferentie over voorspellingen Naast inferentie over de parameters, kunnen we ook betrouwbaarheidsintervallen construeren voor: * **De verwachte waarde van $y$ voor een specifieke waarde $x^*$ (betrouwbaarheidsinterval voor het gemiddelde):** Dit interval geeft een bereik van waarden waarbinnen de *gemiddelde* respons $\mu_y$ ligt voor een gegeven $x^*$. Dit interval is smaller dan het voorspellingsinterval. $$ \hat{y}^* \pm t^* \cdot SE(\hat{y}^*) $$ waarbij $SE(\hat{y}^*) = s \sqrt{\frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum_{i=1}^n (x_i - \bar{x})^2}}$. * **Een individuele voorspelling van $y$ voor een specifieke waarde $x^*$ (voorspellingsinterval):** Dit interval geeft een bereik van waarden waarbinnen een *individuele* waarneming $y$ waarschijnlijk zal vallen voor een gegeven $x^*$. Dit interval is breder dan het betrouwbaarheidsinterval voor het gemiddelde. $$ \hat{y}^* \pm t^* \cdot s \sqrt{1 + \frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum_{i=1}^n (x_i - \bar{x})^2}} $$ > **Belangrijk:** Zowel de breedte van het betrouwbaarheidsinterval als het voorspellingsinterval neemt toe naarmate de waarde $x^*$ verder afwijkt van het gemiddelde $\bar{x}$. ### 2.3 Inferentie voor correlatie Wanneer er geen duidelijke verklarende of verklaarde variabele is (bijvoorbeeld bij het onderzoeken van de relatie tussen armlengte en beenlengte), kan inferentie op de correlatiecoëfficiënt $\rho$ (rho) nuttiger zijn dan regressie-inferentie. De nulhypothese $H_0: \rho = 0$ is equivalent aan $H_0: \beta_1 = 0$ onder bepaalde aannames. Als $x$ en $y$ bivariaat normaal verdeeld zijn, toets deze hypothese of $x$ en $y$ onafhankelijk zijn. De toets voor $\rho$ is gebaseerd op een $t$-test met $n-2$ vrijheidsgraden. $$ t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}} $$ waarbij $r$ de steekproefcorrelatiecoëfficiënt is. --- # Hypothesetoetsing en betrouwbaarheidsintervallen voor regressieparameters Hieronder volgt een gedetailleerde studiegids voor hypothesetoetsing en betrouwbaarheidsintervallen voor regressieparameters, gebaseerd op de verstrekte documentatie. ## 3. Hypothesetoetsing en betrouwbaarheidsintervallen voor regressieparameters Dit onderdeel behandelt het gebruik van significantietoetsen en betrouwbaarheidsintervallen om conclusies te trekken over populatieparameters (helling en intercept) van een regressielijn, specifiek de t-toets voor de helling en het intercept, en de interpretatie van de resultaten. ### 3.1 Introductie tot inferentie voor regressieparameters Wanneer een spreidingsdiagram een lineair verband tussen een verklarende variabele ($x$) en een verklaarde variabele ($y$) suggereert, gebruiken we de regressierechte om $y$ te voorspellen voor een gegeven $x$. Als de data afkomstig zijn uit een grotere populatie, rijzen er vragen over de significantie van dit verband en de precisie van onze voorspellingen. De berekende regressiecoëfficiënten, de richtingscoëfficiënt ($b_1$) en het intercept ($b_0$), zijn schatters van de onbekende populatieparameters $\beta_1$ en $\beta_0$. Inferentie op deze parameters stelt ons in staat om conclusies te trekken over het ware lineaire verband in de populatie. ### 3.2 Aannames voor regressie-inferentie Voor betrouwbare inferentie op regressieparameters moeten aan bepaalde voorwaarden voldaan zijn: * **Normaliteit:** Voor elke waarde van de verklarende variabele $x$, wordt aangenomen dat de corresponderende responsen $y$ normaal verdeeld zijn. Dit betekent dat we een reeks normaalverdelingen verwachten, elk gecentreerd op de regressierechte van de populatie voor die specifieke $x$-waarde. * **Gelijke standaardafwijking ($\sigma$):** Alle normaalverdelingen van $y$ voor de verschillende $x$-waarden hebben dezelfde standaardafwijking $\sigma$. Dit impliceert dat de variabiliteit van $y$ constant is over alle waarden van $x$. De waarde van $\sigma$ bepaalt de breedte van de "tunnel" van waarnemingen rond de regressierechte. * **Lineariteit:** Het gemiddelde van de responsen $\mu_y$ voor een gegeven $x$ ligt op een rechte lijn. Deze populatie regressierechte wordt beschreven door $\mu_y = \beta_0 + \beta_1 x$. * **Onafhankelijkheid:** De waarnemingen van $y$ zijn onderling onafhankelijk. De parameters $\beta_0$ (intercept) en $\beta_1$ (helling) van de populatie regressierechte zijn onbekend. We schatten deze met de steekproefcoëfficiënten $b_0$ en $b_1$. ### 3.3 Schatting van regressieparameters De schatters $b_0$ en $b_1$ zijn zuivere schatters van respectievelijk $\beta_0$ en $\beta_1$, wat betekent dat hun verwachte waarden gelijk zijn aan de populatieparameters: $E(b_0) = \beta_0$ en $E(b_1) = \beta_1$. De schatters $b_0$ en $b_1$ volgen, onder de aannames, een normaalverdeling met de populatieparameters als gemiddelden. De standaardafwijking van deze schatters kan uit de data worden geschat. De standaardafwijking $\sigma$ van de residuen ($e_i$, het verschil tussen de waargenomen $y_i$ en de voorspelde $\hat{y}_i$) wordt gebruikt om de standaardafwijking van de regressiecoëfficiënten te schatten. De schatting van $\sigma$ wordt berekend op basis van de residuen en heeft $n-2$ vrijheidsgraden, waarbij $n$ het aantal waarnemingen is en 2 het aantal geschatte parameters ($\beta_0$ en $\beta_1$). > **Tip:** Uitschieters en invloedrijke waarnemingen kunnen de regressierechte en de schattingen van de parameters significant beïnvloeden en de inferentie ongeldig maken. Analyseer altijd de residuen en identificeer potentiële invloedrijke punten. ### 3.4 Betrouwbaarheidsintervallen voor regressieparameters Betrouwbaarheidsintervallen (BI) bieden een bereik van waarden waarbinnen de ware populatieparameter (helling of intercept) waarschijnlijk ligt. #### 3.4.1 Betrouwbaarheidsinterval voor de helling ($\beta_1$) Een betrouwbaarheidsinterval voor $\beta_1$ wordt geconstrueerd als volgt: $$ b_1 \pm t^* \cdot SE(b_1) $$ waarbij: * $b_1$ de geschatte regressiecoëfficiënt is. * $t^*$ de kritieke t-waarde is uit de t-verdeling met $n-2$ vrijheidsgraden, die overeenkomt met het gewenste betrouwbaarheidsniveau. * $SE(b_1)$ de standaardfout van de schatter $b_1$ is. > **Voorbeeld:** Een 95% betrouwbaarheidsinterval voor de helling $\beta_1$ van 0,094 tot 0,128 betekent dat we met 95% betrouwbaarheid kunnen zeggen dat de ware populatiehelling tussen 0,094 en 0,128 ligt. Dit kan geïnterpreteerd worden als: een toename van 1 eenheid in $x$ gaat samen met een toename in $y$ tussen 0,094 en 0,128 eenheden in de populatie. #### 3.4.2 Betrouwbaarheidsinterval voor het intercept ($\beta_0$) Een betrouwbaarheidsinterval voor $\beta_0$ wordt op een vergelijkbare manier geconstrueerd: $$ b_0 \pm t^* \cdot SE(b_0) $$ waarbij: * $b_0$ de geschatte intercept is. * $t^*$ de kritieke t-waarde is met $n-2$ vrijheidsgraden. * $SE(b_0)$ de standaardfout van de schatter $b_0$ is. Het betrouwbaarheidsinterval voor het intercept is echter vaak minder relevant in de praktijk, tenzij $x=0$ een betekenisvolle waarde is binnen het onderzochte domein. ### 3.5 Significantietoetsen voor regressieparameters Significantietoetsen worden gebruikt om te evalueren of het waargenomen verband in de steekproef significant is, of dat het ook door toeval zou kunnen zijn ontstaan in de populatie. #### 3.5.1 T-toets voor de helling ($\beta_1$) De meest voorkomende hypothese die getest wordt voor de helling is: * Nulhypothese $H_0$: $\beta_1 = 0$ (er is geen lineair verband tussen $x$ en $y$ in de populatie). * Alternatieve hypothese $H_a$: $\beta_1 \neq 0$ (er is wel een lineair verband). De toetsgrootheid is een t-statistiek: $$ t = \frac{b_1 - \beta_{1,0}}{SE(b_1)} $$ waarbij $\beta_{1,0}$ de waarde van de helling onder de nulhypothese is (meestal 0). De t-statistiek volgt een t-verdeling met $n-2$ vrijheidsgraden. De p-waarde is de kans om een t-statistiek te observeren die minstens zo extreem is als de berekende waarde, gegeven dat $H_0$ waar is. Een kleine p-waarde (typisch < 0,05) leidt tot verwerping van $H_0$. > **Tip:** De t-toets voor $\beta_1=0$ toetst of de verwachte waarde van $y$ ($\mu_y$) constant is, onafhankelijk van $x$. Dit betekent het toetsen van de afwezigheid van een lineair verband. #### 3.5.2 T-toets voor het intercept ($\beta_0$) De nulhypothese voor het intercept is doorgaans $H_0$: $\beta_0 = 0$. De toetsgrootheid is: $$ t = \frac{b_0 - \beta_{0,0}}{SE(b_0)} $$ waarbij $\beta_{0,0}$ de waarde van het intercept onder de nulhypothese is (meestal 0). Deze toets is vaak minder informatief dan de toets voor de helling, omdat een intercept van nul niet noodzakelijkerwijs betekent dat het model zinvol is. Het toetsen van $H_0: \beta_0 = 0$ test of de regressierechte door de oorsprong snijdt. ### 3.6 Variantie-analyse (ANOVA) voor regressie ANOVA kan worden gebruikt om de variantie in de verklaarde variabele $y$ te ontleden in componenten die verklaard worden door het model (regressierechte) en onverklaarde componenten (residuen). * **Totale kwadratensom (SST):** De totale variatie in $y$ rond het gemiddelde $\bar{y}$. * **Kwadratensom verklaard door het model (SSM):** De variatie in $y$ die verklaard wordt door de regressierechte. * **Kwadratensom van de fout (SSE):** De onverklaarde variatie in $y$ (de residuen). Deze kwadratensommen hebben bijbehorende vrijheidsgraden: * $df_{Totaal} = n-1$ * $df_{Model} = k$ (aantal verklarende variabelen, bij enkelvoudige regressie is dit 1) * $df_{Error} = n-k-1$ (bij enkelvoudige regressie is dit $n-2$) Gemiddelde kwadratensommen (Mean Squares): * $MSM = \frac{SSM}{df_{Model}}$ * $MSE = \frac{SSE}{df_{Error}}$ #### 3.6.1 F-toets in ANOVA De ANOVA F-toets evalueert de hypothese $H_0: \beta_1 = 0$ (in het geval van enkelvoudige regressie). De toetsgrootheid is de verhouding van de gemiddelde kwadratensommen: $$ F = \frac{MSM}{MSE} $$ Onder $H_0$ volgt deze F-statistiek een $F(k, n-k-1)$ verdeling. Voor enkelvoudige regressie is dit $F(1, n-2)$. Een hoge F-waarde suggereert dat het model een significant deel van de variantie in $y$ verklaart. > **Opmerking:** Voor enkelvoudige lineaire regressie is de F-toets equivalent aan de t-toets voor de helling, waarbij $F = t^2$. Beide toetsen leiden tot dezelfde p-waarde en conclusies. De F-toets is echter directer inzetbaar bij meervoudige regressie. #### 3.6.2 Determinatiecoëfficiënt ($R^2$) De determinatiecoëfficiënt ($R^2$) is de proportie van de totale variantie in $y$ die verklaard wordt door het regressiemodel (de variabele $x$). $$ R^2 = \frac{SSM}{SST} = 1 - \frac{SSE}{SST} $$ $R^2$ varieert tussen 0 en 1. Een hogere $R^2$ geeft aan dat het model $y$ beter voorspelt dan wanneer alleen het gemiddelde van $y$ gebruikt zou worden. Voor enkelvoudige regressie is $R^2$ gelijk aan het kwadraat van de Pearson-correlatiecoëfficiënt ($r$). ### 3.7 Inferentie voor voorspellingen Naast inferentie over de regressieparameters zelf, kunnen we ook betrouwbaarheidsintervallen construeren voor voorspellingen. #### 3.7.1 Betrouwbaarheidsinterval voor de verwachte waarde van $y$ ($\mu_y$) voor een specifieke $x^*$ Dit interval geeft een bereik van waarden waarbinnen de gemiddelde waarde van $y$ voor een specifieke waarde van $x$ (laten we die $x^*$ noemen) waarschijnlijk ligt. $$ \hat{y}^* \pm t^* \cdot SE(\hat{y}^*) $$ waarbij $\hat{y}^*$ de voorspelde waarde van $y$ is voor $x^*$, en $SE(\hat{y}^*)$ de standaardfout van deze voorspelling. De standaardfout is afhankelijk van de afstand van $x^*$ tot het gemiddelde van de $x$-waarden in de steekproef ($\bar{x}$). Hoe verder $x^*$ van $\bar{x}$ ligt, hoe breder het betrouwbaarheidsinterval. $$ SE(\hat{y}^*) = \hat{\sigma} \sqrt{\frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum(x_i - \bar{x})^2}} $$ waarbij $\hat{\sigma}$ de schatting van $\sigma$ is. #### 3.7.2 Voorspellingsinterval voor een individuele waarneming van $y$ voor een specifieke $x^*$ Dit interval geeft een bereik van waarden waarbinnen een *individuele* waarneming van $y$ voor een specifieke $x^*$ waarschijnlijk zal vallen. Dit interval is altijd breder dan het betrouwbaarheidsinterval voor de verwachte waarde, omdat het ook de inherente variabiliteit van individuele waarnemingen rond het gemiddelde omvat. $$ \hat{y}^* \pm t^* \cdot \sqrt{\hat{\sigma}^2 + (\hat{\sigma} \sqrt{\frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum(x_i - \bar{x})^2}})^2} $$ $$ \hat{y}^* \pm t^* \cdot \hat{\sigma} \sqrt{1 + \frac{1}{n} + \frac{(x^* - \bar{x})^2}{\sum(x_i - \bar{x})^2}} $$ > **Belangrijk:** Betrouwbaarheidsintervallen voor voorspellingen zijn het smalst rond het gemiddelde van de verklarende variabele ($\bar{x}$) en worden breder naarmate de te voorspellen $x^*$-waarde verder van $\bar{x}$ afwijkt. Dit illustreert het risico van extrapolatie buiten het bereik van de waargenomen data. ### 3.8 Inferentie voor correlatie Wanneer er geen duidelijke verklarende of verklaarde variabele is (bijvoorbeeld bij het onderzoeken van de relatie tussen armlengte en beenlengte), is het geschikter om inferentie te doen op de populatiecorrelatiecoëfficiënt, $\rho$ (rho). * **Nulhypothese $H_0$: $\rho = 0$**: Er is geen lineair verband tussen $x$ en $y$ in de populatie. * **Alternatieve hypothese $H_a$: $\rho \neq 0$**: Er is wel een lineair verband. Als $x$ en $y$ bivariaat normaal verdeeld zijn, is de nulhypothese $\rho = 0$ equivalent met de onafhankelijkheid van $x$ en $y$. De significantietoets voor $\rho$ is gebaseerd op een 1-steekproef t-test: $$ t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}} $$ waarbij $r$ de steekproefcorrelatiecoëfficiënt is en $n$ de steekproefgrootte. De kritieke waarden worden verkregen uit de t-verdeling met $n-2$ vrijheidsgraden. Als $x$ wel de verklarende variabele is, is de toets $H_0: \rho = 0$ equivalent met $H_0: \beta_1 = 0$. ### 3.9 Rapportage van regressie-analyse Volgens APA-richtlijnen worden regressieresultaten bij voorkeur in tabelvorm gerapporteerd. In de tekst kunnen de volgende elementen worden opgenomen: * De gestandaardiseerde helling ($\beta_1$). * De resultaten van de t-toets voor de helling, inclusief het significantieniveau en het aantal vrijheidsgraden ($t(df) = \text{waarde}, p < \text{niveau}$). * Het percentage verklaarde variantie ($R^2$) en de resultaten van de F-toets ($F(df_{model}, df_{error}) = \text{waarde}, p < \text{niveau}$). > **Voorbeeld rapportage:** Levenstevredenheid gemeten ahv een Likertschaal bestaande uit items dewelke peilen naar tevredenheid ivm diverse levensdomeinen voorspelt op significante wijze de globale levenstevredenheid, $\beta_1$ =0,111, $t$(230) = 12,590, $p$ < .001. Deze Likertschaal verklaart tevens een significant deel van de variantie in Globale levenstevredenheid, $R^2$=0,408, $F$(1,230)= 158,499 , $p$ < .001. --- # Variantie-analyse (ANOVA) en determinatiecoëfficiënt Dit onderwerp introduceert variantie-analyse (ANOVA) als een methode om de totale variantie in de verklaarde variabele op te splitsen in verklaarde en onverklaarde delen, en bespreekt de determinatiecoëfficiënt ($R^2$) en de F-toets. ## 4. Variantie-analyse (ANOVA) en determinatiecoëfficiënt ### 4.1 Basisprincipes van variantie-analyse Variantie-analyse (ANOVA) is een statistische methode die gebruikt wordt om de totale variantie in de verklaarde variabele ($y$) op te splitsen in verschillende componenten. In de context van lineaire regressie is het hoofddoel om te bepalen in hoeverre de variantie in $y$ verklaard kan worden door de variantie in de verklarende variabele ($x$). De totale variantie wordt hierbij opgesplitst in: * **Verklaarde variantie:** Het deel van de variantie in $y$ dat wordt toegeschreven aan het regressiemodel (de lineaire relatie met $x$). * **Onverklaarde variantie:** Het deel van de variantie in $y$ dat niet door het model verklaard wordt, ook wel de residuele variantie of error genoemd. Het statistische model voor lineaire regressie kan worden uitgedrukt als: $$y_i = (\beta_0 + \beta_1 x_i) + \epsilon_i$$ waarbij: * $y_i$ de waargenomen waarde van de verklaarde variabele is voor de $i$-de observatie. * $\beta_0$ het intercept van de populatieregressielijn is. * $\beta_1$ de helling (richtingscoëfficiënt) van de populatieregressielijn is, wat de verwachte verandering in $y$ vertegenwoordigt voor een eenheidsverandering in $x$. * $x_i$ de waarde van de verklarende variabele is voor de $i$-de observatie. * $\epsilon_i$ de errorterm is, die de afwijking van de $i$-de observatie van de populatieregressielijn weergeeft. Deze wordt verondersteld onafhankelijk en normaal verdeeld te zijn met gemiddelde 0 en standaardafwijking $\sigma$, dus $\epsilon_i \sim N(0, \sigma)$. Voor de schatting van de regressieparameters worden de kleinste-kwadratenmethode gebruikt, wat leidt tot de regressielijn $\hat{y}_i = b_0 + b_1 x_i$, waar $b_0$ en $b_1$ de schatters zijn van $\beta_0$ en $\beta_1$. De residuen $e_i = y_i - \hat{y}_i$ worden gebruikt om $\sigma$ te schatten. #### 4.1.1 Opsplitsen van de totale variantie De totale afwijking van de waargenomen waarden $y_i$ ten opzichte van het gemiddelde $\bar{y}$ kan worden opgesplitst in twee delen: de afwijking van de regressielijn ($\hat{y}_i$) ten opzichte van het gemiddelde, en de afwijking van de waargenomen waarde ($y_i$) ten opzichte van de regressielijn. Wiskundig wordt dit uitgedrukt met kwadratensommen: * **Totale kwadratensom ($SST$ - Sum of Squares Total):** Dit meet de totale variantie in $y$. Het is de som van de gekwadrateerde afwijkingen van de waargenomen waarden $y_i$ ten opzichte van hun gemiddelde $\bar{y}$. $$SST = \sum_{i=1}^{n} (y_i - \bar{y})^2$$ * **Verklaarde kwadratensom ($SSR$ of $SSM$ - Sum of Squares Regression/Model):** Dit meet de variantie in $y$ die verklaard wordt door het regressiemodel. Het is de som van de gekwadrateerde afwijkingen van de voorspelde waarden $\hat{y}_i$ ten opzichte van het gemiddelde $\bar{y}$. $$SSR = \sum_{i=1}^{n} (\hat{y}_i - \bar{y})^2$$ * **Onverklaarde kwadratensom ($SSE$ - Sum of Squares Error):** Dit meet de variantie in $y$ die niet verklaard wordt door het regressiemodel. Het is de som van de gekwadrateerde residuen $e_i$. $$SSE = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \sum_{i=1}^{n} e_i^2$$ De relatie tussen deze kwadratensommen is: $$SST = SSR + SSE$$ #### 4.1.2 Vrijheidsgraden Bij het berekenen van gemiddelde kwadratensommen worden vrijheidsgraden gebruikt. * **Vrijheidsgraden totaal ($df_{T}$):** Voor $SST$ is dit $n-1$, waarbij $n$ het aantal observaties is. * **Vrijheidsgraden model ($df_{M}$):** Voor $SSR$ is dit $k$, waarbij $k$ het aantal verklarende variabelen in het model is. Voor enkelvoudige lineaire regressie is $k=1$. * **Vrijheidsgraden error ($df_{E}$):** Voor $SSE$ is dit $n-k-1$. Voor enkelvoudige lineaire regressie is dit $n-1-1 = n-2$. #### 4.1.3 Gemiddelde kwadratensommen Gemiddelde kwadratensommen (Mean Squares, $MS$) worden berekend door de kwadratensommen te delen door hun respectievelijke vrijheidsgraden. Ze dienen als schattingen van de varianties. * **Gemiddelde kwadratensom model ($MSM$):** $$MSM = \frac{SSR}{df_M} = \frac{SSR}{k}$$ Voor enkelvoudige lineaire regressie: $MSM = \frac{SSR}{1} = SSR$. * **Gemiddelde kwadratensom error ($MSE$):** $$MSE = \frac{SSE}{df_E} = \frac{SSE}{n-k-1}$$ Dit is een zuivere schatter voor $\sigma^2$, de variantie van de errortermen. Voor enkelvoudige lineaire regressie: $MSE = \frac{SSE}{n-2}$. > **Tip:** De $MSE$ schat de variantie van de populatie rond de regressielijn. Een kleinere $MSE$ indiceert dat de waarnemingen dichter bij de regressielijn liggen. ### 4.2 De determinatiecoëfficiënt ($R^2$) De determinatiecoëfficiënt, vaak aangeduid als $R^2$ (in enkelvoudige regressie) of $r^2$ (als maat voor lineaire associatie), is een belangrijke maatstaf die aangeeft welk proportie van de totale variantie in de verklaarde variabele ($y$) verklaard wordt door het regressiemodel (of de verklarende variabele $x$). De formule voor $R^2$ is: $$R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}$$ Met andere woorden, $R^2$ vertegenwoordigt de proportionele reductie in de fout bij het voorspellen van $y$ door gebruik te maken van de regressierechte in plaats van alleen het gemiddelde van $y$. * $R^2$ ligt altijd tussen 0 en 1. * $R^2 = 0$ betekent dat het model geen enkele variantie in $y$ verklaart. De regressielijn is dan niet beter dan het gemiddelde van $y$. * $R^2 = 1$ betekent dat het model alle variantie in $y$ verklaart. Alle waarnemingen liggen perfect op de regressielijn. > **Tip:** $R^2$ vertelt ons *hoeveel* variantie wordt verklaard, maar niet of het model *significant* is of dat de verklaring *zinvol* is in de praktijk. Dit vereist een significantietoets. #### 4.2.1 Gestandaardiseerde helling De gestandaardiseerde helling, vaak aangeduid als $\beta_1$ (in plaats van $b_1$ voor de ongestandaardiseerde helling), kan worden berekend door zowel de verklaarde als de verklarrende variabele te standaardiseren (gemiddelde 0, standaardafwijking 1) alvorens de regressie uit te voeren. De gestandaardiseerde helling is gelijk aan de correlatiecoëfficiënt $r$ tussen $x$ en $y$, en is gelijk aan $\sqrt{R^2}$ (voor enkelvoudige regressie) als de correlatie positief is. De gestandaardiseerde helling vertegenwoordigt de verwachte verandering in standaarddeviaties van $y$ voor elke standaarddeviatieverandering in $x$. ### 4.3 De F-toets voor regressie De F-toets, gebruikt binnen de variantie-analyse, is de primaire toets om de significantie van het gehele regressiemodel te evalueren. * **Nulhypothese ($H_0$):** De regressiemodel verklaart geen variantie in $y$. In het geval van enkelvoudige lineaire regressie is dit equivalent aan het stellen dat de helling $\beta_1$ nul is: $H_0: \beta_1 = 0$. Dit impliceert dat er geen lineair verband is tussen $x$ en $y$ in de populatie. * **Alternatieve hypothese ($H_a$):** Het regressiemodel verklaart een significante proportie van de variantie in $y$. Voor enkelvoudige lineaire regressie is dit $H_a: \beta_1 \neq 0$. Dit betekent dat er wel een lineair verband bestaat tussen $x$ en $y$ in de populatie. De toetsgrootheid voor de F-toets is de verhouding van de gemiddelde kwadratensommen: $$F = \frac{MSM}{MSE}$$ Als de nulhypothese waar is ($\beta_1=0$), dan zouden zowel $MSM$ als $MSE$ schattingen moeten zijn van $\sigma^2$, en de $F$-waarde zou rond 1 moeten liggen. Als de alternatieve hypothese waar is ($\beta_1 \neq 0$), dan is $MSM$ naar verwachting groter dan $MSE$, wat leidt tot een $F$-waarde groter dan 1. De F-toets volgt, onder de nulhypothese, een $F$-verdeling met $df_M$ vrijheidsgraden in de teller en $df_E$ vrijheidsgraden in de noemer. Voor enkelvoudige lineaire regressie is dit een $F(1, n-2)$ verdeling. De overschrijdingskans (p-waarde) is de kans op het observeren van een $F$-waarde die minstens zo extreem is als de berekende waarde, gegeven dat $H_0$ waar is. > **Tip:** Een kleine p-waarde (typisch < 0,05) voor de F-toets leidt tot verwerping van de nulhypothese, wat suggereert dat het regressiemodel significant is en een aanzienlijk deel van de variantie in $y$ verklaart. #### 4.3.1 Relatie tussen F-toets en t-toets voor de helling Voor enkelvoudige lineaire regressie is de F-toets voor de significantie van het model equivalent aan de tweezijdige t-toets voor de significantie van de helling $\beta_1$. Specifiek geldt dat $F = t^2$, en de p-waarden voor beide toetsen zijn identiek. * De t-toets toetst $H_0: \beta_1 = 0$ tegen $H_a: \beta_1 \neq 0$. De toetsgrootheid is $t = \frac{b_1 - 0}{SE(b_1)}$, waarbij $SE(b_1)$ de standaardfout van de schatter $b_1$ is. Deze $t$-statistiek volgt een $t$-verdeling met $n-2$ vrijheidsgraden. * De F-toets toetst $H_0: \beta_1 = 0$ tegen $H_a: \beta_1 \neq 0$ met de toetsgrootheid $F = \frac{MSM}{MSE}$. Beide toetsen leiden tot dezelfde conclusie over de significantie van het lineaire verband. De t-toets is vaak directer voor het interpreteren van de richting en significantie van de helling, terwijl de F-toets makkelijker generaliseert naar regressiemodellen met meerdere verklarende variabelen. ### 4.4 ANOVA-tabel De resultaten van een variantie-analyse worden vaak samengevat in een ANOVA-tabel. Deze tabel presenteert de kwadratensommen, vrijheidsgraden, gemiddelde kwadratensommen, de F-statistiek en de bijbehorende p-waarde. | Bron van Variatie | Kwadratensom ($SS$) | Vrijheidsgraden ($df$) | Gemiddelde Kwadratensom ($MS$) | F-statistiek | p-waarde | | :----------------- | :------------------ | :--------------------- | :---------------------------- | :----------- | :------- | | Model (Regressie) | $SSR$ | $k$ | $MSM = SSR/k$ | $F = MSM/MSE$ | $P(F > F_{berekend})$ | | Error (Residu) | $SSE$ | $n-k-1$ | $MSE = SSE/(n-k-1)$ | | | | Totaal | $SST$ | $n-1$ | | | | Voor enkelvoudige lineaire regressie ($k=1$): | Bron van Variatie | Kwadratensom ($SS$) | Vrijheidsgraden ($df$) | Gemiddelde Kwadratensom ($MS$) | F-statistiek | p-waarde | | :----------------- | :------------------ | :--------------------- | :---------------------------- | :----------- | :------- | | Regressie | $SSR$ | 1 | $SSR$ | $F = SSR/MSE$ | $P(F > F_{berekend})$ | | Error | $SSE$ | $n-2$ | $MSE = SSE/(n-2)$ | | | | Totaal | $SST$ | $n-1$ | | | | > **Voorbeeld:** Stel dat voor een dataset met $n=30$ observaties, de ANOVA-tabel er als volgt uitziet: > > | Bron van Variatie | Kwadratensom ($SS$) | Vrijheidsgraden ($df$) | Gemiddelde Kwadratensom ($MS$) | F-statistiek | p-waarde | > | :----------------- | :------------------ | :--------------------- | :---------------------------- | :----------- | :------- | > | Regressie | 150 | 1 | 150 | 75 | < 0.001 | > | Error | 56 | 28 | 2 | | | > | Totaal | 206 | 29 | | | | > > Hier is $R^2 = SSR/SST = 150/206 \approx 0.728$, wat betekent dat ongeveer 72.8% van de variantie in $y$ verklaard wordt door $x$. De F-statistiek is 75, en met een p-waarde < 0.001 is het regressiemodel significant. ### 4.5 Rapporteren van regressie-analyse resultaten Bij het rapporteren van de resultaten van een regressie-analyse (volgens APA-richtlijnen of vergelijkbaar) worden de volgende elementen doorgaans vermeld: * **De regressiecoëfficiënten:** De geschatte intercept ($b_0$) en helling ($b_1$), inclusief hun standaardfouten en t-statistieken. * `Regressie-analyse liet zien dat de score op de Likertschaal de globale levenstevredenheid significant voorspelde, $b_1 = 0.111$, $SE = 0.009$, $t(230) = 12.590$, $p < .001$.` * **De determinatiecoëfficiënt ($R^2$):** Het percentage verklaarde variantie. * `Deze Likertschaal verklaarde $R^2 = 0.408$ (of 40.8%) van de variantie in globale levenstevredenheid.` * **De significantie van het model (F-toets):** De F-statistiek, vrijheidsgraden en p-waarde. * `Het model als geheel was significant, $F(1,230) = 158.499$, $p < .001$.` De combinatie van de t-toets voor de helling en de F-toets voor het model, samen met $R^2$, geeft een volledig beeld van de significantie en de kracht van het regressiemodel. ### 4.6 Inferentie voor correlatie Wanneer er geen duidelijke verklarende en verklaarde variabele is (bijvoorbeeld bij het bestuderen van de relatie tussen armlengte en beendlengte), kan inferentie op de populatiecorrelatiecoëfficiënt ($\rho$, rho) nuttiger zijn dan regressie-inferentie. * **Nulhypothese ($H_0$):** Er is geen lineair verband tussen de twee variabelen in de populatie: $H_0: \rho = 0$. * **Alternatieve hypothese ($H_a$):** Er is wel een lineair verband: $H_a: \rho \neq 0$. Als de variabelen bivariaat normaal verdeeld zijn, is de toets voor $\rho=0$ equivalent aan het toetsen of de variabelen onafhankelijk zijn. De toetsstatistiek is een t-statistiek die berekend wordt uit de steekproefcorrelatiecoëfficiënt ($r$) en de steekproefgrootte ($n$): $$t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}}$$ Deze $t$-statistiek volgt een $t$-verdeling met $n-2$ vrijheidsgraden. De p-waarde wordt berekend op basis van deze verdeling. De F-toets in ANOVA voor enkelvoudige regressie is equivalent aan de tweezijdige t-toets voor $\rho=0$ wanneer $x$ als verklarende variabele wordt beschouwd. --- # Inferentie voor correlatie en rapportage Dit deel behandelt de toetsing van de nulhypothese van geen lineair verband met behulp van de correlatiecoëfficiënt, de equivalentie van deze toets met de t-toets voor de helling, en richtlijnen voor het rapporteren van regressieanalyseresultaten. ### 5.1 Veronderstellingen voor regressie-inferentie Voor het uitvoeren van inferentie over regressie zijn een aantal veronderstellingen van belang: * **Normaliteit van de residuen:** Voor elke mogelijke waarde van de verklarende variabele $x$, liggen de waarnemingen van de verklaarde variabele $y$ verspreid rond de populatie-regressierechte. Deze verdeling wordt verondersteld normaal te zijn. * **Gelijke standaardafwijking (homoscedasticiteit):** Alle normaalverdelingen van $y$ voor verschillende waarden van $x$ hebben dezelfde standaardafwijking $\sigma$. Dit betekent dat de variabiliteit van $y$ constant is voor alle waarden van $x$. De waarde van $\sigma$ bepaalt of de waarnemingen gemiddeld dicht bij (kleine $\sigma$) of ver van (grote $\sigma$) de regressierechte liggen. * **Lineariteit:** Het gemiddelde van de responsen $\mu_y$ ligt voor elke mogelijke waarde van de verklarende variabele $x$ op de populatie-regressierechte, beschreven door de vergelijking $\mu_y = \beta_0 + \beta_1 x$. De parameters $\beta_0$ (intercept) en $\beta_1$ (helling) zijn onbekende populatieparameters. * **Onafhankelijkheid:** Opeenvolgende responsen $y$ worden als onderling onafhankelijk beschouwd. #### 5.1.1 Het enkelvoudige lineaire regressiemodel Het statistische model voor enkelvoudige lineaire regressie stelt: $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ waarbij: * $y_i$ de waargenomen waarde van de verklaarde variabele is voor observatie $i$. * $x_i$ de waarde van de verklarende variabele is voor observatie $i$. * $\beta_0$ het intercept is (de verwachte waarde van $y$ als $x = 0$). * $\beta_1$ de helling is (de verwachte verandering in $y$ voor een eenheidsverandering in $x$). * $\epsilon_i$ de foutterm of afwijking is voor observatie $i$, verondersteld onafhankelijk en normaal verdeeld te zijn met een gemiddelde van 0 en een standaardafwijking $\sigma$ ($ \epsilon_i \sim N(0, \sigma) $). De geschatte regressieparameters, $b_0$ en $b_1$, zijn zuivere schatters van respectievelijk $\beta_0$ en $\beta_1$. De standaardfout van deze schatters kan worden berekend op basis van de data. De waarde $\sigma$ wordt geschat met behulp van de residuen, waarbij de vrijheidsgraden gelijk zijn aan $n - 2$ (aantal observaties min het aantal geschatte parameters). #### 5.1.2 Analyse van de residuen Analyse van de residuen ($e_i$) is cruciaal om de aannames van het regressiemodel te controleren. Een plot van de residuen tegen de voorspelde waarden of tegen de verklarende variabele helpt bij het identificeren van patronen die duiden op schendingen van de aannames, zoals heteroscedasticiteit (niet-gelijke varianties) of niet-lineariteit. Een normaal-kwantieldiagram (Q-Q plot) van de gestandaardiseerde residuen wordt gebruikt om de normaliteitsaanname te beoordelen. ### 5.2 Betrouwbaarheidsintervallen en significantietoetsen voor regressieparameters #### 5.2.1 Standaardfout op de geschatte regressieparameters De standaardfout van de schatting van de helling ($\beta_1$) en het intercept ($\beta_0$) kwantificeert de onzekerheid in deze schattingen. #### 5.2.2 Betrouwbaarheidsinterval voor $\beta_1$ en $\beta_0$ Een betrouwbaarheidsinterval voor een regressieparameter (i=0 of 1) wordt berekend met de algemene vorm: $$ \text{Schatter} \pm t^* \cdot (\text{SD van de schatter}) $$ waarbij $t^*$ de kritische t-waarde is uit de t-verdeling met $n-2$ vrijheidsgraden, corresponderend met het gewenste betrouwbaarheidsniveau. #### 5.2.3 Significantietoets voor $H_0: \beta_1 = 0$ De belangrijkste significantietoets in regressie-analyse is gericht op de helling: * **Nulhypothese ($H_0$)**: $\beta_1 = 0$. Dit stelt dat er geen lineair verband is tussen $x$ en $y$ in de populatie. * **Alternatieve hypothese ($H_a$)**: $\beta_1 \neq 0$. Dit stelt dat er wel een lineair verband is. De toetsingsgrootheid is de t-statistiek: $$ t = \frac{b_1 - \beta_{1,0}}{\text{SE}(b_1)} $$ waar $\beta_{1,0}$ de waarde onder de nulhypothese is (meestal 0). De overschrijdingskans (p-waarde) wordt verkregen uit de t-verdeling met $n-2$ vrijheidsgraden. Een significant resultaat (kleine p-waarde) leidt tot verwerping van $H_0$, wat suggereert dat er een lineair verband is tussen $x$ en $y$. Het toetsen van $H_0: \beta_0 = 0$ is doorgaans minder informatief, tenzij de interpretatie van $y$ wanneer $x=0$ relevant is. #### 5.2.4 Betrouwbaarheidsinterval voor de voorspelling van $y$ Er zijn twee soorten betrouwbaarheidsintervallen met betrekking tot voorspellingen: 1. **Betrouwbaarheidsinterval voor de verwachte waarde van $y$ ($\mu_y$) voor een specifieke $x = x^*$:** Dit interval geeft een reeks waarden waarbinnen de gemiddelde $y$-waarde voor een gegeven $x^*$ waarschijnlijk ligt. De breedte van dit interval hangt af van $x^*$ in relatie tot het gemiddelde van de $x$-waarden. $$ \text{Voorspelling van } \mu_y \text{ voor } x = x^* \pm t^* \cdot \text{SE}(\hat{\mu}_y) $$ De standaardfout van de voorspelde gemiddelde waarde, $\text{SE}(\hat{\mu}_y)$, neemt toe naarmate $x^*$ verder van het gemiddelde van $x$ ligt. 2. **Voorspellingsinterval voor een individuele waarneming van $y$ voor een specifieke $x = x^*$:** Dit interval geeft een reeks waarden waarbinnen een individuele $y$-waarde voor een gegeven $x^*$ waarschijnlijk zal vallen. Dit interval is altijd breder dan het betrouwbaarheidsinterval voor het gemiddelde, omdat het ook de individuele variabiliteit (de $\epsilon_i$) meeneemt. ### 5.3 Variantie-analyse voor regressie (ANOVA) Variantie-analyse (ANOVA) wordt gebruikt om de totale variantie in de verklaarde variabele $y$ op te splitsen in componenten die verklaard worden door het regressiemodel en componenten die onverklaard blijven (de residuen). * **Totale kwadratensom ($SST$)**: De totale variantie in $y$ rond het gemiddelde van $y$. * **Kwadratensom verklaard door het model ($SSM$ of $SSR$)**: De variantie in $y$ die wordt verklaard door de regressierechte. * **Kwadratensom van de fout ($SSE$ of $SSR$)**: De onverklaarde variantie in $y$ (de residuen). $$ SST = SSM + SSE $$ De determinatiecoëfficiënt ($R^2$) is de proportie van de variantie in $y$ die wordt verklaard door de variantie in $x$. $$ R^2 = \frac{SSM}{SST} = 1 - \frac{SSE}{SST} $$ #### 5.3.1 De F-toets in ANOVA De F-toets in ANOVA toetst de nulhypothese $H_0: \beta_1 = 0$ tegen de alternatieve hypothese $H_a: \beta_1 \neq 0$. De toetsingsgrootheid is de verhouding van de gemiddelde kwadratensommen: $$ F = \frac{MSM}{MSE} $$ waarbij $MSM = \frac{SSM}{\text{DFM}}$ en $MSE = \frac{SSE}{\text{DFE}}$. DFM is het aantal vrijheidsgraden voor het model (gelijk aan het aantal predictoren, 1 in enkelvoudige regressie), en DFE is het aantal vrijheidsgraden voor de error ($n-2$). Onder $H_0$ volgt $F$ een $F$-verdeling met $(1, n-2)$ vrijheidsgraden. ANOVA en de twee-zijdige t-toets voor $H_0: \beta_1 = 0$ geven dezelfde p-waarde. Het is bekend dat $F = t^2$. > **Tip:** Hoewel ANOVA voor meervoudige regressie essentiëler is, biedt het voor enkelvoudige regressie een alternatieve manier om de significantie van het lineaire verband te toetsen en de verklaarde variantie te kwantificeren. ### 5.4 Inferentie voor correlatie Om de nulhypothese van geen lineair verband tussen twee variabelen te toetsen, kan ook gebruik worden gemaakt van de correlatiecoëfficiënt ($\rho$). * Als er een duidelijke verklarende variabele ($x$) en een verklaarde variabele ($y$) is, is de toets op $\rho=0$ equivalent aan de toets op $\beta_1 = 0$. * Als er geen duidelijke causale richting is (bv. armlengte vs. beenlengte), verdient de toets op de correlatiecoëfficiënt de voorkeur. Als $x$ en $y$ bivariaat normaal verdeeld zijn, is de nulhypothese $H_0: \rho = 0$ equivalent aan de stelling dat $x$ en $y$ onafhankelijk zijn. De significantietoets voor $\rho$ is gebaseerd op de 1-steekproef t-test: $$ t = \frac{r \sqrt{n-2}}{\sqrt{1-r^2}} $$ waar $r$ de steekproefcorrelatiecoëfficiënt is en $n$ de steekproefgrootte. De p-waarde wordt berekend uit de t-verdeling met $n-2$ vrijheidsgraden. > **Tip:** De toets op correlatie gaat na of er *enig* verband is tussen $x$ en $y$ onder de aanname van bivariaat normale verdelingen, wat verder gaat dan enkel het lineaire verband dat de regressietoets specificeert. ### 5.5 Rapporteren van regressieanalyseresultaten (APA-stijl) Resultaten van regressieanalyses worden bij voorkeur gerapporteerd in tabelvorm. In de tekst worden de belangrijkste bevindingen samengevat: * **Gestandaardiseerde helling ($\beta_1$):** Indien relevant, om effectgroottes te vergelijken. * **t-toetsresultaten:** Vermeld de t-statistiek, het aantal vrijheidsgraden ($n-k-1$, waarbij $k$ het aantal predictoren is), en de p-waarde. * **Percentage verklaarde variantie ($R^2$):** Samen met de resultaten van de F-toets voor de significantie van de regressie. Een voorbeeld van rapportage in tekst: "De score op de Likertschaal voorspelt op significante wijze de globale levenstevredenheid, $\beta_1 = 0.111$, $t(230) = 12.590$, $p < 0.001$. Deze Likertschaal verklaart tevens een significant deel van de variantie in globale levenstevredenheid, $R^2 = 0.408$, $F(1, 230) = 158.499$, $p < 0.001$." > **Tip:** Gebruik bij het rapporteren van p-waarden de exacte waarde wanneer deze groter is dan $0.001$. Wanneer de p-waarde kleiner is dan $0.001$, vermeld dan $p < 0.001$. Vermijd het gebruik van het dollarteken ($) voor valuta; gebruik in plaats daarvan de valuta-naam of een standaardafkorting (bv. "dollars", "USD", "euros", "EUR"). --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Regressierechte | Een rechte lijn die de relatie tussen een verklarende variabele (x) en een verklaarde variabele (y) beschrijft, berekend met de kleinste-kwadratenmethode om de residuen te minimaliseren. | | Inferentie | Het proces van het trekken van conclusies over een populatie op basis van gegevens uit een steekproef, inclusief schattingen en hypothesen. | | Enkelvoudige lineaire regressie | Een statistische methode die de lineaire relatie tussen één verklarende variabele (x) en één verklaarde variabele (y) modelleert. | | Helling (β1) | De parameter in een lineair regressiemodel die de verwachte verandering in de verklaarde variabele (y) vertegenwoordigt voor elke eenheidstoename in de verklarende variabele (x). | | Intercept (β0) | De parameter in een lineair regressiemodel die de verwachte waarde van de verklaarde variabele (y) vertegenwoordigt wanneer de verklarende variabele (x) gelijk is aan nul. | | Spreidingsdiagram (scatterplot) | Een grafische weergave van de relatie tussen twee variabelen, waarbij elk datapunt wordt weergegeven als een punt in een tweedimensionaal vlak. | | Betrouwbaarheidsinterval | Een reeks waarden die met een bepaalde mate van betrouwbaarheid (bijvoorbeeld 95%) de ware populatiewaarde van een parameter bevat. | | Significantietoets | Een statistische procedure om te bepalen of er voldoende bewijs is in een steekproef om een nulhypothese over een populatieparameter te verwerpen. | | Residuen | Het verschil tussen de waargenomen waarde van de verklaarde variabele (y) en de voorspelde waarde van y volgens het regressiemodel. Ze vertegenwoordigen de onverklaarde variatie. | | Standaarddeviatie van de residuen (σ) | Een maat voor de spreiding van de waargenomen waarden rond de regressierechte van de populatie; het geeft de typische grootte van de residuen aan. | | Vrijheidsgraden | Het aantal onafhankelijke waarden dat vrij kan variëren in een statistische berekening. Bij regressieanalyse worden deze vaak bepaald door de steekproefgrootte en het aantal geschatte parameters. | | Variantie-analyse (ANOVA) | Een statistische techniek die wordt gebruikt om de variantie in een afhankelijke variabele te analyseren door deze op te splitsen in delen die worden toegeschreven aan verschillende onafhankelijke variabelen of factoren. | | Determinatiecoëfficiënt (R²) | Een statistische maat die aangeeft welk deel van de variantie in de verklaarde variabele kan worden verklaard door de verklarende variabele(n) in het model. | | Correlatiecoëfficiënt (ρ) | Een statistische maat die de sterkte en richting van de lineaire relatie tussen twee variabelen kwantificeert, variërend van -1 (perfecte negatieve correlatie) tot +1 (perfecte positieve correlatie). |

# Inleiding tot regressie-analyse Dit gedeelte introduceert de concepten van enkelvoudige en meervoudige lineaire regressie, inclusief de statistische modellen en de onderliggende ideeën voor het voorspellen van variabelen. ## 1. Het statistisch model voor regressie ### 1.1 Enkelvoudige lineaire regressie Bij enkelvoudige lineaire regressie gaan we ervan uit dat voor elke vaste waarde van de onafhankelijke variabele $x$, de afhankelijke variabele $y$ normaal verdeeld is rond een gemiddelde $\mu_y$ met een standaardafwijking $\sigma$. Dit model kan worden uitgedrukt als: $$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ waarbij: - $y_i$ de geobserveerde waarde van de afhankelijke variabele is voor observatie $i$. - $x_i$ de waarde van de onafhankelijke variabele is voor observatie $i$. - $\beta_0$ de intercept is, wat de verwachte waarde van $y$ is wanneer $x$ nul is. - $\beta_1$ de helling is, wat aangeeft hoeveel $y$ verandert voor een eenheidsverandering in $x$. - $\epsilon_i$ de foutterm is voor observatie $i$, die verondersteld wordt normaal verdeeld te zijn met een gemiddelde van nul en een standaardafwijking $\sigma$ ($\epsilon_i \sim N(0, \sigma)$). ### 1.2 Meervoudige lineaire regressie Meervoudige lineaire regressie breidt het enkelvoudige model uit naar meerdere onafhankelijke variabelen. Hierbij gaat men ervan uit dat voor elke specifieke combinatie van waarden van de onafhankelijke variabelen $x_1, x_2, \ldots, x_p$, de afhankelijke variabele $y$ normaal verdeeld is rond een gemiddelde $\mu_y$ met een standaardafwijking $\sigma$. Het model wordt dan: $$y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \ldots + \beta_p x_{ip} + \epsilon_i$$ waarbij: - $y_i$ de geobserveerde waarde van de afhankelijke variabele is voor observatie $i$. - $x_{ij}$ de waarde is van de $j$-de onafhankelijke variabele voor observatie $i$. - $\beta_0$ de intercept is. - $\beta_j$ (voor $j = 1, \ldots, p$) de regressiecoëfficiënt is voor de $j$-de onafhankelijke variabele, die aangeeft hoe $y$ verandert wanneer $x_j$ met één eenheid toeneemt, terwijl alle andere onafhankelijke variabelen constant worden gehouden. - $\epsilon_i$ de foutterm is voor observatie $i$, die verondersteld wordt normaal verdeeld te zijn met een gemiddelde van nul en een standaardafwijking $\sigma$ ($\epsilon_i \sim N(0, \sigma)$). **Voorbeeld:** Het voorspellen van studiesucces (GPA) op basis van middelbare schoolresultaten in wiskunde, wetenschappen en Engels. Hier is GPA de afhankelijke variabele, en de middelbare schoolcijfers zijn de onafhankelijke variabelen. ### 1.3 De rol van de foutterm en residuen De foutterm $\epsilon_i$ vertegenwoordigt de variatie in $y$ die niet wordt verklaard door de lineaire relatie met de onafhankelijke variabelen. In de praktijk schatten we de regressiecoëfficiënten ($\beta_0, \beta_1, \ldots, \beta_p$) door de som van de gekwadrateerde residuen te minimaliseren. Een residu ($e_i$) is het verschil tussen de geobserveerde waarde van $y$ en de voorspelde waarde van $y$ op basis van het geschatte model: $$e_i = y_i - \hat{y}_i$$ waarbij $\hat{y}_i$ de voorspelde waarde van $y$ is. Het doel is om de coëfficiënten zo te bepalen dat $\sum_{i=1}^n e_i^2$ minimaal is. ## 2. Schatten van regressieparameters ### 2.1 Schatten van $\beta$ coëfficiënten De regressiecoëfficiënten $\beta_0, \beta_1, \ldots, \beta_p$ worden geschat met behulp van de kleinste-kwadratenmethode (Least Squares Estimation). Dit proces wordt meestal uitgevoerd door statistische software, omdat het rekenintensief kan zijn, vooral bij meervoudige regressie. De geschatte coëfficiënten worden aangeduid met $b_0, b_1, \ldots, b_p$. ### 2.2 Schatten van $\sigma^2$ De variantie van de foutterm, $\sigma^2$, die de spreiding van de waarnemingen rond de populatieregressielijn weergeeft, wordt geschat met behulp van de residuen. De geschatte variantie $\hat{\sigma}^2$ wordt berekend als het gemiddelde van de gekwadrateerde residuen gedeeld door de vrijheidsgraden: $$\hat{\sigma}^2 = \frac{\sum_{i=1}^n e_i^2}{n - (p + 1)}$$ Hier is $n$ het aantal waarnemingen en $p$ het aantal onafhankelijke variabelen. De term $p+1$ vertegenwoordigt het aantal te schatten parameters ($\beta_0, \beta_1, \ldots, \beta_p$). ## 3. Inferentie voor regressieparameters ### 3.1 Betrouwbaarheidsintervallen voor $\beta_i$ Voor elke geschatte regressiecoëfficiënt $b_i$ kunnen betrouwbaarheidsintervallen worden berekend om een reeks plausibele waarden voor de werkelijke populatiecoëfficiënt $\beta_i$ te geven. Een $(1-\alpha) \times 100\%$ betrouwbaarheidsinterval voor $\beta_i$ wordt gegeven door: $$b_i \pm t_{\alpha/2, n-p-1} \cdot \text{SE}(b_i)$$ waarbij: - $b_i$ de geschatte regressiecoëfficiënt is. - $t_{\alpha/2, n-p-1}$ de kritieke waarde is van de t-verdeling met $n-p-1$ vrijheidsgraden, corresponderend met een tweezijdig significantieniveau $\alpha$. - $\text{SE}(b_i)$ de standaardfout van de geschatte coëfficiënt $b_i$ is. ### 3.2 Hypothesetoetsen voor $\beta_i$ Hypothesetoetsen worden gebruikt om te bepalen of een specifieke onafhankelijke variabele een statistisch significant effect heeft op de afhankelijke variabele. De nulhypothese is vaak dat de coëfficiënt nul is, wat aangeeft dat de variabele geen lineair verband heeft met de afhankelijke variabele, rekening houdend met de andere variabelen in het model. #### 3.2.1 T-toets Voor elke individuele coëfficiënt $\beta_i$ wordt een t-toets uitgevoerd. De nulhypothese is $H_0: \beta_i = 0$ tegen de alternatieve hypothese $H_a: \beta_i \neq 0$. De t-toetsingsgrootheid wordt berekend als: $$t = \frac{b_i - \beta_{i,0}}{\text{SE}(b_i)}$$ waarbij $\beta_{i,0}$ de waarde onder de nulhypothese is (meestal 0). De toetsingsgrootheid volgt een t-verdeling met $n-p-1$ vrijheidsgraden. **Tip:** Een p-waarde die kleiner is dan het gekozen significantieniveau (bv. 0.05) suggereert dat de nulhypothese verworpen kan worden, wat aangeeft dat de variabele een statistisch significant effect heeft. Het is echter belangrijk om te onthouden dat "statistisch significant" niet noodzakelijk "belangrijk" betekent; de effectgrootte en context zijn cruciaal. #### 3.2.2 F-toets voor regressie-analyse De F-toets wordt gebruikt om te evalueren of het volledige regressiemodel als geheel significant is, oftewel of ten minste één van de onafhankelijke variabelen een significant effect heeft op de afhankelijke variabele. De nulhypothese is: $H_0: \beta_1 = \beta_2 = \ldots = \beta_p = 0$ De alternatieve hypothese is: $H_a:$ Minstens één $\beta_i \neq 0$ voor $i \in \{1, \ldots, p\}$. De F-toetsingsgrootheid vergelijkt de variantie verklaard door het model met de resterende variantie. De overschrijdingskans (p-waarde) is de kans dat een F-statistiek, afkomstig uit een F-verdeling met $p$ en $n-p-1$ vrijheidsgraden, groter is dan de berekende toetsingsgrootheid, aangenomen dat de nulhypothese waar is. **Bij enkelvoudige lineaire regressie:** De F-toets van de ANOVA-tabel is equivalent aan de tweezijdige t-toets voor de nulhypothese $H_0: \beta_1 = 0$. **Bij meervoudige regressie:** De F-toets toetst de nulhypothese dat *alle* regressiecoëfficiënten (behalve de intercept) nul zijn. ## 4. Determinatiecoëfficiënt ($R^2$) ### 4.1 Interpretatie De determinatiecoëfficiënt, $R^2$, is een maatstaf voor de proportie van de totale variantie in de afhankelijke variabele ($y$) die wordt verklaard door de set van onafhankelijke variabelen ($x_1, \ldots, x_p$) in het regressiemodel. Het varieert van 0 tot 1. $$R^2 = \frac{\text{Variantie verklaard door het model}}{\text{Totale variantie in } y}$$ Een $R^2$ van 0.75 betekent bijvoorbeeld dat 75% van de variabiliteit in $y$ kan worden verklaard door de onafhankelijke variabelen in het model. Dit kan ook geïnterpreteerd worden als de proportionele reductie in de voorspellingsfout van $y$ wanneer het regressiemodel wordt gebruikt, vergeleken met het voorspellen van $y$ zonder kennis van de onafhankelijke variabelen (dat wil zeggen, door simpelweg het gemiddelde van $y$ te gebruiken). **Tip:** Een hoge $R^2$ betekent niet automatisch dat het model goed is. Het model kan nog steeds slechte voorspellingen doen of andere aannames schenden. Het is essentieel om ook de significantie van individuele coëfficiënten, de residuenanalyse en de context van het probleem te overwegen. ### 4.2 Aangepaste $R^2$ (Adjusted $R^2$) De $R^2$ heeft de neiging toe te nemen naarmate er meer variabelen aan het model worden toegevoegd, zelfs als deze variabelen geen significante bijdrage leveren. Dit kan leiden tot het "overfitten" van het model aan de data, waarbij het model ruis in de data mee modelleert en de voorspellende kracht op nieuwe, ongeziene data afneemt. De aangepaste $R^2$ corrigeert voor het aantal verklarende variabelen in het model en de steekproefgrootte. Het is vooral nuttig bij het vergelijken van modellen met een verschillend aantal onafhankelijke variabelen. De aangepaste $R^2$ wordt kleiner naarmate er meer variabelen worden toegevoegd die weinig verklarende waarde hebben, en kan zelfs negatief zijn. $$\text{Aangepaste } R^2 = 1 - \left( \frac{1 - R^2}{1} \right) \left( \frac{n - 1}{n - p - 1} \right)$$ **Voorbeeld:** Bij het voorspellen van studiesucces (GPA) met variabelen als middelbare school resultaten, SAT scores, etc. De aangepaste $R^2$ helpt bepalen welk model, met een verschillend aantal van deze voorspellers, de beste balans biedt tussen verklaringskracht en modelcomplexiteit. ## 5. Onderzoek van residuen en collineariteit ### 5.1 Residuenanalyse Het onderzoeken van de residuen is cruciaal om de aannames van het lineaire regressiemodel te controleren en potentiële problemen te identificeren. Dit omvat: - **Residuen versus voorspelde waarden:** Een willekeurig spreidingspatroon suggereert dat de lineaire relatie geschikt is. Patronen zoals een omgekeerde U-vorm of een trechtervorm kunnen wijzen op niet-lineariteit of heteroskedasticiteit (ongelijke variantie van de fouten). - **Residuen versus verklarende variabelen:** Het plotten van residuen tegenover elke onafhankelijke variabele kan helpen bij het detecteren van niet-lineaire verbanden of variantieproblemen gerelateerd aan specifieke voorspellers. - **Normaal-kwantiel-diagram (Q-Q plot) van residuen:** Dit plot vergelijkt de verdeling van de residuen met een normale verdeling. Als de punten op of nabij een rechte lijn liggen, is de aanname van normaliteit van de fouten waarschijnlijk voldaan. **Tip:** Uitschieters (outliers) in de residuen kunnen wijzen op observaties die sterk afwijken van het algemene patroon en die het model kunnen beïnvloeden. ### 5.2 Collineariteit (Multicollineariteit) Collineariteit treedt op wanneer twee of meer onafhankelijke variabelen in een meervoudig regressiemodel sterk gecorreleerd zijn met elkaar. Dit kan leiden tot instabiele en onbetrouwbare schattingen van de regressiecoëfficiënten. #### 5.2.1 Diagnose van collineariteit - **Correlatiematrix:** Een inspectie van de correlaties tussen paren van onafhankelijke variabelen kan een eerste indicatie geven. - **Tolerantie:** De tolerantie voor een predictor is de proportie van de variantie in die predictor die *niet* kan worden verklaard door de andere predictoren. Een lage tolerantie (dicht bij nul) duidt op hoge collineariteit. $$ \text{Tolerantie}_j = 1 - R_j^2 $$ waarbij $R_j^2$ de determinatiecoëfficiënt is van een regressie van predictor $j$ op alle andere predictoren. - **Variance Inflation Factor (VIF):** De VIF is het omgekeerde van de tolerantie. $$ \text{VIF}_j = \frac{1}{\text{Tolerantie}_j} = \frac{1}{1 - R_j^2} $$ Een VIF groter dan 2 (of soms 4 of 5, afhankelijk van de conventie) duidt op potentiële problemen met multicollineariteit. **Gevolgen van collineariteit:** - Grote standaardfouten voor de regressiecoëfficiënten, wat leidt tot minder nauwkeurige schattingen en bredere betrouwbaarheidsintervallen. - Moeilijkheid om de individuele bijdrage van gecorreleerde predictoren te bepalen. - Regressiecoëfficiënten kunnen onverwachte tekenen vertonen of significant lijken in de ene analyse en niet in de andere. **Voorbeeld:** Als 'middelbare school wiskunde' en 'SAT wiskunde' beide in een model worden opgenomen, kunnen ze sterk gecorreleerd zijn. Als hun VIF hoog is, kan het moeilijk zijn om de unieke invloed van elk op het studiesucces te isoleren. **Tip:** Als er sprake is van significante collineariteit, kunnen oplossingen zijn: het verwijderen van een van de gecorreleerde variabelen, het combineren van variabelen, of het gebruik van technieken zoals principale componenten regressie. --- # Schatten van regressieparameters en schaalfactor Dit onderwerp behandelt de methoden voor het schatten van de regressiecoëfficiënten (beta) door het minimaliseren van residuen en het schatten van de spreiding rond de populatie regressievergelijking (sigma). ### 2.1 Het statistische model voor regressie Het statistische model voor regressie beschrijft hoe een afhankelijke variabele ($y$) varieert rond een populatie regressievergelijking, afhankelijk van een of meerdere onafhankelijke variabelen ($x$). #### 2.1.1 Enkelvoudige en meervoudige regressie * **Enkelvoudige regressie:** Voor elke vaste waarde van één onafhankelijke variabele ($x$) varieert de afhankelijke variabele ($y$) normaal rond een gemiddelde $\mu_y$ met een standaardafwijking $\sigma$. * **Meervoudige regressie:** Voor elke specifieke verzameling van waarden van meerdere onafhankelijke variabelen $x = (x_1, x_2, \dots, x_p)$ varieert de afhankelijke variabele ($y$) normaal rond een gemiddelde $\mu_y$ met een standaardafwijking $\sigma$. Het model kan worden uitgedrukt als: $$Y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_p x_{ip} + \epsilon_i$$ waarbij: * $Y_i$ de geobserveerde waarde van de afhankelijke variabele is voor observatie $i$. * $\beta_0$ de intercept (regressiecoëfficiënt voor de constante term) is. * $\beta_1, \beta_2, \dots, \beta_p$ de regressiecoëfficiënten zijn voor de onafhankelijke variabelen $x_1, x_2, \dots, x_p$. * $x_{i1}, x_{i2}, \dots, x_{ip}$ de waarden van de onafhankelijke variabelen zijn voor observatie $i$. * $\epsilon_i$ de foutterm is voor observatie $i$, die verondersteld wordt te volgen uit een normale verdeling met gemiddelde 0 en standaardafwijking $\sigma$, d.w.z., $\epsilon_i \sim N(0, \sigma^2)$. De parameters in dit model zijn de regressiecoëfficiënten $\beta_0, \beta_1, \dots, \beta_p$ en de spreidingsparameter $\sigma$. ### 2.2 Schatten van de regressieparameters ($\beta$) Het primaire doel bij het schatten van de regressieparameters is het bepalen van de waarden $b_0, b_1, b_2, \dots, b_p$ die de totale gekwadrateerde residuen minimaliseren. * **Residu:** Het residu voor observatie $i$ is het verschil tussen de geobserveerde waarde ($Y_i$) en de voorspelde waarde ($\hat{Y}_i$) uit het regressiemodel: $e_i = Y_i - \hat{Y}_i$. * **Minimalisatie van residuen:** De regressiecoëfficiënten worden geschat door de som van de gekwadrateerde residuen te minimaliseren: $$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (Y_i - (\beta_0 + \beta_1 x_{i1} + \dots + \beta_p x_{ip}))^2$$ Dit proces, bekend als Ordinary Least Squares (OLS), levert schattingen op voor de regressiecoëfficiënten, aangeduid als $\hat{\beta}_0, \hat{\beta}_1, \dots, \hat{\beta}_p$. De berekening van deze schattingen wordt doorgaans uitgevoerd met behulp van statistische software. ### 2.3 Schatten van de schaalfactor ($\sigma$) De schaalfactor $\sigma$ representeert de standaardafwijking van de residuen rond de populatie regressievergelijking. $\sigma^2$ is de variantie van deze residuen. * **Schatting van de variantie ($\sigma^2$):** De variantie $\sigma^2$ wordt geschat als het gemiddelde van de gekwadrateerde residuen, gedeeld door de vrijheidsgraden. De geschatte variantie wordt aangeduid als $s^2$ of $\hat{\sigma}^2$. $$s^2 = \frac{\sum_{i=1}^n e_i^2}{n - (p+1)}$$ waarbij: * $\sum_{i=1}^n e_i^2$ de som van de gekwadrateerde residuen is. * $n$ het aantal waarnemingen is. * $p+1$ het aantal te schatten parameters is (de intercept $\beta_0$ plus de $p$ coëfficiënten $\beta_1, \dots, \beta_p$). De vrijheidsgraden zijn dus $n - (p+1)$. De geschatte standaardafwijking is de wortel uit de geschatte variantie: $s = \sqrt{s^2}$. ### 2.4 Betrouwbaarheidsintervallen en significantietoetsen voor $\beta_i$ Nadat de regressieparameters zijn geschat, kunnen betrouwbaarheidsintervallen en hypothesetoetsen worden uitgevoerd om conclusies te trekken over de populatieparameters. #### 2.4.1 Betrouwbaarheidsinterval voor $\beta_i$ Een betrouwbaarheidsinterval voor een regressiecoëfficiënt $\beta_i$ geeft een bereik van waarden waarbinnen de populatiecoëfficiënt waarschijnlijk ligt, met een bepaald betrouwbaarheidsniveau. * Het interval wordt berekend als: $$\hat{\beta}_i \pm t_{\alpha/2, n-p-1} \cdot SE(\hat{\beta}_i)$$ waarbij: * $\hat{\beta}_i$ de geschatte regressiecoëfficiënt is. * $t_{\alpha/2, n-p-1}$ de kritieke t-waarde is uit de t-verdeling met $n-p-1$ vrijheidsgraden voor een significantieniveau $\alpha$. * $SE(\hat{\beta}_i)$ de standaardfout van de geschatte regressiecoëfficiënt is. #### 2.4.2 Hypothesetoetsen voor $\beta_i$ Hypothesetoetsen worden gebruikt om te bepalen of een regressiecoëfficiënt significant verschilt van een specifieke waarde, meestal nul. * **Nulhypothese ($H_0$):** Vaak wordt getest of $\beta_i = 0$, wat impliceert dat de onafhankelijke variabele $x_i$ geen lineair verband heeft met $y$, gegeven de andere variabelen in het model. * **Alternatieve hypothese ($H_a$):** $\beta_i \neq 0$ (tweezijdige toets). * **t-toetsingsgrootheid:** De toetsingsgrootheid volgt een t-verdeling. $$t = \frac{\hat{\beta}_i - \beta_{i,0}}{SE(\hat{\beta}_i)}$$ waarbij $\beta_{i,0}$ de waarde onder de nulhypothese is (meestal 0). De stochastische variabele $T$ volgt een $t$-verdeling met $n-p-1$ vrijheidsgraden. ### 2.5 F-toets voor regressie-analyse De F-toets wordt gebruikt om de algehele significantie van het regressiemodel te evalueren. * **Nulhypothese ($H_0$):** $\beta_1 = \beta_2 = \dots = \beta_p = 0$. Dit betekent dat geen van de onafhankelijke variabelen in het model een lineair verband heeft met de afhankelijke variabele. * **Alternatieve hypothese ($H_a$):** Minstens één $\beta_i \neq 0$ (voor $i=1, \dots, p$). Dit betekent dat ten minste één van de onafhankelijke variabelen significant bijdraagt aan het verklaren van de afhankelijke variabele. * **Toetsingsgrootheid:** De toetsingsgrootheid volgt een F-verdeling met $p$ en $n-p-1$ vrijheidsgraden. De overschrijdingskans wordt bepaald door de kans te berekenen dat een stochastische variabele met een F-verdeling groter is dan de berekende toetsingsgrootheid, als $H_0$ waar is. De F-toets is gerelateerd aan de ANOVA-tabel. Bij enkelvoudige lineaire regressie is de F-toets equivalent aan de tweezijdige t-toets voor $H_0: \beta_1=0$. Bij meervoudige regressie toetst de F-toets de nulhypothese dat alle regressiecoëfficiënten (behalve de intercept) gelijk zijn aan nul. ### 2.6 Determinatiecoëfficiënt ($R^2$) De determinatiecoëfficiënt, $R^2$, is een maat voor de proportie van de variantie in de afhankelijke variabele ($y$) die wordt verklaard door de onafhankelijke variabelen ($x_1, \dots, x_p$) in het regressiemodel. * **Interpretatie:** $R^2$ kan worden geïnterpreteerd als de proportionele reductie van de fout bij de voorspelling van $y$ met behulp van de regressievergelijking, vergeleken met de fout bij het voorspellen van $y$ zonder kennis van de regressievergelijking (d.w.z., alleen het gemiddelde van $y$ gebruiken). $$R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}$$ waarbij: * $SSR$ (Sum of Squares Regression) de verklaarde som van kwadraten is. * $SST$ (Total Sum of Squares) de totale som van kwadraten is. * $SSE$ (Sum of Squared Errors) de som van de gekwadrateerde residuen is. ### 2.7 Aangepaste (Adjusted) $R^2$ De $R^2$ wordt beïnvloed door het aantal verklarende variabelen in het model in verhouding tot de steekproefgrootte. Een model met meer variabelen zal doorgaans een hogere $R^2$ hebben, zelfs als de extra variabelen geen significante bijdrage leveren. Dit kan leiden tot "overfitting", waarbij ruis in de data wordt gemodelleerd. * **Aangepaste $R^2$:** De aangepaste $R^2$ corrigeert voor het aantal verklarende variabelen en de steekproefgrootte. Het wordt kleiner naarmate er minder waarnemingen zijn ten opzichte van het aantal variabelen. $$R^2_{adjusted} = 1 - \left(1 - R^2\right) \frac{n-1}{n-p-1}$$ * **Gebruik:** De aangepaste $R^2$ is vooral geschikt voor het vergelijken van modellen met een verschillend aantal verklarende variabelen en waarnemingen. De interpretatie ervan is vergelijkbaar met die van de reguliere $R^2$. ### 2.8 Onderzoek van residuen Het onderzoeken van residuen is cruciaal om de aannames van het regressiemodel te controleren en om mogelijke problemen te identificeren. * **Doelen:** * Opsporen van afwijkingen van lineariteit (kromlijnige verbanden). * Identificeren van uitschieters (outliers). * Controleren op heteroscedasticiteit (ongelijke variantie van de residuen). * Controleren op normaliteit van de residuen. * **Methoden:** * **Residuen plotten tegen voorspelde waarden:** Een willekeurig patroon rond nul duidt op een goed model. Patroonvorming duidt op schending van aannames. * **Residuen plotten tegen elke verklarende variabele:** Helpt bij het identificeren van niet-lineaire verbanden. * **Normaal-kwantiel-diagram (Q-Q plot):** Controleert of de residuen ongeveer normaal verdeeld zijn. ### 2.9 Controle op collineariteit Collineariteit (of multicollineariteit) treedt op wanneer twee of meer verklarende variabelen sterk met elkaar gecorreleerd zijn. Dit kan leiden tot instabiele en onbetrouwbare schattingen van de regressiecoëfficiënten. * **Tolerantie:** De tolerantie van een predictor is de proportie van de variantie in die predictor die *niet* verklaard kan worden door de andere predictoren. Een lage tolerantie (< 0.5) wijst op hoge multicollineariteit. $$Tolerantie_i = 1 - R_i^2$$ waarbij $R_i^2$ de determinatiecoëfficiënt is van de regressie van predictor $x_i$ op alle andere predictoren. * **Variance Inflation Factor (VIF):** De VIF is het omgekeerde van de tolerantie. Een VIF groter dan 2 (of soms 4 of 5) duidt op problemen met multicollineariteit. $$VIF_i = \frac{1}{Tolerantie_i} = \frac{1}{1 - R_i^2}$$ Wanneer multicollineariteit wordt gedetecteerd, kunnen de standaardfouten van de regressiecoëfficiënten overdreven worden, wat leidt tot minder nauwkeurige schattingen en significantietoetsen die minder krachtig zijn. Dit kan ertoe leiden dat variabelen die in werkelijkheid wel een significant effect hebben, statistisch niet significant blijken. > **Tip:** Significantie in regressieanalyse toetst of een variabele nog een significante bijdrage levert *gegeven de aanwezigheid van andere variabelen in het model*. Een variabele kan significant zijn in een enkelvoudige regressie maar niet in een meervoudige regressie vanwege overlap met andere predictors. > **Tip:** Veranderingen in regressiecoëfficiënten, hun significantie en betrouwbaarheidsintervallen bij het toevoegen of verwijderen van variabelen benadrukken het belang van contextuele interpretatie van modelresultaten. Parameters en hun toetsen zijn alleen relevant binnen de context van de andere variabelen in het specifieke model. > **Tip:** "Statistisch significant" betekent niet altijd "praktisch belangrijk". Een zeer kleine maar statistisch significante regressiecoëfficiënt kan weinig praktische betekenis hebben. Controleer de omvang van de coëfficiënt in relatie tot de schaal van de variabelen. --- # Inferentie in regressie-analyse Dit hoofdstuk behandelt de methoden voor inferentie in regressie-analyse, met name betrouwbaarheidsintervallen en significantietoetsen voor regressiecoëfficiënten, evenals de interpretatie van de determinatiecoëfficiënt. ### 3.1 Statistische modellen voor regressie In de context van regressieanalyse wordt aangenomen dat voor elke specifieke combinatie van onafhankelijke variabelen ($x_1, x_2, \dots, x_p$) de afhankelijke variabele ($y$) normaal verdeeld is rond een populatiegemiddelde ($\mu_y$) met een constante standaardafwijking ($\sigma$). * **Enkelvoudige regressie:** Hierbij wordt de verwachte waarde van $y$ gemodelleerd als een lineaire functie van één onafhankelijke variabele: $\mu_y = \beta_0 + \beta_1 x$. * **Meervoudige regressie:** Hierbij wordt de verwachte waarde van $y$ gemodelleerd als een lineaire functie van meerdere onafhankelijke variabelen: $\mu_y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_p x_p$. Het regressiemodel kan worden uitgedrukt als: $$Y_i = (\beta_0 + \beta_1 x_{i1} + \dots + \beta_p x_{ip}) + \epsilon_i$$ waarbij $Y_i$ de waargenomen waarde van de afhankelijke variabele is, $(\beta_0 + \beta_1 x_{i1} + \dots + \beta_p x_{ip})$ de verwachte waarde van $y$ is voor de $i$-de observatie, en $\epsilon_i$ het residu is. De aanname is dat de residuen $\epsilon_i$ onafhankelijk en normaal verdeeld zijn met een gemiddelde van 0 en een standaardafwijking $\sigma$: $\epsilon_i \sim N(0, \sigma^2)$. De parameters $\beta_0, \beta_1, \dots, \beta_p$ worden geschat met de kleinste-kwadratenmethode, waarbij het totaal van de gekwadrateerde residuen wordt geminimaliseerd. De schatter voor de variantie $\sigma^2$ is het gemiddelde van de gekwadrateerde residuen, gedeeld door het aantal vrijheidsgraden ($n - (p+1)$). ### 3.2 Betrouwbaarheidsintervallen voor regressiecoëfficiënten Voor elke geschatte regressiecoëfficiënt $\hat{\beta}_i$ kan een betrouwbaarheidsinterval worden geconstrueerd om een bereik van waarden te geven waarbinnen de ware populatiecoëfficiënt $\beta_i$ waarschijnlijk ligt. Het betrouwbaarheidsinterval voor $\beta_i$ wordt gegeven door: $$\hat{\beta}_i \pm t_{\alpha/2, n-p-1} \cdot SE(\hat{\beta}_i)$$ waarbij $\hat{\beta}_i$ de geschatte regressiecoëfficiënt is, $t_{\alpha/2, n-p-1}$ de kritieke waarde is uit de $t$-verdeling met $n-p-1$ vrijheidsgraden voor een gegeven significantieniveau $\alpha$, en $SE(\hat{\beta}_i)$ de standaardfout van de geschatte regressiecoëfficiënt is. ### 3.3 Significantietoetsen voor regressiecoëfficiënten #### 3.3.1 T-toets De $t$-toets wordt gebruikt om te toetsen of een individuele regressiecoëfficiënt $\beta_i$ significant verschilt van nul. * **Nulhypothese ($H_0$):** $\beta_i = 0$ (de onafhankelijke variabele $x_i$ heeft geen lineair verband met de afhankelijke variabele $y$, gegeven de andere variabelen in het model). * **Alternatieve hypothese ($H_a$):** $\beta_i \neq 0$ (er is wel een significant lineair verband). De $t$-toetsingsgrootheid is: $$t = \frac{\hat{\beta}_i - 0}{SE(\hat{\beta}_i)}$$ Deze toetsingsgrootheid volgt een $t$-verdeling met $n-p-1$ vrijheidsgraden. De $p$-waarde van de toets geeft de kans aan om een toetsingsgrootheid te observeren die minstens zo extreem is als de berekende waarde, ervan uitgaande dat de nulhypothese waar is. > **Tip:** Als het betrouwbaarheidsinterval voor $\beta_i$ de waarde 0 niet bevat, dan is de regressiecoëfficiënt significant verschillend van nul op het bijbehorende significantieniveau. #### 3.3.2 F-toets voor regressie-analyse De $F$-toets wordt gebruikt om de algehele significantie van het regressiemodel te beoordelen, dat wil zeggen of ten minste één van de onafhankelijke variabelen een significant lineair verband heeft met de afhankelijke variabele. * **Nulhypothese ($H_0$):** $\beta_1 = \beta_2 = \dots = \beta_p = 0$ (geen van de onafhankelijke variabelen in het model is significant gerelateerd aan de afhankelijke variabele). * **Alternatieve hypothese ($H_a$):** Minstens één $\beta_i \neq 0$ (ten minste één van de onafhankelijke variabelen is significant gerelateerd aan de afhankelijke variabele). De $F$-toetsingsgrootheid wordt berekend als de ratio van twee gemiddelde kwadratensommen: $$F = \frac{MSR}{MSE} = \frac{SSR/p}{SSE/(n-p-1)}$$ waarbij $MSR$ het gemiddelde kwadraat van de regressie is en $MSE$ het gemiddelde kwadraat van de residuen (of fout). Deze toetsingsgrootheid volgt een $F$-verdeling met $p$ vrijheidsgraden in de teller en $n-p-1$ vrijheidsgraden in de noemer. De overschrijdingskans ( $p$-waarde) is de kans dat een $F$-verdeelde stochastische variabele met deze vrijheidsgraden groter is dan de berekende toetsingsgrootheid, als $H_0$ waar is. > **Opmerking:** Bij enkelvoudige lineaire regressie ($p=1$) is de $F$-toets equivalent aan de $t$-toets voor de coëfficiënt $\beta_1$. Het kwadraat van de $t$-toetsingsgrootheid voor $\beta_1$ is gelijk aan de $F$-toetsingsgrootheid. De resultaten van de $F$-toets worden vaak samengevat in een ANOVA-tabel. ### 3.4 Interpretatie van de determinatiecoëfficiënt (R-kwadraat) De determinatiecoëfficiënt, $R^2$, is een maat voor de proportie van de totale variantie in de afhankelijke variabele ($y$) die verklaard wordt door het regressiemodel met de onafhankelijke variabelen ($x_1, \dots, x_p$). $$R^2 = 1 - \frac{SSE}{SST} = \frac{SSR}{SST}$$ waarbij $SSE$ de som van de gekwadrateerde residuen is (Sum of Squared Errors) en $SST$ de totale som van de kwadraten is (Total Sum of Squares), die de totale variantie in $y$ vertegenwoordigt zonder enige regressie. $SSR$ is de som van de gekwadrateerde regressie. * **Interpretatie:** $R^2$ geeft aan welk deel van de variabiliteit in $y$ verklaard kan worden door de variabiliteit in de onafhankelijke variabelen. Een $R^2$ van 0.75 betekent bijvoorbeeld dat 75% van de variatie in $y$ wordt verklaard door het model. Het vertegenwoordigt ook de proportionele reductie in voorspellingsfout vergeleken met een model dat de gemiddelde $y$ gebruikt. #### 3.4.1 Aangepaste R-kwadraat (Adjusted R²) Het gebruik van de determinatiecoëfficiënt $R^2$ kan misleidend zijn bij het vergelijken van modellen met een verschillend aantal onafhankelijke variabelen, aangezien $R^2$ altijd toeneemt (of gelijk blijft) wanneer er variabelen aan het model worden toegevoegd, zelfs als deze variabelen niet significant bijdragen. Dit fenomeen staat bekend als "overfitting". De aangepaste $R^2$ (Adjusted R²) houdt rekening met het aantal voorspellers ($p$) en het aantal waarnemingen ($n$). Het biedt een betere maatstaf voor de fit van het model wanneer er meerdere onafhankelijke variabelen zijn en is met name nuttig voor het vergelijken van modellen met verschillende aantallen voorspellers. $$R^2_{\text{adjusted}} = 1 - \left(1 - R^2\right) \frac{n-1}{n-p-1}$$ > **Tip:** De aangepaste $R^2$ kan afnemen wanneer er variabelen worden toegevoegd die het model niet significant verbeteren. Dit maakt het een nuttigere maatstaf voor modelselectie. De interpretatie van de aangepaste $R^2$ is vergelijkbaar met die van de standaard $R^2$: het vertegenwoordigt de proportie van de variantie in de afhankelijke variabele die verklaard wordt door het model, aangepast voor het aantal voorspellers. ### 3.5 Controle op collineariteit Collineariteit (of multicollineariteit) treedt op wanneer onafhankelijke variabelen in een regressiemodel sterk met elkaar gecorreleerd zijn. Dit kan leiden tot instabiele en onbetrouwbare schattingen van de regressiecoëfficiënten, waardoor hun standaardfouten toenemen. * **Tolerantie:** De tolerantie van een predictor is de proportie van de variantie in die predictor die *niet* verklaard kan worden door de andere predictoren in het model. Een lage tolerantie (dicht bij nul) geeft aan dat de betreffende predictor sterk gecorreleerd is met andere predictoren. $$Tolerantie = 1 - R_i^2$$ waarbij $R_i^2$ de determinatiecoëfficiënt is van een regressie van predictor $x_i$ op alle andere predictoren. * **Variance Inflation Factor (VIF):** De VIF is het omgekeerde van de tolerantie en wordt gebruikt om de mate van collineariteit te kwantificeren. $$VIF_i = \frac{1}{Tolerantie_i} = \frac{1}{1 - R_i^2}$$ > **Vuistregel:** Een VIF groter dan 2 duidt op mogelijke problemen met multicollineariteit. Een VIF groter dan 5 of 10 wordt vaak als problematisch beschouwd. Hoge multicollineariteit kan de standaardfouten van de regressiecoëfficiënten opblazen, wat leidt tot minder betrouwbare $t$-toetsen en bredere betrouwbaarheidsintervallen. --- # Modelverfijning en analyse van collineariteit Dit gedeelte behandelt het onderzoeken van residuen, het verfijnen van regressiemodellen door variabelen te verwijderen en het controleren op collineariteit tussen voorspellende variabelen. ### 4.1 Onderzoeken van residuen Het onderzoeken van residuen is cruciaal om de geschiktheid van een meervoudig lineair regressiemodel voor de data te beoordelen. Residuen representeren het deel van de afhankelijke variabele dat niet verklaard wordt door het model. #### 4.1.1 Doel van residu-analyse Het primaire doel van residu-analyse is het opsporen van afwijkingen van de modelaannames, zoals: * Aanwezigheid van niet-lineaire verbanden. * Identificatie van uitschieters (outliers), dit zijn waarnemingen die significant afwijken van het algemene patroon. * Het beoordelen van de homoscedasticiteit (constante variantie van de residuen). #### 4.1.2 Technieken voor residu-analyse Verschillende grafische en statistische technieken worden gebruikt: * **Residuen tegen voorspelde waarden:** Een spreidingsdiagram van de residuen ($e_i$) tegen de voorspelde waarden ($\hat{y}_i$) kan patronen onthullen die wijzen op niet-lineariteit of heteroscedasticiteit. Een willekeurige spreiding rond nul duidt op een goed model. * **Residuen tegen verklarende variabelen:** Het uitzetten van de residuen tegenover elke individuele verklarende variabele ($x_j$) kan helpen om specifieke relaties te identificeren die niet door het model worden gevangen. * **Normaal-kwantiel-diagram (Q-Q plot):** Dit diagram helpt bij het beoordelen van de normaliteitsaanname van de residuen. Als de residuen normaal verdeeld zijn, zullen de punten op het diagram ongeveer langs een rechte lijn liggen. #### 4.1.3 Interpretatie van residu-analyse Als de residu-analyse wijst op problemen, zoals duidelijke patronen in de grafieken of significante afwijkingen van de normaliteit, kan dit leiden tot aanpassingen van het model. > **Tip:** Een willekeurige spreiding van residuen rond nul in een plot tegen voorspelde waarden is een indicator van een adequaat lineair model. ### 4.2 Verfijning van het regressiemodel Modelverfijning houdt in dat het model wordt aangepast om de fit te verbeteren en de interpretatie te verduidelijken. Dit kan onder andere door het verwijderen van variabelen die weinig bijdragen aan het model. #### 4.2.1 Variabelen verwijderen Wanneer de analyse van de residuen of de significantie van regressiecoëfficiënten aangeeft dat een verklarende variabele weinig tot geen toegevoegde waarde heeft, kan deze overwogen worden te verwijderen. * **Beslissingscriteria:** De significantie van de t-toets voor een coëfficiënt ($H_0: \beta_j = 0$) is een veelgebruikt criterium. Als een coëfficiënt niet significant is, kan dit een reden zijn om de bijbehorende variabele te verwijderen. * **Gevolgen van verwijdering:** Het verwijderen van een variabele kan de resterende coëfficiënten en hun significantie beïnvloeden, omdat de interpretatie van coëfficiënten altijd in de context van de andere variabelen in het model moet gebeuren. #### 4.2.2 Modelvergelijking Verschillende modellen met verschillende combinaties van verklarende variabelen kunnen worden vergeleken. De aangepaste $R^2$ (Adjusted $R^2$) is hierbij een nuttig instrument, vooral wanneer modellen een verschillend aantal verklarende variabelen bevatten. * **Aangepaste $R^2$:** Deze maat corrigeert de determinatiecoëfficiënt ($R^2$) voor het aantal verklarende variabelen en de steekproefgrootte. Een hogere aangepaste $R^2$ indiceert een beter model, rekening houdend met de complexiteit. $$ R_{adj}^2 = 1 - \frac{(1 - R^2)(n - 1)}{n - p - 1} $$ Waarbij $n$ het aantal waarnemingen is en $p$ het aantal verklarende variabelen. > **Tip:** Een te hoog aantal verklarende variabelen ten opzichte van het aantal waarnemingen kan leiden tot "overfitting", waarbij het model ruis in de data meemodelleert, wat resulteert in een overschatting van de voorspellende kracht. ### 4.3 Controle op collineariteit Collineariteit, ook wel multicollineariteit genoemd, treedt op wanneer twee of meer verklarende variabelen in een regressiemodel sterk met elkaar gecorreleerd zijn. Dit kan leiden tot instabiele en onbetrouwbare regressiecoëfficiënten. #### 4.3.1 Gevolgen van collineariteit * **Opgeblazen standaardfouten:** Hoge collineariteit vergroot de standaardfouten van de regressiecoëfficiënten. Hierdoor worden de coëfficiënten statistisch minder significant, zelfs als de variabele op zichzelf een sterke relatie met de afhankelijke variabele zou hebben. * **Instabiele schattingen:** Kleine veranderingen in de data of het model kunnen leiden tot grote schommelingen in de geschatte regressiecoëfficiënten. * **Interpretatieproblemen:** Het wordt moeilijk om de unieke bijdrage van elke gecorreleerde variabele aan het model te bepalen. #### 4.3.2 Maten voor collineariteit Er zijn verschillende maten om collineariteit te detecteren: * **Tolerantie (Tolerance):** De tolerantie voor een verklarende variabele ($x_j$) is het aandeel van de variantie in $x_j$ dat *niet* verklaard kan worden door de andere verklarende variabelen in het model. Het wordt berekend als $1 - R_j^2$, waarbij $R_j^2$ de $R^2$ is van een regressie van $x_j$ op alle andere verklarende variabelen. $$ \text{Tolerance}_j = 1 - R_j^2 $$ Een lage tolerantie (dicht bij nul) geeft aan dat de variabele sterk overlapt met andere predictoren. * **Variance Inflation Factor (VIF):** De VIF is het omgekeerde van de tolerantie. $$ \text{VIF}_j = \frac{1}{\text{Tolerance}_j} = \frac{1}{1 - R_j^2} $$ Een VIF groter dan 2 (of soms 4, afhankelijk van de vuistregel) duidt op mogelijke problemen met multicollineariteit. #### 4.3.3 Aanpak bij collineariteit Als significante collineariteit wordt vastgesteld, zijn er verschillende strategieën: * **Verwijderen van variabelen:** Eén van de gecorreleerde variabelen kan worden verwijderd uit het model. * **Combineren van variabelen:** Gecorreleerde variabelen kunnen worden samengevoegd tot een enkele, samengestelde variabele (bijvoorbeeld door een index te creëren). * **Gebruik van Principal Component Regression (PCR) of Partial Least Squares (PLS):** Geavanceerdere technieken die om kunnen gaan met multicollineariteit door het creëren van nieuwe, ongecorreleerde variabelen. > **Example:** Stel, in een model om de verkoopprijs van huizen te voorspellen, hebben we variabelen "aantal slaapkamers" en "totale vloeroppervlakte". Deze zijn waarschijnlijk sterk gecorreleerd. Als de VIF voor "aantal slaapkamers" hoog is, suggereert dit dat de informatie die "aantal slaapkamers" biedt, grotendeels al vervat zit in "totale vloeroppervlakte". > **Tip:** Significante correlaties tussen verklarende variabelen impliceren niet automatisch dat deze variabelen ook significant zullen zijn in de regressieanalyse, vooral als er sprake is van multicollineariteit. De significantie in regressieanalyse geeft aan of een variabele een significante bijdrage levert *gegeven de aanwezigheid van de andere variabelen* in het model. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Regressie-analyse | Een statistische methode die wordt gebruikt om de relatie tussen een afhankelijke variabele en een of meer onafhankelijke variabelen te onderzoeken en te modelleren. | | Meervoudige lineaire regressie | Een regressiemodel waarbij de afhankelijke variabele wordt voorspeld door een lineaire combinatie van twee of meer onafhankelijke variabelen. | | Populatie-regressievergelijking | De theoretische vergelijking die de relatie tussen de verwachte waarde van de afhankelijke variabele en de onafhankelijke variabelen in de gehele populatie beschrijft. | | Enkelvoudige regressie | Een regressiemodel waarbij de afhankelijke variabele wordt voorspeld door slechts één onafhankelijke variabele. | | Residu | Het verschil tussen de waargenomen waarde van de afhankelijke variabele en de voorspelde waarde uit het regressiemodel. | | Regressieparameters | De coëfficiënten in het regressiemodel die de sterkte en richting van de relatie tussen de onafhankelijke variabelen en de afhankelijke variabele kwantificeren. | | Vrijheidsgraden | Het aantal onafhankelijke stukjes informatie dat in de data beschikbaar is om een parameter te schatten; in regressie-analyse is dit vaak het aantal waarnemingen min het aantal geschatte parameters. | | Betrouwbaarheidsinterval | Een reeks waarden die met een bepaalde waarschijnlijkheid de ware populatiewaarde van een parameter bevat. | | t-toets | Een statistische toets die wordt gebruikt om te bepalen of het gemiddelde van een steekproef significant verschilt van een bekende populatiewaarde of een ander gemiddelde. In regressie wordt het gebruikt om de significantie van individuele regressiecoëfficiënten te testen. | | F-toets | Een statistische toets die wordt gebruikt om te bepalen of er een significant lineair verband is tussen de afhankelijke variabele en de set van onafhankelijke variabelen in een regressiemodel. | | Determinatiecoëfficiënt ($R^2$) | Een statistische maat die aangeeft welk deel van de variantie in de afhankelijke variabele wordt verklaard door de onafhankelijke variabelen in het model. | | Aangepaste $R^2$ (Adjusted R²) | Een aangepaste versie van de determinatiecoëfficiënt die rekening houdt met het aantal voorspellers in het model en de steekproefgrootte, wat helpt bij het vergelijken van modellen met een verschillend aantal variabelen. | | Collineariteit (Multicollineariteit) | Een situatie waarin twee of meer onafhankelijke variabelen in een regressiemodel sterk met elkaar gecorreleerd zijn, wat de schatting en interpretatie van de regressiecoëfficiënten kan bemoeilijken. | | Tolerantie | Een maat voor de mate waarin een onafhankelijke variabele niet verklaard kan worden door de andere onafhankelijke variabelen in het model; lage tolerantie duidt op hoge multicollineariteit. | | Variance Inflation Factor (VIF) | Een maat die aangeeft hoeveel de variantie van een regressiecoëfficiënt wordt opgeblazen door collineariteit; een VIF groter dan 2 duidt vaak op problemen. |

# Introductie tot variantie-analyse Hier is een gedetailleerde studiehandleiding voor de introductie tot variantie-analyse, gebaseerd op de verstrekte documentatie. ## 1. Introductie tot variantie-analyse Variantie-analyse (ANOVA) is een statistische techniek die wordt gebruikt om de gemiddelden van twee of meer populaties of condities te vergelijken, en dient als een uitbreiding van de t-toets. ### 1.1 De een-factor variantie-analyse (One-way ANOVA) #### 1.1.1 Concept en doel De een-factor variantie-analyse (ANOVA) is een methode om de gemiddelden van twee of meer groepen te vergelijken. Terwijl een t-toets voor onafhankelijke steekproeven zich beperkt tot het vergelijken van de gemiddelden van slechts twee populaties, maakt ANOVA dit mogelijk voor drie of meer groepen. Dit wordt gedaan op basis van enkelvoudige aselecte steekproeven (EAS) uit elke populatie of conditie. #### 1.1.2 Nul- en alternatieve hypotheses De nulhypothese ($H_0$) in ANOVA stelt dat alle populatiegemiddelden gelijk zijn. De alternatieve hypothese ($H_A$) stelt dat niet alle populatiegemiddelden gelijk zijn; er is dus minstens één gemiddelde dat significant verschilt van de andere. * $H_0: \mu_1 = \mu_2 = \dots = \mu_k$ * $H_A$: Niet alle $\mu_i$ zijn gelijk #### 1.1.3 Waarom niet meerdere paarsgewijze t-toetsen? Het uitvoeren van meerdere paarsgewijze t-toetsen om de gemiddelden van meer dan twee groepen te vergelijken, is geen aanbevolen praktijk. Hoewel elke t-toets op zichzelf de kans op een Type I fout (onterecht concluderen dat er een verschil is terwijl dat er niet is) gelijk aan $\alpha$ (het significantieniveau) controleert, verhoogt het herhaaldelijk uitvoeren van deze toetsen het cumulatieve risico op een Type I fout aanzienlijk. Dit fenomeen staat bekend als "capitalizing on chance", waarbij men te snel significante verschillen vindt die er in werkelijkheid niet zijn. > **Tip:** Bij het vergelijken van meer dan twee groepen, verhoogt elke extra t-toets de kans op een foutieve conclusie. ANOVA biedt een gecontroleerde manier om te toetsen of er *ergens* een verschil is voordat specifieke groepen worden vergeleken. ### 1.2 Voorwaarden voor ANOVA Om de resultaten van een een-factor ANOVA betrouwbaar te interpreteren, moeten aan een aantal voorwaarden worden voldaan: 1. **Onafhankelijke steekproeven:** Er moeten $k$ onafhankelijke enkelvoudige aselecte steekproeven zijn, één uit elke populatie. 2. **Gelijke populatievarianties:** Alle $k$ populaties moeten dezelfde (onbekende) standaarddeviatie $\sigma$ hebben. * **Vuistregel voor gelijkheid van varianties:** De resultaten van de F-test zijn bij benadering correct indien de grootste steekproef standaarddeviatie ($s_{max}$) niet meer dan twee keer zo groot is als de kleinste steekproef standaarddeviatie ($s_{min}$). Met andere woorden, de verhouding $\frac{s_{max}}{s_{min}} \le 2$. * **Alternatieve toetsen:** Methoden zoals de Bartlett-test of de Levene-test kunnen gebruikt worden om de homogeniteit van varianties formeel te toetsen. 3. **Normaliteit van populaties:** Alle $k$ populaties moeten normaal verdeeld zijn met een onbekende verwachting $\mu_i$. #### 1.2.1 Het ANOVA model Het model voor een waarneming $Y_{ij}$ (de $j$-de waarneming in de $i$-de groep) kan worden uitgedrukt als: $$ Y_{ij} = \mu_i + \epsilon_{ij} $$ waarbij $\mu_i$ het populatiegemiddelde is van groep $i$, en $\epsilon_{ij}$ het residu is dat de afwijking van de individuele score ten opzichte van het groepsgemiddelde vertegenwoordigt. De aannames stellen dat $\epsilon_{ij}$ normaal verdeeld is met gemiddelde 0 en standaarddeviatie $\sigma$, en dat de groepen onafhankelijk zijn. #### 1.2.2 Schatters voor parameters * De populatiegemiddelden $\mu_1, \dots, \mu_k$ worden geschat door de steekproefgemiddelden $\bar{y}_1, \dots, \bar{y}_k$. * De populatievariantie $\sigma^2$ wordt geschat door de "pooled variance" (gepoolde variantie), $s_p^2$. ### 1.3 De ANOVA F-statistiek ANOVA werkt door de totale variabiliteit in de data op te splitsen in verschillende componenten. De kern van de ANOVA is de F-statistiek, die de ratio vormt van twee variantie-schatters: de variantie *tussen* de groepen versus de variantie *binnen* de groepen. * **Variatie tussen groepen (explained variance / model variance):** Dit meet de variabiliteit tussen de steekproefgemiddelden van de verschillende groepen. Als deze variabiliteit groot is ten opzichte van de variabiliteit binnen de groepen, is dit bewijs tegen de nulhypothese. * **Variatie binnen groepen (unexplained variance / error variance):** Dit meet de gemiddelde variabiliteit binnen elke groep. Dit vertegenwoordigt de inherente willekeurige variatie die niet door de groepsindeling wordt verklaard. De F-statistiek wordt als volgt berekend: $$ F = \frac{\text{Variantie tussen groepen}}{\text{Variantie binnen groepen}} = \frac{MS_{\text{between}}}{MS_{\text{within}}} $$ * $MS_{\text{between}}$ is het "Mean Square Between" (gemiddeld kwadraat tussen de groepen). * $MS_{\text{within}}$ is het "Mean Square Within" (gemiddeld kwadraat binnen de groepen, ook wel $MSE$ genoemd). Een hoge F-waarde suggereert dat de groepsgemiddelden significant van elkaar verschillen. De F-test is eenzijdig, waarbij hoge waarden aan de rechterkant van de verdeling leiden tot verwerping van de nulhypothese. #### 1.3.1 Vrijheidsgraden voor de F-test De F-verdeling wordt gekenmerkt door twee vrijheidsgraden: die van de teller en die van de noemer. * **Vrijheidsgraden teller ($df_1$):** $k - 1$, waarbij $k$ het aantal groepen is. * **Vrijheidsgraden noemer ($df_2$):** $n - k$, waarbij $n$ het totale aantal waarnemingen is. De F-statistiek volgt dus een F-verdeling met $F(df_1, df_2)$ vrijheidsgraden. > **Tip:** De F-verdeling is altijd positief en rechtsscheef. De vorm van de verdeling wordt bepaald door de vrijheidsgraden. ### 1.4 Interpretatie van resultaten en post-hoc toetsen Als de F-test significant is (d.w.z. de p-waarde is kleiner dan $\alpha$), verwerpen we de nulhypothese. Dit betekent dat er een statistisch significant verschil is tussen minstens twee van de groepsgemiddelden. Echter, de ANOVA vertelt ons *niet* welke specifieke groepen van elkaar verschillen. Hiervoor zijn aanvullende analyses nodig. #### 1.4.1 Post-hoc toetsen (meervoudige vergelijkingen) Wanneer de omnibus ANOVA significant is, worden post-hoc toetsen gebruikt om paarsgewijze vergelijkingen te maken tussen de groepsgemiddelden. Deze toetsen corrigeren voor het verhoogde Type I foutrisico dat ontstaat door het uitvoeren van meerdere vergelijkingen. * **Contrasten (Planned Comparisons):** Deze worden gebruikt wanneer er voorafgaand aan de dataverzameling specifieke, wetenschappelijk gemotiveerde hypotheses over bepaalde verschillen bestaan. Contrasten hebben meer "power" (onderscheidingsvermogen) omdat ze specifieker zijn. * Een contrast is een lineaire combinatie van populatiegemiddelden $\psi = \sum a_i \mu_i$ waarbij $\sum a_i = 0$. * Het bijbehorende steekproefcontrast is $c = \sum a_i \bar{y}_i$. * De hypothesetoets voor een contrast wordt meestal uitgevoerd met een t-statistiek: $$ t = \frac{c}{\text{Standard Error}(c)} $$ met vrijheidsgraden $DFE = n-k$. * Een $C\%$ betrouwbaarheidsinterval voor $\psi$ is $c \pm t^* \cdot SE(c)$, waarbij $t^*$ de kritieke waarde is uit de t-verdeling met $DFE$ vrijheidsgraden. * **Meervoudige Vergelijkingstests (Multiple Comparisons):** Deze worden gebruikt wanneer er geen specifieke vooraf gedefinieerde hypotheses zijn, en alle mogelijke paarsgewijze vergelijkingen van belang zijn. * **LSD-methode (Least Significant Differences):** Voert standaard t-toetsen uit voor elk paar gemiddelden, zonder correctie voor meervoudige vergelijkingen. Wordt niet sterk aanbevolen als er veel groepen zijn. * **Bonferroni-methode:** Controleert het totale Type I foutrisico door het significantieniveau voor elke individuele toets te verkleinen (vaak door $\alpha$ te delen door het aantal vergelijkingen). Dit is een conservatieve methode die de kans op Type I fouten sterk reduceert, maar ook de power kan verlagen. * **Tukey's HSD (Honestly Significant Difference):** Een populaire methode die de studentized range-statistiek gebruikt om alle paarsgewijze vergelijkingen te maken en het "family-wise error rate" (het algehele risico op een Type I fout over alle vergelijkingen) op het ingestelde niveau $\alpha$ te houden. * Andere methoden zoals Scheffé, Sidak, S-N-K, Duncan, Hochberg's GT2, Gabriel, Waller-Duncan, Dunnett's (voor vergelijking met een controle), Tamhane's T2, Dunnett's T3, en Games-Howell bestaan ook, met variaties in hoe ze de varianties behandelen (gelijk of ongelijk) en hoe ze corrigeren voor meervoudige vergelijkingen. #### 1.4.2 Visuele inspectie Naast statistische toetsen zijn grafische weergaven essentieel voor het begrijpen van de data: * **Boxplots:** Verschaffen informatie over de spreiding, mediaan en uitschieters binnen elke groep. Let op: ANOVA vergelijkt gemiddelden, terwijl boxplots de mediaan weergeven. * **Lijndiagrammen (Mean Plots):** Tonen de gemiddelden van de groepen en kunnen inzicht geven in de trend of verschillen tussen de groepen. > **Tip:** Gebruik altijd een combinatie van statistische toetsen en grafische weergaven om een volledig beeld te krijgen van de resultaten. Een significante F-waarde in ANOVA kan worden verklaard door het analyseren van de gemiddelden en de spreiding van de data in boxplots of lijndiagrammen. ### 1.5 Voorbeeld: Gepercipieerde moeilijkheid van wiskunde-oefeningen Een onderzoeker wil de gepercipieerde moeilijkheid van wiskunde-oefeningen onderzoeken. Drie groepen studenten krijgen dezelfde oefeningen, maar met verschillende instructies over de moeilijkheid: "simpel", "matig" of "moeilijk". Na het maken van de oefeningen beoordelen de studenten de moeilijkheid op een schaal van 0 tot 15. * **Data:** * Simpel: 9, 12, 4, 8, 7 * Matig: 4, 6, 8, 2, 10 * Moeilijk: 1, 3, 4, 5, 2 * **Doel:** Vergelijken of de gemiddelde gepercipieerde moeilijkheid verschilt tussen de drie condities. * **Hypotheses:** * $H_0: \mu_{\text{simpel}} = \mu_{\text{matig}} = \mu_{\text{moeilijk}}$ * $H_A$: Niet alle gemiddelden zijn gelijk. Een analyse in statistische software (zoals R) zou de F-statistiek en de bijbehorende p-waarde produceren. Als deze significant is, kunnen post-hoc toetsen worden uitgevoerd om te bepalen welke specifieke condities van elkaar verschillen. > **Voorbeeld:** Stel dat de ANOVA een significante p-waarde oplevert. Een Tukey HSD post-hoc test zou dan kunnen aantonen dat de groep "simpel" significant lager scoort dan de groep "matig" en "moeilijk", terwijl er geen significant verschil is tussen "matig" en "moeilijk". ### 1.6 Vergelijking met t-toets De relatie tussen de t-toets voor twee groepen en ANOVA voor twee groepen is direct. Als er slechts twee groepen zijn ($k=2$), dan is de F-statistiek van de ANOVA gelijk aan het kwadraat van de t-statistiek van de tweegroepen t-toets, mits de varianties gelijk worden verondersteld: $$ F = t^2 $$ De vrijheidsgraden voor de F-verdeling in dit geval zijn $df_1 = 2-1 = 1$ en $df_2 = n-2$. De kritieke waarden voor de F- en t-verdeling bij een gegeven significantieniveau $\alpha$ zullen corresponderen. --- # Voorwaarden en model voor variantie-analyse Dit hoofdstuk introduceert de voorwaarden waaraan voldaan moet worden voor de toepassing van variantie-analyse (ANOVA) en schetst het basismodel dat binnen ANOVA wordt gebruikt. ## 2.1 Inleiding tot variantie-analyse Variantie-analyse (ANOVA) is een statistische techniek die wordt gebruikt om de gemiddelden van twee of meer populaties te vergelijken. Dit staat in contrast met de t-toets voor onafhankelijke steekproeven, die beperkt is tot het vergelijken van slechts twee populatiegemiddelden. Eén-factor variantie-analyse is een specifieke vorm van ANOVA die de gemiddelden van twee of meer populaties of condities vergelijkt, gebaseerd op enkelvoudige aselecte steekproeven uit elke populatie. ### 2.1.1 Van t-toets naar ANOVA De t-toets voor onafhankelijke steekproeven vergelijkt de verwachtingen (gemiddelden) van twee populaties. ANOVA breidt dit concept uit om de verwachtingen van twee of meer populaties te vergelijken. Bij het vergelijken van meerdere groepen met herhaalde paarsgewijze t-toetsen ontstaat het risico op het zogenaamde "capitalizing on chance", waarbij de kans op een Type I-fout (onterecht verwerpen van de nulhypothese) toeneemt met elk extra getoetst paar. ANOVA biedt een manier om dit probleem te omzeilen door één enkele toets uit te voeren. ### 2.1.2 Het probleem van herhaalde toetsen Wanneer meerdere groepen worden vergeleken met behulp van paarsgewijze t-toetsen, wordt het algehele risico op een Type I-fout verhoogd. Als een significantieniveau van $ \alpha = 0.01 $ wordt gebruikt voor elke t-toets, wordt de kans op een Type I-fout voor de totale analyse groter dan $ \alpha $. Dit kan leiden tot een te snelle conclusie van significante verschillen die er in werkelijkheid niet zijn. ### 2.1.3 Voorbeeld: Gepercipieerde moeilijkheid van wiskundeoefeningen Een onderzoeker wil de gepercipieerde moeilijkheid van wiskundeoefeningen beoordelen. Drie groepen studenten krijgen oefeningen voorgelegd en krijgen te horen dat de oefeningen "simpel", "matig moeilijk" of "moeilijk" zijn. Na afloop geven studenten op een schaal van 0 tot 15 aan hoe moeilijk ze de oefeningen vonden. ANOVA kan hier worden toegepast om te onderzoeken of de gemiddelde gepercipieerde moeilijkheid verschilt tussen de drie condities. De steekproefgroottes per groep mogen hierbij verschillen. ## 2.2 Voorwaarden voor variantie-analyse Voor een correcte toepassing van de één-factor variantie-analyse moeten aan de volgende voorwaarden worden voldaan: * **Onafhankelijke enkelvoudige aselecte steekproeven**: Er worden $ k $ onafhankelijke enkelvoudige aselecte steekproeven getrokken, waarbij elke steekproef afkomstig is uit één van de $ k $ te vergelijken populaties of condities. * **Normaal verdeelde populaties**: Alle $ k $ populaties waarvan de steekproeven zijn getrokken, worden verondersteld normaal verdeeld te zijn met een onbekende verwachting $ \mu_k $. * **Gelijke standaarddeviaties (homogeniteit van varianties)**: Alle $ k $ populaties hebben dezelfde (onbekende) standaarddeviatie $ \sigma $. ### 2.2.1 Controle op gelijkheid van standaarddeviaties Hoewel de resultaten van de ANOVA F-toets bij benadering correct zijn wanneer de standaarddeviaties van de populaties gelijk zijn, is het nuttig om dit te controleren. Een vuistregel is dat de ANOVA nog steeds betrouwbaar is als de grootste steekproef standaarddeviatie niet meer dan twee keer zo groot is als de kleinste steekproef standaarddeviatie. Formeel kan dit getest worden met bijvoorbeeld de Bartlett's test of de Levene's test. > **Tip:** Hoewel de boxplot een visuele indicatie kan geven van de spreiding, vergelijkt de ANOVA de gemiddelden, niet de medianen. Een boxplot kan daarom misleidend zijn als de gemiddelden dicht bij elkaar liggen maar de medianen ver uit elkaar. ## 2.3 Het ANOVA-model Het ANOVA-model beschrijft de waargenomen data als een som van een modelcomponent en een residucomponent. $$ Y_{ij} = \mu_i + \epsilon_{ij} $$ Waarbij: * $ Y_{ij} $: De waargenomen score van de $ j $-de observatie in de $ i $-de groep/conditie. * $ \mu_i $: Het populatiegemiddelde van de $ i $-de groep/conditie. * $ \epsilon_{ij} $: Het residu, wat de afwijking van de individuele score van het groepsgemiddelde vertegenwoordigt. Dit deel wordt ook wel de "niet-verklaarde variatie" genoemd. Een meer gedetailleerd model beschouwt de relatie tussen de waarneming, het model en het residu: $$ \text{Waarneming} = \text{Model} + \text{Residu} $$ Parameters in dit model zijn de populatiegemiddelden $ \mu_1, \dots, \mu_k $ en de populatiestandaarddeviatie $ \sigma $. Schatters voor deze parameters zijn de steekproefgemiddelden $ \bar{y}_i $ en de geschatte standaarddeviatie $ s $. ## 2.4 De ANOVA F-statistiek De ANOVA F-statistiek is de kern van de variantie-analyse. Het toets de nulhypothese dat alle populatiegemiddelden gelijk zijn tegen de alternatieve hypothese dat niet alle populatiegemiddelden gelijk zijn. $$ F = \frac{\text{Variantie tussen de groepen}}{\text{Variantie binnen de groepen}} $$ * De F-statistiek is altijd groter dan of gelijk aan 0. * Een F-waarde van 0 treedt op wanneer alle steekproefgemiddelden exact gelijk zijn. * Hoge F-waarden geven bewijs tegen de nulhypothese, wat suggereert dat de populatiegemiddelden significant van elkaar verschillen. * De F-test is een een-zijdige toets aan de bovenzijde van de verdeling. ### 2.4.1 Interpretatie van de F-statistiek De F-statistiek kan worden gezien als een verhouding van varianties: de variantie die verklaard wordt door het model (variatie *tussen* de groepen) ten opzichte van de niet-verklaarde variantie (variatie *binnen* de groepen). Dit is analoog aan de determinatiecoëfficiënt in regressie-analyse. ### 2.4.2 F-verdelingen en vrijheidsgraden De F-statistiek volgt een F-verdeling onder de nulhypothese. F-verdelingen zijn familie van rechts-scheve verdelingen die alleen positieve waarden kunnen aannemen. Elke F-verdeling wordt gekarakteriseerd door twee vrijheidsgraden: * **Vrijheidsgraden voor de teller (df1)**: Gelijk aan het aantal groepen minus 1 ($ k - 1 $). Dit vertegenwoordigt de vrijheidsgraden geassocieerd met de variatie *tussen* de groepen. * **Vrijheidsgraden voor de noemer (df2)**: Gelijk aan het totale aantal waarnemingen min het aantal groepen ($ n - k $). Dit vertegenwoordigt de vrijheidsgraden geassocieerd met de variatie *binnen* de groepen (ook wel de error-vrijheidsgraden genoemd). De notatie voor een F-verdeling is $ F(df1, df2) $. ### 2.4.3 Verloop van de ANOVA 1. Formuleren van de nulhypothese ($ H_0 $) en de alternatieve hypothese ($ H_A $). * $ H_0 $: Alle populatiegemiddelden zijn gelijk ($ \mu_1 = \mu_2 = \dots = \mu_k $). * $ H_A $: Niet alle populatiegemiddelden zijn gelijk. 2. Berekenen van de F-statistiek. 3. Vergelijken van de berekende F-waarde met een kritieke waarde uit de F-verdeling of bepalen van de p-waarde. 4. Als de F-waarde groter is dan de kritieke waarde (of de p-waarde kleiner is dan het significantieniveau $ \alpha $), wordt de nulhypothese verworpen. Dit suggereert dat er significante verschillen zijn tussen ten minste twee van de populatiegemiddelden. 5. Indien de nulhypothese wordt verworpen, zijn verdere analyses (zoals post-hoc toetsen of contrasten) nodig om te bepalen welke specifieke gemiddelden van elkaar verschillen. > **Tip:** De voorwaarde van gelijke varianties is cruciaal. Wanneer deze voorwaarde geschonden wordt, zijn er aangepaste ANOVA-varianten of niet-parametrische toetsen die overwogen moeten worden. De relatief grote steekproefgrootte kan soms helpen om de robuustheid van de ANOVA te vergroten, zelfs bij enige schending van de aannames. --- # De F-statistiek en verdeling in variantie-analyse De F-statistiek en bijbehorende F-verdeling vormen de kern van variantie-analyse (ANOVA) om te bepalen of er significante verschillen zijn tussen de gemiddelden van drie of meer groepen. ### 3.1 Introductie tot variantie-analyse Variantie-analyse (ANOVA) is een statistische techniek die wordt gebruikt om de gemiddelden van twee of meer populaties of groepen te vergelijken. Dit staat in contrast met de t-toets, die beperkt is tot het vergelijken van slechts twee groepen. #### 3.1.1 Waarom niet meerdere t-toetsen? Het uitvoeren van meerdere paarsgewijze t-toetsen om de gemiddelden van meerdere groepen te vergelijken, is problematisch vanwege het "capitalizing on chance" fenomeen. Bij elke t-toets bestaat er een kans (alfa, $\alpha$) om ten onrechte te concluderen dat er een significant verschil is tussen twee gemiddelden, terwijl dit in werkelijkheid niet zo is. Door dit herhaaldelijk te doen, neemt het totale risico op een Type I fout (onterecht verwerpen van de nulhypothese) aanzienlijk toe, wat leidt tot een hogere kans op het vinden van valse significante verschillen. #### 3.1.2 Het principe van ANOVA ANOVA ontleedt de totale variatie in de data in twee componenten: 1. **Variatie tussen groepen (between-group variance):** Dit meet de spreiding van de groepsgemiddelden rond het algemene gemiddelde. 2. **Variatie binnen groepen (within-group variance):** Dit meet de spreiding van de individuele observaties rond het gemiddelde van hun eigen groep. ANOVA vergelijkt vervolgens deze twee bronnen van variatie. Als de variatie tussen de groepen veel groter is dan de variatie binnen de groepen, suggereert dit dat er significante verschillen zijn tussen de groepsgemiddelden. #### 3.1.3 Nul- en alternatieve hypothese in ANOVA De nulhypothese ($H_0$) in een één-factor ANOVA stelt dat alle populatiegemiddelden gelijk zijn: $$H_0: \mu_1 = \mu_2 = \dots = \mu_k$$ waarbij $\mu_i$ het gemiddelde is van populatie $i$, en $k$ het aantal groepen is. De alternatieve hypothese ($H_a$) stelt dat niet alle populatiegemiddelden gelijk zijn: $$H_a: \text{Niet alle } \mu_i \text{ zijn gelijk}$$ Dit betekent dat minstens één gemiddelde significant verschilt van de andere. ### 3.2 De F-statistiek in ANOVA De F-statistiek is de centrale maatstaf in een ANOVA-test. Het is de ratio van de variantie tussen de groepen tot de variantie binnen de groepen. $$F = \frac{\text{Variantie tussen groepen}}{\text{Variantie binnen groepen}}$$ #### 3.2.1 Berekening van de F-statistiek De variantie tussen groepen en de variantie binnen groepen worden geschat met behulp van kwadratensommen (Sum of Squares, SS) en vrijheidsgraden (Degrees of Freedom, df). * **Sum of Squares Between Groups (SSB):** Meet de totale variatie die wordt toegeschreven aan de verschillen tussen de groepsgemiddelden. * **Sum of Squares Within Groups (SSW) of Sum of Squares Error (SSE):** Meet de totale variatie die niet wordt verklaard door de groepsverschillen, oftewel de foutvariantie of residuele variatie. * **Mean Square Between Groups (MSB):** Dit is een schatting van de populatievariantie, gebaseerd op de variatie tussen de groepen. $$MSB = \frac{SSB}{df_{teller}}$$ waarbij $df_{teller} = k - 1$ (aantal groepen min 1). * **Mean Square Within Groups (MSW) of Mean Square Error (MSE):** Dit is een gepoolde schatting van de populatievariantie, gebaseerd op de variatie binnen de groepen. $$MSE = \frac{SSW}{df_{noemer}}$$ waarbij $df_{noemer} = N - k$ (totaal aantal observaties min het aantal groepen). De F-statistiek wordt vervolgens berekend als: $$F = \frac{MSB}{MSE}$$ #### 3.2.2 Interpretatie van de F-statistiek * Een F-waarde van 1 betekent dat de variantie tussen de groepen gelijk is aan de variantie binnen de groepen. Onder de nulhypothese wordt verwacht dat de F-statistiek rond de 1 zal liggen. * Hoge F-waarden (veel groter dan 1) geven aan dat de variantie tussen de groepen aanzienlijk groter is dan de variantie binnen de groepen. Dit levert bewijs tegen de nulhypothese en suggereert dat er significante verschillen zijn tussen de groepsgemiddelden. * De F-test is een eenzijdige test, gericht op de hogere waarden van de F-verdeling. ### 3.3 De F-verdeling De F-verdeling is een continue kansverdeling die wordt gebruikt om de F-statistiek te evalueren. #### 3.3.1 Eigenschappen van de F-verdeling * De F-verdeling is **rechtsscheef** (positief scheef). * De waarden van de F-verdeling zijn **altijd positief** ($F \ge 0$). * De vorm van de F-verdeling wordt bepaald door twee parameters: de **vrijheidsgraden voor de teller** ($df_1$) en de **vrijheidsgraden voor de noemer** ($df_2$). * De notatie voor een F-verdeling is $F(df_1, df_2)$. #### 3.3.2 Vrijheidsgraden voor de F-test In een één-factor ANOVA zijn de vrijheidsgraden als volgt: * **Teller vrijheidsgraden ($df_1$):** Dit zijn de vrijheidsgraden van de variantie tussen de groepen, gelijk aan het aantal groepen minus 1: $$df_1 = k - 1$$ * **Noemer vrijheidsgraden ($df_2$):** Dit zijn de vrijheidsgraden van de variantie binnen de groepen (error), gelijk aan het totale aantal observaties minus het aantal groepen: $$df_2 = N - k$$ waarbij $N$ het totale aantal observaties is en $k$ het aantal groepen. De verdeling van de ANOVA F-statistiek onder de nulhypothese is dus een $F(k-1, N-k)$ verdeling. #### 3.3.3 Kritische waarde en beslissingsregel Om te bepalen of de verkregen F-statistiek significant is, wordt deze vergeleken met een kritieke F-waarde uit een F-verdelingstabel of berekend met software. De kritieke waarde hangt af van het gekozen significantieniveau ($\alpha$) en de vrijheidsgraden ($df_1, df_2$). * Als de berekende $F$-statistiek groter is dan de kritieke $F$-waarde, verwerpen we de nulhypothese ($H_0$). * Als de berekende $F$-statistiek kleiner is dan of gelijk is aan de kritieke $F$-waarde, behouden we de nulhypothese ($H_0$). $$F_{berekend} > F_{kritiek} \implies \text{Verwerp } H_0$$ > **Tip:** De $p$-waarde die statistische software rapporteert, is de kans om een F-statistiek te observeren die zo extreem of extremer is dan de berekende F-statistiek, aannemende dat de nulhypothese waar is. Als de $p$-waarde kleiner is dan het gekozen $\alpha$, verwerpen we de nulhypothese. ### 3.4 Voorwaarden voor ANOVA Om de resultaten van een één-factor ANOVA betrouwbaar te kunnen interpreteren, moeten aan de volgende voorwaarden worden voldaan: 1. **Onafhankelijke steekproeven:** De observaties binnen elke groep en tussen de groepen moeten onafhankelijk zijn. Dit betekent dat de meting bij één individu geen invloed mag hebben op de meting bij een ander individu. 2. **Normaliteit:** De populaties waaruit de steekproeven zijn getrokken, moeten normaal verdeeld zijn. Voor grotere steekproefgroottes is ANOVA redelijk robuust tegen schendingen van deze aanname. 3. **Homogeniteit van varianties (homoscedasticiteit):** De populaties waaruit de steekproeven zijn getrokken, moeten gelijke varianties hebben ($\sigma^2_1 = \sigma^2_2 = \dots = \sigma^2_k$). * **Vuistregel:** De resultaten van een ANOVA F-test zijn bij benadering correct als de verhouding van de grootste steekproefstandaarddeviatie tot de kleinste steekproefstandaarddeviatie niet groter is dan 2. * **Testen van homogeniteit van varianties:** Tests zoals de Bartlett-test of Levene-test kunnen worden gebruikt om deze aanname te controleren. Indien deze aanname geschonden wordt, kunnen aangepaste ANOVA-methoden of niet-parametrische toetsen (zoals de Welch ANOVA) worden gebruikt. > **Voorbeeld:** In een onderzoek naar de effectiviteit van drie verschillende leermethoden (Klassiek, DRTA, Strat) op leesvaardigheid, moeten de scores van de leerlingen binnen elke methode normaal verdeeld zijn en mag de spreiding (variantie) van de leesvaardigheidsscores ongeveer gelijk zijn voor de drie groepen. ### 3.5 De F-statistiek en de $t$-toets Voor het geval van twee groepen ($k=2$) is de F-statistiek in ANOVA nauw verwant aan de $t$-statistiek van een onafhankelijke $t$-toets. Als de steekproefgroottes gelijk zijn ($n_1 = n_2 = n$), dan geldt: $$F = t^2$$ Dit is logisch, aangezien een $t$-toets een verschil tussen twee gemiddelden onderzoekt, wat overeenkomt met het verwerpen van de nulhypothese in ANOVA wanneer er maar twee groepen zijn. ### 3.6 Gevolgen van een significante F-test Wanneer de omnibus ANOVA-test resulteert in een significante F-statistiek (wat leidt tot het verwerpen van $H_0$), weten we alleen dat *niet alle* populatiegemiddelden gelijk zijn. Het vertelt ons echter niet *welke* specifieke gemiddelden van elkaar verschillen. Om dit te achterhalen, zijn verdere post-hoc analyses nodig. #### 3.6.1 Meervoudige vergelijkingen (Post-hoc tests) Als de nulhypothese wordt verworpen, worden meervoudige vergelijkingstesten (post-hoc tests) gebruikt om paarsgewijze vergelijkingen tussen de groepsgemiddelden uit te voeren. Deze tests houden rekening met de herhaalde vergelijkingen om het totale Type I foutpercentage te controleren. Enkele veelgebruikte methoden zijn: * **LSD (Least Significant Difference):** Een reeks onafhankelijke $t$-toetsen zonder correctie voor meervoudige vergelijkingen. Dit wordt vaak te liberaal bevonden. * **Bonferroni-correctie:** Een strenge methode die het significantieniveau voor elke individuele test aanpast ($\alpha / \text{aantal paren}$) om het totale Type I foutpercentage te controleren. Dit kan leiden tot een verminderd onderscheidingsvermogen (power). * **Tukey's HSD (Honestly Significant Difference):** Een populaire test die het vergelijkt met de Studentized range verdeling en het experiment-wijde foutpercentage controleert. * **Scheffé-test:** Een conservatievere test die gebruikt kan worden voor alle mogelijke lineaire combinaties van groepsgemiddelden, niet alleen paarsgewijze vergelijkingen. #### 3.6.2 Contrasten Contrasten zijn specifiek geplande vergelijkingen die worden uitgevoerd wanneer er voorafgaand aan het onderzoek duidelijke wetenschappelijke hypothesen bestaan over verwachte verschillen tussen bepaalde groepen. Contrasten hebben vaak meer power dan algemene post-hoc tests omdat ze gerichter zijn. * Een contrast is een lineaire combinatie van populatiegemiddelden met coëfficiënten die optellen tot nul: $$\psi = a_1 \mu_1 + a_2 \mu_2 + \dots + a_k \mu_k, \quad \sum_{i=1}^k a_i = 0$$ * Het overeenkomstige steekproefcontrast is: $$c = a_1 \bar{x}_1 + a_2 \bar{x}_2 + \dots + a_k \bar{x}_k$$ * De standaardfout van $c$ wordt berekend met behulp van de Mean Square Error (MSE) en de steekproefgroottes. * Hypothesetoetsen voor contrasten maken gebruik van de $t$-statistiek met vrijheidsgraden gelijk aan de error vrijheidsgraden ($N-k$). > **Voorbeeld:** In een experiment met een placebo-groep en twee behandelgroepen (A en B), kan een gepland contrast zijn om de gemiddelde effectiviteit van de twee actieve behandelingen te vergelijken met de placebo. Bijvoorbeeld, als de groepen zijn gecodeerd als 1=Placebo, 2=Behandeling A, 3=Behandeling B, kan een contrast zijn: $\psi = -2\mu_1 + \mu_2 + \mu_3$. De steekproefcoëfficiënt zou dan zijn: $c = -2\bar{x}_1 + \bar{x}_2 + \bar{x}_3$. Als er geen duidelijke vooraf gespecificeerde hypothesen zijn, worden meervoudige vergelijkingstesten (zoals Tukey's HSD) aanbevolen in plaats van contrasten. Het is niet gepast om contrasten te bepalen op basis van verschillen die pas na dataverzameling worden vastgesteld. --- # Contrasten en meervoudige vergelijkingen in variantie-analyse Dit onderwerp behandelt de statistische methoden die worden gebruikt om specifieke groepsverschillen te onderzoeken na een significante uitkomst van een variantie-analyse (ANOVA). ### 4.1 De noodzaak voor post-hoc analyses Een significante uitkomst van een ANOVA (d.w.z. de nulhypothese dat alle populatiegemiddelden gelijk zijn wordt verworpen) indiceert dat er ten minste één paar groepsgemiddelden significant van elkaar verschilt. Echter, de ANOVA zelf identificeert niet *welke* specifieke groepen significant van elkaar verschillen. Om dit te achterhalen, zijn aanvullende analyses, bekend als contrasten en meervoudige vergelijkingstests, vereist. * **Probleem van herhaalde t-toetsen:** Het uitvoeren van meerdere paarsgewijze t-toetsen na een ANOVA leidt tot een verhoogde kans op een Type I fout (het ten onrechte verwerpen van de nulhypothese). Dit fenomeen wordt "capitalizing on chance" genoemd. Voor elke t-toets is er een kans $\alpha$ op een Type I fout. Bij $m$ vergelijkingen kan de kans op ten minste één Type I fout aanzienlijk toenemen, wat leidt tot onbetrouwbare conclusies. > **Tip:** ANOVA is een "omnibus" test die aangeeft *of* er een verschil is, maar niet *waar*. Voor specifieke groepsverschillen zijn post-hoc tests essentieel. ### 4.2 Contrasten Contrasten zijn vooraf gespecificeerde, wetenschappelijk gemotiveerde vergelijkingen tussen groepsgemiddelden. Ze worden gebruikt wanneer er *voorafgaand* aan de dataverzameling duidelijke hypothesen zijn over specifieke verschillen tussen groepen. * **Kenmerken van contrasten:** * **Geplande vergelijkingen:** Contrasten zijn geplande vergelijkingen die deel uitmaken van het onderzoeksdesign. * **Hoger onderscheidingsvermogen (power):** Vanwege hun specificiteit hebben contrasten een beter onderscheidingsvermogen dan meervoudige vergelijkingstests, waardoor ze beter in staat zijn om significante verschillen te detecteren. * **Statistische toetsing:** Contrasten kunnen worden getoetst met een t-test, en betrouwbaarheidsintervallen kunnen worden berekend. * **Onafhankelijkheid van ANOVA:** De resultaten van contrasten zijn geldig, ongeacht de uitkomst van de omnibus ANOVA-toets. * **Lineaire combinaties:** Een contrast is een lineaire combinatie van populatiegemiddelden $\mu_i$ met coëfficiënten $a_i$, zodanig dat $\sum a_i = 0$. $$ \psi_k = a_1 \mu_1 + a_2 \mu_2 + \dots + a_r \mu_r $$ waar $r$ het aantal groepen is. * **Hypothesetoetsing voor contrasten:** * **Nulhypothese:** $H_0: \psi_k = 0$ * **Steekproefcontrast:** Het overeenkomstige steekproefcontrast is: $$ c = a_1 \bar{y}_1 + a_2 \bar{y}_2 + \dots + a_r \bar{y}_r $$ waar $\bar{y}_i$ het steekproefgemiddelde is van groep $i$. * **Standaardfout van het contrast:** De standaardfout van $c$ wordt berekend met behulp van de gepoolde variantie ($MSE$): $$ SE_c = \sqrt{MSE \sum_{i=1}^r \frac{a_i^2}{n_i}} $$ waar $n_i$ de steekproefgrootte van groep $i$ is. * **Toetsingsgrootheid:** De t-statistiek wordt berekend als: $$ t = \frac{c}{SE_c} $$ met vrijheidsgraden $df = N - r$, waar $N$ het totale aantal waarnemingen is en $r$ het aantal groepen. * **Betrouwbaarheidsinterval:** Een niveau $C$ betrouwbaarheidsinterval voor het verschil $\psi_k$ is: $$ c \pm t_{crit} \cdot SE_c $$ waar $t_{crit}$ de kritieke waarde is die overeenkomt met de gewenste betrouwbaarheid en de vrijheidsgraden $df$. * **Voorbeeld van contrasten:** * Vergelijken van een klassieke methode met twee nieuwe methoden: $a = (-1, 0.5, 0.5)$. * Vergelijken van twee nieuwe methoden onderling: $a = (0, 1, -1)$. * **Contrasten in statistische software:** Verschillende statistische softwarepakketten, zoals R (met de `gmodels` library) en SPSS, bieden functionaliteit voor het uitvoeren van contrasten. Vaak moeten de coëfficiënten $a_i$ handmatig worden opgegeven. > **Tip:** Gebruik altijd de gepoolde variantie en bijbehorende vrijheidsgraden bij het berekenen van contrasten, aangezien dit een betere schatting van de populatievariantie oplevert. ### 4.3 Meervoudige vergelijkingstests (Post-hoc tests) Meervoudige vergelijkingstests worden gebruikt wanneer er *geen* vooraf gespecificeerde hypothesen zijn en men alle mogelijke paarsgewijze vergelijkingen tussen groepen wil onderzoeken na een significante ANOVA. Deze tests passen correcties toe om de kans op Type I fouten te beheersen. * **Basis:** Meervoudige vergelijkingstests zijn varianten van de tweesteekproeven t-test, gebaseerd op de gepoolde standaarddeviatie ($s_p$) en de gepoolde vrijheidsgraden ($df_E$). * **Doel:** Controle van de "family-wise error rate" (FWER), de kans op ten minste één Type I fout over alle uitgevoerde vergelijkingen. * **Methoden voor meervoudige vergelijkingen:** * **LSD-methode (Least Significant Differences):** * Voert paarsgewijze t-toetsen uit zonder aanpassing voor meervoudige vergelijkingen. * De kritieke waarde $t^*$ is de kritieke waarde voor $\alpha/2$ uit de t-verdeling met $df_E$ vrijheidsgraden. * **Probleem:** Verhoogt aanzienlijk de kans op Type I fouten bij veel vergelijkingen. * **Bonferroni-methode:** * Past de t-toets aan door de significantieniveaus aan te scherpen. * De $\alpha$ voor elke individuele toets wordt ingesteld op $\alpha/m$, waarbij $m$ het aantal paarsgewijze vergelijkingen is. * De kritieke waarde $t^*$ is gebaseerd op deze aangepaste $\alpha$. * **Voordeel:** Controleert de FWER. * **Nadeel:** Kan conservatief zijn, wat leidt tot een lager onderscheidingsvermogen (meer Type II fouten). * **Tukey's Honestly Significant Difference (HSD):** * Gebruikt de Studentized range statistic om alle paarsgewijze vergelijkingen te maken. * Houdt de FWER op het niveau $\alpha$ voor de gehele reeks van paarsgewijze vergelijkingen. * Zeer geschikt voor gelijke steekproefgroottes. * **Andere methoden (beschikbaar in SPSS/R):** * **Sidak:** Vergelijkbaar met Bonferroni, maar iets minder conservatief. * **Scheffé:** Kan gebruikt worden voor alle mogelijke lineaire combinaties van groepsgemiddelden, niet alleen paarsgewijze vergelijkingen. Gebruikt de F-verdeling. * **R-E-G-W F/Q (Ryan-Einot-Gabriel-Welsch):** Stepdown procedures gebaseerd op F of Studentized range. * **S-N-K (Student-Newman-Keuls):** Gebruikt de Studentized range, maar is minder conservatief dan Tukey's HSD. * **Duncan:** Gebruikt de Studentized range, maar is nog minder conservatief. * **Hochberg's GT2:** Gebruikt de Studentized maximum modulus. * **Gabriel:** Kan krachtiger zijn dan Hochberg's GT2 bij ongelijke celgroottes. * **Waller-Duncan:** Een Bayesiaanse benadering. * **Dunnett:** Specifiek voor het vergelijken van meerdere behandelgroepen met één controlegroep. * **Vergelijkingen bij ongelijke varianties:** Wanneer de aanname van gelijke varianties (homogeniteit van varianties) geschonden is, zijn specifieke post-hoc tests aangewezen: * **Tamhane's T2:** Conservatieve t-test gebaseerd. * **Dunnett's T3:** Gebaseerd op de Studentized maximum modulus. * **Games-Howell:** Een pairwise vergelijkingstest die soms liberaler is. * **Dunnett's C:** Gebaseerd op de Studentized range. * **Post-hoc tests in statistische software:** SPSS biedt een uitgebreid menu voor "Post Hoc tests" waarbij verschillende methoden geselecteerd kunnen worden, inclusief opties voor gelijkheid van varianties. In R kan `TukeyHSD(model)` gebruikt worden voor Tukey's HSD, en `pairwise.t.test()` biedt flexibiliteit voor verschillende p-adjuncties (correcties). > **Tip:** Bij het interpreteren van post-hoc tests is het cruciaal om te weten welke methode is gebruikt, aangezien dit de significantiedrempel en de kans op fouten beïnvloedt. ### 4.4 Toepassing: Gepercipieerde moeilijkheid van oefeningen Een voorbeeld scenario betreft de gepercipieerde moeilijkheid van wiskundeoefeningen, waarbij studenten aan verschillende groepen (simpel, matig, moeilijk) werden toegewezen. Na een significante ANOVA, zou men post-hoc tests kunnen toepassen om te bepalen welke suggesties van moeilijkheid leidden tot significant verschillende percepties. * **Contrasten:** Men zou vooraf kunnen hypothesen formuleren zoals: 1. Is de perceptie van de 'moeilijk' groep significant verschillend van het gemiddelde van de 'simpel' en 'matig' groepen? ($a = (-1, 0.5, 0.5)$). 2. Verschilt de 'simpel' groep significant van de 'matig' groep? ($a = (1, -1, 0)$). * **Meervoudige vergelijkingen:** Indien er geen vooraf bepaalde hypothesen zijn, kunnen paarsgewijze vergelijkingen met bijvoorbeeld Tukey's HSD worden uitgevoerd om alle mogelijke paren te vergelijken: (simpel vs. matig), (simpel vs. moeilijk), en (matig vs. moeilijk). > **Voorbeeld:** Stel dat de gemiddelde scores voor gepercipieerde moeilijkheid zijn: Simpel (gem. 8.2), Matig (gem. 7.0), Moeilijk (gem. 2.8). Een ANOVA zou kunnen aantonen dat er significante verschillen zijn. Een post-hoc test zou vervolgens kunnen onthullen dat de 'Moeilijk' groep significant lager scoort dan zowel de 'Simpel' als de 'Matig' groepen, terwijl het verschil tussen 'Simpel' en 'Matig' mogelijk niet significant is. ### 4.5 Voorwaarden voor ANOVA en post-hoc analyses De geldigheid van zowel de ANOVA als de daaropvolgende contrasten en meervoudige vergelijkingstests is afhankelijk van bepaalde aannames: 1. **Onafhankelijke steekproeven:** De steekproeven uit de verschillende populaties of condities moeten onafhankelijk zijn. 2. **Normaliteit:** De responsvariabele moet in elke populatie (of groep) normaal verdeeld zijn. 3. **Homogeniteit van varianties (homoscedasticiteit):** De populaties moeten dezelfde onbekende standaarddeviatie $\sigma$ hebben. Een vuistregel is dat de verhouding van de grootste tot de kleinste steekproefstandaarddeviatie niet groter mag zijn dan 2. * Tests voor homogeniteit van varianties zijn onder andere de Bartlett's test of Levene's test. * Bij schending van deze aanname moeten specifieke post-hoc tests worden gebruikt die hier rekening mee houden (zie sectie 4.3). > **Tip:** Controleer altijd de aannames van de ANOVA voordat u interpretaties van contrasten of meervoudige vergelijkingen doet. Schending van aannames kan leiden tot ongeldige resultaten. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Eén-factor variantie-analyse | Een statistische techniek die wordt gebruikt om de gemiddelden van drie of meer groepen te vergelijken door de variatie tussen de groepen te vergelijken met de variatie binnen de groepen. | | Nulhypothese (H0) | Een stelling die stelt dat er geen statistisch significant verschil is tussen de gemiddelden van de populaties die worden vergeleken in een analyse. | | Alternatieve hypothese (HA) | Een stelling die stelt dat er wel een statistisch significant verschil is tussen de gemiddelden van de populaties die worden vergeleken, wat aangeeft dat ten minste één gemiddelde significant verschilt van de andere. | | Paarsgewijze t-toetsen | Statistische toetsen die worden gebruikt om de gemiddelden van twee groepen te vergelijken. Het herhaaldelijk uitvoeren van deze toetsen kan leiden tot een verhoogd risico op een Type I fout. | | Capitalizing on chance | Het fenomeen waarbij door herhaaldelijke toetsingen, zelfs bij afwezigheid van echte effecten, significantie wordt gevonden, wat leidt tot valse positieven. | | Boxplot (Doosdiagram) | Een grafische weergave van de spreiding van data die de mediaan, kwartielen en uitschieters toont. Hoewel nuttig voor datavisualisatie, vergelijkt ANOVA gemiddelden in plaats van medianen. | | Lijndiagram | Een grafische weergave die de trend van data over tijd of verschillende categorieën toont, vaak gebruikt om gemiddelden van groepen te visualiseren. | | Variabliteit | De mate waarin gegevenspunten of waarden afwijken van het gemiddelde. In ANOVA wordt zowel de variatie tussen groepen als binnen groepen geëvalueerd. | | Onafhankelijke Enkelvoudige Aselecte Steekproeven | Een methode van steekproeftrekking waarbij elke populatie een gelijke kans heeft om geselecteerd te worden en de selectie van de ene populatie geen invloed heeft op de selectie van een andere. | | Homogeniteit van varianties | De aanname dat de varianties van de populaties waaruit de steekproeven zijn getrokken, gelijk zijn. Tests zoals de Bartlett-test of Levene-test worden gebruikt om deze aanname te controleren. | | ANOVA-model | Een wiskundig model dat een waarneming beschrijft als een som van een modelterm (die de groepsgemiddelden vertegenwoordigt) en een residu (die de resterende, onverklaarde variatie vertegenwoordigt). | | Parameters | De waarden in een statistisch model die de populatiekarakteristieken vertegenwoordigen, zoals populatiegemiddelden (µ) en standaarddeviaties (σ). | | Schatters | Statistieken berekend uit steekproefdata die worden gebruikt om populatieparameters te benaderen, zoals steekproefgemiddelden en steekproefstandaarddeviaties. | | F-statistiek | De statistiek die wordt berekend in een ANOVA-test, die de ratio van de variantie tussen groepen tot de variantie binnen groepen weergeeft. Een hogere F-waarde suggereert significantie. | | Vrijheidsgraden (df) | Het aantal waarden in een berekening dat vrij kan variëren. In ANOVA worden vrijheidsgraden gebruikt voor de teller (tussen groepen) en de noemer (binnen groepen) van de F-statistiek. | | F-verdeling | Een continue kansverdeling die voornamelijk wordt gebruikt in hypothesetoetsing. Het is een familie van rechts-scheve verdelingen, gedefinieerd door twee parameters: vrijheidsgraden voor de teller en de noemer. | | Verklaarde variantie | Het deel van de totale variantie in de afhankelijke variabele dat wordt verklaard door de onafhankelijke variabele(n) in het model. Gerelateerd aan de determinatiecoëfficiënt in regressie. | | Contrasten | Specifiek geplande vergelijkingen van populatiegemiddelden, vaak met specifieke hypotheses, die een beter onderscheidend vermogen (power) kunnen hebben dan algemene meervoudige vergelijkingen. | | Meervoudige vergelijkingen | Statistische procedures die worden toegepast wanneer er meer dan twee groepen zijn om de kans op een Type I fout te beheersen bij het uitvoeren van meerdere paarsgewijze vergelijkingen. Voorbeelden zijn LSD, Bonferroni en Tukey. | | LSD-methode (Least Significant Differences) | Een methode voor meervoudige vergelijkingen die paarsgewijze t-toetsen gebruikt zonder aanpassing van het alfarasico voor meervoudige toetsingen, wat leidt tot een verhoogd Type I foutrisico. | | Bonferroni-methode | Een conservatieve methode voor meervoudige vergelijkingen waarbij de alpha voor elke individuele toets wordt aangepast om het totale Type I foutrisico voor alle vergelijkingen te beperken. | | Tukey's HSD (Honestly Significant Difference) | Een methode voor meervoudige vergelijkingen die de Studentized range statistic gebruikt om alle paarsgewijze vergelijkingen tussen groepen uit te voeren en het experimentwise error rate controleert. | | Post Hoc tests | Tests die worden uitgevoerd na een significante ANOVA-uitkomst om te bepalen welke specifieke groepsgemiddelden significant van elkaar verschillen. |

# Inleiding tot statistiek en studie-informatie Dit document introduceert de cursus Statistiek III, de docenten en assistenten, en de praktische organisatie van de cursus, inclusief studiefiche wijzigingen, evaluatiecriteria en inschrijvingsprocedures voor werkplekonderwijs (WPO's), met een terugblik op voorkennis uit Statistiek I en II. ## 1. Inleiding tot statistiek en studie-informatie ### 1.1 Cursusoverzicht en personeel De cursus Statistiek III behandelt univariate data-analyse. De cursus wordt gegeven door professor Peter Theuns en ondersteund door assistenten Alain Isaac, Alyson Staels en Jeroen Frans. #### 1.1.1 Contactgegevens en kantooruren * **Professor Peter Theuns:** * E-mail: Peter.Theuns@vub.be * Kantoor: C3.45 * Telefoon: +322 6292056 * Kantooruren: op afspraak via e-mail * **Assistent Alain Isaac:** * E-mail: Alain.Isaac@vub.be * Kantoor: C3.19 * Kantooruren: op afspraak via e-mail * **Assistent Alyson Staels:** * E-mail: Alyson.Staels@vub.be * Kantoor: C3.12 * Kantooruren: op afspraak via e-mail * **Assistent Jeroen Frans:** * E-mail: Jeroen.Frans@vub.be * Kantoor: C3.19 * Kantooruren: op afspraak via e-mail ### 1.2 Wijzigingen studiefiche en evaluatiecriteria De beoordeling van de cursus bestaat uit één onderdeel: een schriftelijk examen dat 100% van het eindcijfer bepaalt. Dit examen omvat theorie, oefeningen en software-toepassingen. ### 1.3 Werkplekonderwijs (WPO's) #### 1.3.1 Inschrijven voor WPO-groepen Inschrijven voor een WPO-groep is mogelijk vanaf vrijdag 26 september om 12 uur in CANVAS. Studenten kunnen zichzelf inschrijven in een groep naar keuze, maar dienen de doelgroep te respecteren vanwege mogelijke rooster-overlaps. De WPO's starten vanaf week 3 (29/09 – 03/10). #### 1.3.2 Groepsindeling WPO's Er zijn verschillende groepen voor WPO's, elk met een specifieke doelgroep: * **Groep 1:** Werk-, reguliere en schakelstudenten. * **Groep 2:** Enkel schakelstudenten. * **Groep 3:** Momenteel geen inschrijving mogelijk. * **Groep 4:** Schakel- (en reguliere) studenten (reserve indien andere groepen volzet zijn). * **Groep 5-8:** Reguliere studenten. #### 1.3.3 Praktische richtlijnen voor WPO's * Gebruik eenvoudige wetenschappelijke rekenmachines (maximaal 30 euro). Gebruik geen mobiele telefoons of tablets. * WPO-lesopnames zijn geen vervanging voor live lessen. #### 1.3.4 Vragen stellen * **Inhoudelijke vragen** (bv. over oefeningen) kunnen gesteld worden via het discussieplatform op CANVAS. * **Praktische vragen** (bv. over lesrooster) en **persoonlijke vragen** (bv. over ziekte of studietraject) kunnen per e-mail aan het statistiekteam gestuurd worden (altijd het hele team in CC zetten). * Tijdens het hoorcollege (HOC) of WPO kunnen vragen gesteld worden aan professor Theuns of de begeleidende assistent. * Vragen worden opgevolgd tot het einde van de lessenreeks, met een finale Q&A tijdens de blokperiode. #### 1.3.5 Voorbereiding WPO 1 Bereid WPO 1 goed voor, aangezien deze les een herhaling is van de z-toets en de oefeningen 1, 2 en 3 behandelt. ### 1.4 Terugblik op voorkennis: Statistiek I en II #### 1.4.1 Statistiek I: Univariate data-analyse Statistiek I omvatte: * **Meetschalen:** Begrijpen van verschillende niveaus van meten. * **Beschrijvende Statistiek:** * **Ordeningstechnieken:** Tabellen en figuren voor het organiseren van data. * **Reductietechnieken:** Statistische grootheden zoals positie, spreiding en vorm (bv. gemiddelde, standaarddeviatie, scheefheid). * **Associatietechnieken:** Spreidingsdiagrammen, contingentietabellen en correlatie voor het analyseren van relaties tussen variabelen. #### 1.4.2 Statistiek II: Kansrekening en inferentiële statistiek Statistiek II omvatte: * **Kansrekening:** De studie van het toeval. * **Steekproevenverdelingen (Sampling distributions):** De verdeling van een statistiek (bv. gemiddelde) berekend uit herhaalde steekproeven. * **Inleiding tot inferentie:** * Betrouwbaarheidsintervallen: Schatting van populatieparameters. * Overschrijdingskans (p-waarde): De kans op het observeren van data minstens zo extreem als de waargenomen data, onder de aanname dat de nulhypothese waar is. * Significantietoetsen: Het testen van hypothesen over populatieparameters. * **Inductieve technieken:** Het generaliseren van steekproefresultaten naar de populatie. ### 1.5 Steekproevenverdelingen van het steekproefgemiddelde #### 1.5.1 Verwachting en standaarddeviatie van steekproefgemiddelden Voor steekproeven uit een populatie met gemiddelde $\mu$ en standaarddeviatie $\sigma$: * De verwachting van het steekproefgemiddelde $\bar{X}$ is gelijk aan het populatiegemiddelde: $E(\bar{X}) = \mu$. * De standaarddeviatie van het steekproefgemiddelde (ook wel standaardfout genoemd) is $\sigma_{\bar{X}} = \frac{\sigma}{\sqrt{n}}$, waarbij $n$ de steekproefgrootte is. #### 1.5.2 Centrale Limietstelling (CLT) * **Stelling:** Wanneer men herhaaldelijk toevallige steekproeven met grootte $n$ trekt uit een populatie met gemiddelde $\mu$ en standaarddeviatie $\sigma$: * Als de populatie **normaal verdeeld** is, dan is de steekproevenverdeling van de steekproefgemiddelden normaal verdeeld met gemiddelde $\mu$ en standaardafwijking $\frac{\sigma}{\sqrt{n}}$. * Als de populatie **willekeurig verdeeld** is, dan benadert de steekproevenverdeling van de steekproefgemiddelden een normaalverdeling, mits $n$ voldoende groot is (vuistregel: $n \ge 30$). De steekproevenverdeling is dan gecentreerd rond $\mu$ en heeft een standaardafwijking van $\frac{\sigma}{\sqrt{n}}$. > **Tip:** De Centrale Limietstelling is cruciaal voor inferentiële statistiek, omdat het ons toestaat om met behulp van de normaalverdeling uitspraken te doen over populatiegemiddelden, zelfs als de populatieverdeling onbekend of niet-normaal is, mits de steekproefgrootte voldoende groot is. #### 1.5.3 Intuïtie voor intervalschatten (voorbeeld SAT) Een voorbeeld met de Scholastic Aptitude Test (SAT) illustreert het concept van betrouwbaarheidsintervallen, gebaseerd op de steekproevenverdeling van het gemiddelde. Als een steekproefgemiddelde van de SAT-math sectie bijvoorbeeld 461 is, en we weten dat de standaardfout van het gemiddelde (gebaseerd op de standaarddeviatie van de populatie en de steekproefgrootte) ongeveer 4.5 is, dan impliceert de 68-95-99.7-regel dat 95% van de steekproefgemiddelden binnen 2 standaardfouten van het populatiegemiddelde $\mu$ ligt. Dit betekent dat het populatiegemiddelde met 95% betrouwbaarheid binnen een interval van $\pm 2 \times 4.5 = 9$ punten van het steekproefgemiddelde ligt. Dus, we kunnen zeggen met 95% betrouwbaarheid dat het populatiegemiddelde van de SAT-scores tussen $461-9$ en $461+9$ ligt. ### 1.6 Hypothesetoetsen #### 1.6.1 z-toets voor onafhankelijke steekproeven De z-toets voor onafhankelijke steekproeven wordt gebruikt om de gemiddelden van twee populaties te vergelijken. * **Voorbeeld:** Vergelijken van gemiddelden van "gewone studenten" en "slimmeriken". * Onder de nulhypothese ($H_0$) wordt aangenomen dat de gemiddelden van de twee populaties gelijk zijn ($\mu_1 = \mu_2$). * De steekproevenverdeling van het verschil tussen de gemiddelden ($\bar{X}_1 - \bar{X}_2$) wordt beschouwd. * Als de waargenomen steekproefverschillen groot zijn (bv. 39 punten), en de nulhypothese zou gelden, dan is de kans op zo'n groot verschil klein (lage p-waarde). * De z-score wordt berekend als: $$z = \frac{(\bar{X}_1 - \bar{X}_2) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}}$$ Onder de nulhypothese $\mu_1 - \mu_2 = 0$. Als de standaarddeviaties van de populaties bekend zijn (of geschat worden met de populatiestandaarddeviatie $\sigma$), kan de z-score berekend worden. * In het voorbeeld, met een verschil van 39 en een berekende standaardfout van het verschil, kan een z-score van 8.72 worden verkregen, wat resulteert in een p-waarde van minder dan 0.001. #### 1.6.2 Significantietoets in 4 stappen 1. **Formuleer de nul- en de alternatieve hypothesen ($H_0$ en $H_a$).** 2. **Bepaal de waarde van de toetsingsgrootheid** (bv. z-score). 3. **Bepaal de overschrijdingskans (p-waarde) voor de toetsingsgrootheid** (theoretisch of via resampling). 4. **Formuleer de conclusie in APA-stijl.** > **Voorbeeld Conclusie APA-stijl:** Gewone studenten behalen gemiddeld (gem=461) significant lagere scores dan slimmerikken (gem=500), $z=8.72$; $p<.001$. #### 1.6.3 Onderscheidingsvermogen (Power) * **Definitie:** Het onderscheidingsvermogen (power) is de kans om een ware nulhypothese ($H_0$) correct te verwerpen wanneer de alternatieve hypothese ($H_a$) waar is. Het is de kans op het detecteren van een effect als dat effect daadwerkelijk bestaat. * **Type I fout (alfa $\alpha$):** De kans om $H_0$ te verwerpen terwijl deze correct is (onjuist verwerpen). Dit wordt bepaald door het significantieniveau van de test. * **Type II fout (bèta $\beta$):** De kans om $H_0$ niet te verwerpen terwijl deze vals is (onjuist niet verwerpen). * **Power = 1 - $\beta$:** De kans om $H_0$ correct te verwerpen. > **Tip:** Een hoger onderscheidingsvermogen is wenselijk omdat het de kans vergroot om werkelijke effecten te detecteren. Factoren die het onderscheidingsvermogen verhogen zijn een grotere steekproefgrootte ($n$), een groter effect (verschil tussen groepen) en een kleiner significantieniveau ($\alpha$). #### 1.6.4 Voorbeeld: Onderscheidingsvermogen bij een z-toets (brildragers) * **Context:** Een onderzoek naar oogbewegingen waarbij de afwijking tussen de werkelijke positie van een vlekje en de aangeklikte positie wordt gemeten. * **Populatiegegevens (niet-brildragers):** Normaal verdeeld met $\mu = 0$ cm en $\sigma = 0.5$ cm. * **Hypothese:** Onderzoekers vermoeden dat brildragers een systematische fout maken van + 2 mm (0.2 cm), wat leidt tot een gemiddelde afwijking van 0.2 cm. Indien de gemiddelde afwijking van brildragers 3 mm (0.3 cm) of meer bedraagt, zouden hun data als onbruikbaar worden beschouwd en zouden ze uitgesloten worden. * **Onderzoek met 35 brildragers:** * **Nulhypothese ($H_0$):** Brildragers hebben geen grotere afwijking dan niet-brildragers ($\mu_{brildragers} \le 0$). * **Alternatieve hypothese ($H_a$):** Brildragers hebben een grotere afwijking ($\mu_{brildragers} > 0$). * Er wordt een significantieniveau $\alpha$ gekozen. * **Kritieke waarde:** De kritieke waarde voor het steekproefgemiddelde onder $H_0$ wordt bepaald. Als de gemiddelde afwijking in een steekproef van 35 brildragers groter is dan deze kritieke waarde, wordt $H_0$ verworpen. * In het gegeven voorbeeld is de kritieke waarde voor de gemiddelde afwijking in een steekproef met $N=35$ (onder $H_0$) $0.1386$ cm. * De onderzochte steekproef van 35 brildragers levert een gemiddelde afwijking van 0.12 cm op. Aangezien $0.12 < 0.1386$, is de z-toets "niet significant" en wordt $H_0$ niet verworpen. Dit betekent dat, op basis van deze steekproef, er geen statistisch significant bewijs is dat brildragers een grotere afwijking hebben dan niet-brildragers. * **Berekening van Onderscheidingsvermogen:** * Stel dat de *echte* gemiddelde afwijking van brildragers 3 mm (0.3 cm) zou zijn. * Het onderscheidingsvermogen is de kans om deze afwijking te detecteren. Dit is de kans dat het steekproefgemiddelde groter is dan de kritieke waarde ($0.1386$) onder de aanname dat het ware gemiddelde $0.3$ cm is. * $P(\bar{X} > 0.1386 \mid \mu = 0.3) = P(Z > \frac{0.1386 - 0.3}{0.5 / \sqrt{35}}) \approx P(Z > -1.91) \approx 0.9719$. * Dit betekent dat als het echte gemiddelde verschil 0.3 cm is, er een 97.19% kans is dat de toets significant zal zijn (dus $H_0$ correct wordt verworpen). > **Voorbeeld:** Als het echte verschil (gemiddelde afwijking bij brildragers) 3 mm bedraagt, dan zal dit verschil in 97% van de steekproeven gedetecteerd worden als significant, waardoor brildragers correct uitgesloten zouden worden. Dit toont een hoog onderscheidingsvermogen. #### 1.6.5 Beslissingsfouten en overzicht | | $H_0$ is waar | $H_0$ is vals ( $H_a$ is waar) | | :--------------------- | :------------------------- | :---------------------------- | | **$H_0$ niet verwerpen** | Correct niet verwerpen (1-$\alpha$) | Type II fout ($\beta$) | | **$H_0$ verwerpen** | Type I fout ($\alpha$) | Correct verwerpen (Power, 1-$\beta$) | * **Onderscheidingsvermogen en $\alpha$:** Een kleiner $\alpha$ (strenger significantieniveau) verlaagt de kans op een Type I fout, maar verhoogt de kans op een Type II fout en verlaagt dus het onderscheidingsvermogen. * **Onderscheidingsvermogen en $n$ & $\sigma$:** Een grotere steekproefgrootte ($n$) en een kleinere populatiestandaarddeviatie ($\sigma$) verhogen het onderscheidingsvermogen. * **Onderscheidingsvermogen en $\mu_0$ vs $\mu_A$:** Hoe groter het verschil tussen de nulhypothese gemiddelde ($\mu_0$) en het alternatieve hypothese gemiddelde ($\mu_A$), hoe groter het onderscheidingsvermogen. --- # Steekproevenverdelingen en centrale limietstelling Dit onderwerp introduceert het concept van steekproevenverdelingen, met een specifieke focus op de verdeling van het steekproefgemiddelde, en legt de centrale limietstelling uit. ### 2.1 Steekproevenverdelingen van het steekproefgemiddelde Een steekproevenverdeling beschrijft de verdeling van een statistiek (zoals het gemiddelde) verkregen uit meerdere steekproeven van dezelfde grootte uit een populatie. Voor opeenvolgende enkelvoudige aselecte steekproeven (SRS) uit een populatie, is de steekproevenverdeling van het steekproefgemiddelde ($\bar{x}$) gecentreerd rond het populatiegemiddelde ($\mu$). De spreiding van de steekproevenverdeling is echter kleiner dan de spreiding van de populatieverdeling. #### 2.1.1 Verwachting en standaarddeviatie van steekproefgemiddelden De verwachting van het steekproefgemiddelde is gelijk aan het populatiegemiddelde: $$ E(\bar{x}) = \mu $$ De standaarddeviatie van het steekproefgemiddelde, ook wel de standaardfout van het gemiddelde genoemd, wordt gegeven door: $$ SE(\bar{x}) = \frac{\sigma}{\sqrt{n}} $$ waarbij $\sigma$ de standaardafwijking van de populatie is en $n$ de steekproefgrootte. #### 2.1.2 Steekproevenverdeling van een steekproefgemiddelde De steekproevenverdeling van het steekproefgemiddelde beschrijft hoe de gemiddelden van verschillende steekproeven van grootte $n$ uit een populatie zich verdelen. Deze verdeling is essentieel voor het maken van inferenties over het populatiegemiddelde. ### 2.2 Centrale limietstelling De centrale limietstelling (CLT) is een fundamenteel resultaat in de statistiek dat stelt dat, onder bepaalde voorwaarden, de steekproevenverdeling van het steekproefgemiddelde convergeert naar een normale verdeling, ongeacht de oorspronkelijke verdeling van de populatie. #### 2.2.1 Stelling voor normaal verdeelde populaties Wanneer men herhaaldelijk toevallige steekproeven met grootte $n$ trekt uit een normaal verdeelde populatie met gemiddelde $\mu$ en standaardafwijking $\sigma$, dan is de steekproevenverdeling van de steekproefgemiddelden ook normaal verdeeld met gemiddelde $\mu$ en standaardafwijking $\frac{\sigma}{\sqrt{n}}$. #### 2.2.2 Stelling voor willekeurig verdeelde populaties Wanneer men herhaaldelijk toevallige steekproeven met grootte $n$ trekt uit een willekeurig verdeelde populatie met gemiddelde $\mu$ en standaardafwijking $\sigma$, en indien $n$ voldoende groot is (vuistregel: $n \ge 30$), dan benadert de steekproevenverdeling van de steekproefgemiddelden een normale verdeling met gemiddelde $\mu$ en standaardafwijking $\frac{\sigma}{\sqrt{n}}$. > **Tip:** De centrale limietstelling is cruciaal omdat het ons in staat stelt normale verdelingseigenschappen te gebruiken voor inferentie, zelfs wanneer de populatie niet normaal verdeeld is, mits de steekproefgrootte voldoende groot is. ### 2.3 Illustratie: Scholastic Aptitude Test (SAT) De Scholastic Aptitude Test (SAT) wordt gebruikt als voorbeeld om het concept van steekproevenverdelingen en betrouwbaarheidsintervallen te illustreren. De SAT-math sectie heeft een populatiegemiddelde ($\mu$) van 500 en een standaardafwijking ($\sigma$) van 100. Stel, we trekken een steekproef van 50 studenten en vinden een gemiddelde score van 461. De standaardfout van het gemiddelde is $\frac{\sigma}{\sqrt{n}} = \frac{100}{\sqrt{50}} \approx 14.14$. Volgens de 68-95-99.7-regel van de normale verdeling, ligt ongeveer 95% van de steekproefgemiddelden binnen 2 standaardfouten van het populatiegemiddelde. In dit geval is 2 standaardfouten $2 \times 14.14 \approx 28.28$. Als we uitgaan van een populatiegemiddelde van 500, dan ligt 95% van de steekproefgemiddelden tussen $500 - 28.28 = 471.72$ en $500 + 28.28 = 528.28$. Omgekeerd, met een steekproefgemiddelde van 461, kunnen we met 95% betrouwbaarheid stellen dat het populatiegemiddelde $\mu$ ligt tussen $461 - 28.28 = 432.72$ en $461 + 28.28 = 489.28$. > **Voorbeeld:** Als 95% van de steekproefgemiddelden niet verder dan $2 \times SE$ van $\mu$ ligt, betekent dit dat in 95% van alle mogelijke steekproeven, het populatiegemiddelde $\mu$ niet meer dan $2 \times SE$ onder of boven het waargenomen steekproefgemiddelde ligt. Dit vormt de basis voor het constructie van betrouwbaarheidsintervallen. Een betrouwbaarheidsinterval van 95% voor het SAT-voorbeeld, gebaseerd op een steekproefgemiddelde van 461, zou dan liggen tussen 432.72 en 489.28. Echter, de documentatie suggereert een bereik van 461-9 tot 461+9 wat duidt op een kleinere standaarddeviatie in hun specifieke steekproef of populatiegegevens. De 68-95-99.7-regel wordt hier toegepast om te illustreren dat extreme steekproefgemiddelden relatief zeldzaam zijn. Een steekproefgemiddelde dat meer dan 2 standaardfouten afwijkt van $\mu$ is ongebruikelijk. Dit intuïtieve begrip helpt bij het interpreteren van de uitkomsten van significantietoetsen. ### 2.4 Inferentie: Betrouwbaarheidsintervallen en Significantietoetsen Steekproevenverdelingen vormen de theoretische basis voor inferentiële statistiek, waaronder betrouwbaarheidsintervallen en significantietoetsen. #### 2.4.1 Betrouwbaarheidsintervallen Betrouwbaarheidsintervallen worden gebruikt om een reeks waarden te construeren waarvan men met een bepaalde mate van betrouwbaarheid kan zeggen dat het werkelijke populatieparameter (zoals $\mu$) erin ligt. De breedte van het betrouwbaarheidsinterval wordt beïnvloed door de standaardfout en het gewenste betrouwbaarheidsniveau. #### 2.4.2 Significantietoetsen Significantietoetsen, zoals de z-toets, gebruiken de steekproevenverdeling om te beoordelen of waargenomen verschillen of effecten waarschijnlijk toeval zijn of een werkelijk effect in de populatie weerspiegelen. ##### 2.4.2.1 Z-toets voor onafhankelijke steekproeven Deze toets wordt gebruikt om gemiddelden van twee onafhankelijke populaties te vergelijken. De steekproevenverdeling van het verschil tussen twee steekproefgemiddelden is hierbij centraal. * **Nulhypothese ($H_0$):** Er is geen verschil tussen de populatiegemiddelden ($\mu_1 = \mu_2$ of $\mu_1 - \mu_2 = 0$). * **Alternatieve hypothese ($H_a$):** Er is een verschil tussen de populatiegemiddelden ($\mu_1 \neq \mu_2$ of $\mu_1 - \mu_2 \neq 0$). De toetsingsgrootheid is de z-score, die aangeeft hoeveel standaardfouten het waargenomen verschil tussen de steekproefgemiddelden afwijkt van nul. $$ z = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}} $$ Wanneer de nulhypothese waar is, wordt de noemer $\sqrt{\frac{\sigma^2}{n} + \frac{\sigma^2}{n}}$ berekend onder de aanname dat $\mu_1 = \mu_2$ en $\sigma_1 = \sigma_2 = \sigma$. > **Voorbeeld:** Als gewone studenten een gemiddelde score van 461 hebben en 'slimmeriken' een gemiddelde score van 500, met een populatiestandaarddeviatie van 100 en steekproefgroottes van 500, dan is het verschil in gemiddelden 39. De z-score wordt dan berekend als $\frac{461 - 500}{\sqrt{\frac{100^2}{500} + \frac{100^2}{500}}} = \frac{-39}{\sqrt{40}} \approx -6.17$. Een dergelijke grote afwijking, resulterend in een kleine p-waarde, leidt tot het verwerpen van de nulhypothese. ##### 2.4.2.2 Significantietoets in vier stappen 1. **Formuleer hypothesen:** Bepaal de nul- en alternatieve hypothesen. 2. **Bepaal toetsingsgrootheid:** Bereken de waarde van de gekozen toetsingsgrootheid (bv. z-score). 3. **Bepaal overschrijdingskans (p-waarde):** Vind de kans om een resultaat te verkrijgen dat minstens zo extreem is als het waargenomen resultaat, onder aanname dat de nulhypothese waar is. 4. **Formuleer conclusie:** Verwerp of behoud de nulhypothese op basis van de p-waarde en het significantieniveau ($\alpha$). ##### 2.4.2.3 Conclusie in APA-stijl De conclusie van een significantietoets wordt typisch geformuleerd volgens APA-richtlijnen, inclusief de toetsingsgrootheid, de p-waarde en de interpretatie van de bevindingen. > **Voorbeeld:** "Gewone studenten behalen gemiddeld (gem=461) significant lagere scores dan slimmeriken (gem=500), $z=8.72$; $p<.001$." (Let op: de z-score en p-waarde in dit voorbeeld wijken af van de berekening hierboven; dit illustreert de formaat.) ### 2.5 Onderscheidingsvermogen (Power) Onderscheidingsvermogen, of power, is de kans dat een significantietoets de nulhypothese correct verwerpt wanneer de alternatieve hypothese waar is. Het is de kans om een werkelijk bestaand effect te detecteren. #### 2.5.1 Conclusies gebaseerd op een significantietoets Significantietoetsen kunnen leiden tot twee soorten fouten: * **Type I fout ( $\alpha$ ):** Het onterecht verwerpen van de nulhypothese (vals positief). $\alpha$ is het significantieniveau van de test. * **Type II fout ( $\beta$ ):** Het onterecht niet verwerpen van de nulhypothese (vals negatief). Het onderscheidingsvermogen is gelijk aan $1 - \beta$. #### 2.5.2 Onderscheidingsvermogen (Power) berekenen Het berekenen van het onderscheidingsvermogen vereist het specificeren van een concrete waarde voor de alternatieve hypothese. 1. **Bepaal de kritieke waarde:** Vind de grens waarboven een resultaat significant is onder de nulhypothese ($H_0$). 2. **Bereken de z-score van de kritieke waarde onder de alternatieve hypothese ($H_a$):** Evalueer hoe waarschijnlijk het is om de kritieke waarde te overschrijden als de alternatieve hypothese waar is. 3. **Onderscheidingsvermogen = Overschrijdingskans onder $H_a$:** Dit is de kans dat de toets de nulhypothese zal verwerpen wanneer de alternatieve waarde correct is. > **Voorbeeld:** Bij een aandachtsproef met brildragers, wordt onderzocht of hun gemiddelde afwijking van de doelpositie groter is dan 0. In de populatie van niet-brildragers is de afwijking normaal verdeeld met $\mu = 0$ en $\sigma = 0.5$ cm. Voor brildragers wordt een gemiddelde afwijking van 3 millimeter (0.3 cm) of meer als reden gezien om ze uit te sluiten. Met een steekproef van 35 brildragers en een kritieke waarde voor het steekproefgemiddelde van 0.1386 cm (bepaald op basis van $\alpha$ en de standaardfout $\frac{0.5}{\sqrt{35}}$), wordt het onderscheidingsvermogen berekend. Indien het werkelijke gemiddelde afwijkingsverschil 0.3 cm is, dan is de kans om dit verschil te detecteren met een significante toets $P(\bar{x} > 0.1386 | \mu = 0.3) \approx 0.9719$. Dit betekent dat in 97.19% van de gevallen een werkelijk effect van 0.3 cm zou worden gedetecteerd. #### 2.5.3 Factoren die het onderscheidingsvermogen beïnvloeden Het onderscheidingsvermogen wordt vergroot door: * Een grotere steekproefgrootte ($n$). * Een grotere populatie-standaardafwijking ($\sigma$). * Een groter significantieniveau ($\alpha$). * Een groter effectgrootte (het verschil tussen $\mu_0$ en $\mu_A$). --- # Hypothesetoetsing en onderscheidingsvermogen Dit gedeelte behandelt de procedure van hypothesetoetsing, inclusief de z-toets voor onafhankelijke steekproeven en het concept van onderscheidingsvermogen (power). Er wordt gedetailleerd ingegaan op type I en type II fouten en hoe deze te interpreteren in de context van onderzoek. ### 3.1 De procedure van hypothesetoetsing Hypothesetoetsing is een statistische methode om te beslissen of er voldoende bewijs is om een nulhypothese te verwerpen ten gunste van een alternatieve hypothese. De procedure omvat doorgaans vier stappen: 1. **Formuleren van de nul- en de alternatieve hypothesen:** De nulhypothese ($H_0$) stelt dat er geen effect of verschil is, terwijl de alternatieve hypothese ($H_a$) stelt dat er wel een effect of verschil is. 2. **Bepalen van de waarde van de toetsingsgrootheid:** Dit is een statistiek berekend uit de steekproefgegevens die wordt gebruikt om de hypothesen te toetsen. 3. **Bepalen van de overschrijdingskans (p-waarde):** De overschrijdingskans is de waarschijnlijkheid om een toetsingsgrootheid te observeren die minstens zo extreem is als de waargenomen waarde, aangenomen dat de nulhypothese waar is. Dit kan theoretisch bepaald worden of via resampling. 4. **Formuleren van de conclusie:** Op basis van de p-waarde en een vooraf bepaald significantieniveau ($\alpha$), wordt besloten of de nulhypothese wordt verworpen. De conclusie wordt doorgaans in APA-stijl geformuleerd. #### 3.1.1 Z-toets voor onafhankelijke steekproeven De z-toets voor onafhankelijke steekproeven wordt gebruikt om het gemiddelde van twee populaties te vergelijken. De nulhypothese stelt hierbij dat de gemiddelden van de twee populaties gelijk zijn ($H_0: \mu_1 - \mu_2 = 0$), terwijl de alternatieve hypothese kan stellen dat het gemiddelde van de ene populatie groter is dan dat van de andere ($H_a: \mu_1 - \mu_2 > 0$) of dat ze verschillend zijn ($H_a: \mu_1 - \mu_2 \neq 0$). De z-toetsingsgrootheid wordt berekend als: $$ Z = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)_0}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}} $$ waarbij: - $\bar{x}_1$ en $\bar{x}_2$ de steekproefgemiddelden zijn. - $(\mu_1 - \mu_2)_0$ het verschil in populatiegemiddelden onder de nulhypothese (meestal 0). - $\sigma_1^2$ en $\sigma_2^2$ de populatievarianties zijn. - $n_1$ en $n_2$ de steekproefgroottes zijn. Wanneer de populatievarianties onbekend zijn en de steekproeven groot genoeg zijn (of de populaties normaal verdeeld zijn), wordt vaak de gepoolde variantie gebruikt of wordt de t-toets toegepast. #### 3.1.2 Significantietoets in 4 stappen (voorbeeld) **Context:** Een onderzoeker wil weten of "slimmeriken" significant hogere scores behalen op een test dan "gewone studenten". 1. **Hypothesen formuleren:** * $H_0: \mu_{\text{gewone studenten}} = \mu_{\text{slimmeriken}}$ (of $\mu_{\text{slimmeriken}} - \mu_{\text{gewone studenten}} \le 0$) * $H_a: \mu_{\text{slimmeriken}} > \mu_{\text{gewone studenten}}$ 2. **Toetsingsgrootheid bepalen:** Een z-toets wordt uitgevoerd. Gesteld dat uit de steekproef een verschil van 39 wordt gevonden en de berekende z-score $Z=8.72$ is. 3. **Overschrijdingskans bepalen:** De p-waarde voor $Z=8.72$ is $p < 0.001$. 4. **Conclusie formuleren:** Aangezien de p-waarde kleiner is dan een typisch significantieniveau (bv. $\alpha = 0.05$), wordt de nulhypothese verworpen. Conclusie: "Gewone studenten behalen gemiddeld (gem=461) significant lagere scores dan slimmeriken (gem=500), $z=8.72$; $p<.001$." ### 3.2 Kans op fouten en onderscheidingsvermogen Bij het nemen van beslissingen op basis van significantietoetsen, kunnen twee soorten fouten optreden: * **Type I fout ($\alpha$):** Het onterecht verwerpen van de nulhypothese ($H_0$) terwijl deze wel correct is. Dit is gelijk aan het significantieniveau van de toets, dat vooraf wordt bepaald. Het evalueren van de consequenties van deze fout is cruciaal bij het kiezen van $\alpha$. * **Type II fout ($\beta$):** Het onterecht niet verwerpen van de nulhypothese ($H_0$) terwijl deze wel vals is. #### 3.2.1 Onderscheidingsvermogen (Power) Het onderscheidingsvermogen, of power, van een toets is de kans om de nulhypothese ($H_0$) te verwerpen wanneer de alternatieve hypothese ($H_a$) correct is. Het is dus $1 - \beta$. Een hoge power betekent dat de toets goed in staat is om werkelijke effecten te detecteren. > **Tip:** Een grotere steekproefgrootte ($n$) en een groter significantieniveau ($\alpha$) vergroten het onderscheidingsvermogen van een toets. Een grotere standaarddeviatie ($\sigma$) verkleint daarentegen het onderscheidingsvermogen. #### 3.2.2 Onderscheidingsvermogen berekenen Het berekenen van het onderscheidingsvermogen vereist het specificeren van een concrete waarde onder de alternatieve hypothese. De procedure omvat: 1. **Bepalen van de kritieke waarde:** Dit is de grens onder de nulhypothese waarboven de nulhypothese wordt verworpen. Deze waarde is afgeleid van het gekozen significantieniveau $\alpha$. 2. **Bepalen van de z-waarde van de kritieke waarde onder de alternatieve hypothese:** Gebruikmakend van de verwachte parameters onder de alternatieve hypothese. 3. **Onderscheidingsvermogen berekenen:** Dit is de overschrijdingskans van de kritieke waarde onder de alternatieve hypothese. **Voorbeeld: Onderscheidingsvermogen bij een z-toets** **Context:** Een onderzoek naar de nauwkeurigheid van brildragers bij een aandachtsproef. De afwijking in centimeters wordt gemeten. * Populatie niet-brildragers: Normaal verdeeld met gemiddelde $\mu_0 = 0$ cm en standaardafwijking $\sigma = 0.5$ cm. * Onderzoeker vermoedt dat brildragers een systematische fout maken van $+ 0.2$ cm (2 mm). * Als de gemiddelde afwijking van brildragers $0.3$ cm (3 mm) of meer is, worden hun data als onbruikbaar beschouwd en worden ze uitgesloten. * Onderzoek met $n = 35$ brildragers. Een significantieniveau van $\alpha = 0.05$ wordt gehanteerd. **Stap 1: Kritieke waarde bepalen onder $H_0$** * $H_0: \mu = 0$. Voor een eenzijdige test met $\alpha = 0.05$, is de kritieke z-waarde $1.64$. * De kritieke waarde voor het steekproefgemiddelde is dan $1.64 \times \frac{\sigma}{\sqrt{n}} = 1.64 \times \frac{0.5}{\sqrt{35}} \approx 0.1386$ cm. * Als het gevonden steekproefgemiddelde groter is dan $0.1386$ cm, wordt $H_0$ verworpen. **Stap 2: z-waarde van de kritieke waarde bepalen onder $H_a$** * Stel dat de *werkelijke* gemiddelde afwijking van brildragers $\mu_A = 0.3$ cm is. * De z-waarde van de kritieke waarde $0.1386$ cm, onder de alternatieve hypothese met $\mu_A = 0.3$ en $\sigma_{\bar{x}} = \frac{0.5}{\sqrt{35}}$, is: $$ Z_A = \frac{0.1386 - 0.3}{0.5 / \sqrt{35}} \approx -1.91 $$ **Stap 3: Onderscheidingsvermogen berekenen** * Het onderscheidingsvermogen is de kans dat de toets de nulhypothese verwerpt als de werkelijke afwijking $0.3$ cm is. Dit is de kans dat de z-waarde groter is dan $-1.91$ onder de alternatieve hypothese. $$ \text{Power} = P(Z_A > -1.91) = 1 - P(Z_A \le -1.91) $$ * Dit kan worden berekend als $1 - \Phi(-1.91)$, waarbij $\Phi$ de cumulatieve verdelingsfunctie van de standaard normaalverdeling is. * Using a z-table or statistical software, $P(Z_A \le -1.91) \approx 0.0281$. * Dus, $\text{Power} = 1 - 0.0281 = 0.9719$. **Conclusie:** Als het echte gemiddelde verschil $0.3$ cm (of meer) bedraagt, zal dit in ongeveer $97.19\%$ van de steekproeven gedetecteerd worden door een significante z-toets met de nulhypothese dat er geen verschil zou zijn. #### 3.2.3 Beslissingsfouten en hun relatie De volgende tabel vat de mogelijke beslissingsfouten samen: | Beslissing | $H_0$ is waar | $H_0$ is vals ( $H_a$ is waar) | | :------------------------ | :------------------------------------------ | :----------------------------------------- | | $H_0$ niet verwerpen | Correcte beslissing ($1-\alpha$) | Type II fout ($\beta$) | | $H_0$ verwerpen | Type I fout ($\alpha$) | Correcte beslissing (Power, $1-\beta$) | Het is een afweging tussen Type I en Type II fouten. Een kleinere $\alpha$ (minder kans op Type I fout) leidt tot een grotere $\beta$ (meer kans op Type II fout), en dus minder power, tenzij de steekproefgrootte toeneemt. #### 3.2.4 Factoren die onderscheidingsvermogen beïnvloeden Het onderscheidingsvermogen wordt beïnvloed door: * **Grootte van het effect:** Grotere verschillen tussen de populatiegemiddelden onder $H_0$ en $H_a$ vergroten de power. * **Steekproefgrootte ($n$):** Grotere steekproeven vergroten de power. * **Significantieniveau ($\alpha$):** Een hoger $\alpha$ verhoogt de power (maar verhoogt ook de kans op een Type I fout). * **Variantie van de populatie ($\sigma^2$):** Kleinere populatievarianties vergroten de power. * **Eenzijdig of tweezijdig toetsen:** Eenzijdige toetsen hebben doorgaans meer power dan tweezijdige toetsen voor dezelfde $\alpha$. > **Tip:** Om een gewenst onderscheidingsvermogen te bereiken, kan men op basis van deze factoren de benodigde steekproefgrootte berekenen. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Univariate Data-Analyse | Een statistische methode die zich richt op de analyse van één enkele variabele tegelijkertijd om patronen en kenmerken te beschrijven. | | Werkplekonderwijs (WPO) | Een onderwijsactiviteit die praktijkgerichte oefeningen en toepassingen van de studiestof biedt, vaak in groepsverband. | | Schriftelijk examen | Een evaluatievorm waarbij kennis en begrip van de studiestof worden getoetst aan de hand van een schriftelijke opdracht. | | Toetsingsgrootheid | Een statistische waarde berekend uit steekproefgegevens die wordt gebruikt om een nulhypothese te toetsen. | | Steekproevenverdeling | De verdeling van een steekproefstatistiek (zoals het gemiddelde) verkregen uit alle mogelijke steekproeven van een bepaalde grootte uit een populatie. | | Centrale Limietstelling | Een fundamentele stelling in de kansrekening die stelt dat de verdeling van steekproefgemiddelden, ongeacht de populatieverdeling, een normale verdeling benadert naarmate de steekproefgrootte toeneemt. | | Populatiegemiddelde ($µ$) | Het werkelijke gemiddelde van een bepaalde eigenschap over alle leden van de gehele populatie. | | Steekproefgemiddelde ($\bar{x}$) | Het gemiddelde van een specifieke steekproef, dat wordt gebruikt als schatter voor het populatiegemiddelde. | | Betrouwbaarheidsinterval | Een reeks waarden die naar verwachting met een bepaalde waarschijnlijkheid (betrouwbaarheidsniveau) de ware populatieparameter bevat. | | Significantietoets | Een statistische procedure om te bepalen of waargenomen verschillen of relaties in gegevens waarschijnlijk echt zijn of te wijten aan toeval. | | Nulhypothese ($H_0$) | Een stelling die stelt dat er geen significant effect, verschil of relatie is tussen de onderzochte variabelen in de populatie. | | Alternatieve hypothese ($H_a$) | Een stelling die het tegendeel beweert van de nulhypothese, namelijk dat er wel een significant effect, verschil of relatie is. | | Overschrijdingskans (p-waarde) | De kans om een steekproefresultaat te verkrijgen dat minstens zo extreem is als het waargenomen resultaat, aangenomen dat de nulhypothese waar is. | | Type I fout (alfa) | Het verwerpen van de nulhypothese terwijl deze in werkelijkheid waar is. | | Type II fout (beta) | Het niet verwerpen van de nulhypothese terwijl deze in werkelijkheid onwaar is. | | Onderscheidingsvermogen (Power, 1-beta) | De kans om de nulhypothese correct te verwerpen wanneer de alternatieve hypothese waar is; de kans om een echt effect te detecteren. | | Significantieniveau ($α$) | De vooraf bepaalde kans op een Type I fout; de drempelwaarde waaronder een p-waarde als statistisch significant wordt beschouwd. | | Z-toets | Een statistische toets die wordt gebruikt om het gemiddelde van een steekproef te vergelijken met het populatiegemiddelde of om de gemiddelden van twee populaties te vergelijken wanneer de populatiestandaardafwijking bekend is of de steekproefgrootte groot is. | | Steekproefgrootte (n) | Het aantal observaties of eenheden in een steekproef. | | Standaarddeviatie ($σ$) | Een maat voor de spreiding of variabiliteit van gegevens rond het gemiddelde in een populatie of steekproef. |

# Inferentie over de verwachting van één populatie met t-tests Dit hoofdstuk behandelt inferentie over de populatieverwachting wanneer de populatiestandaardafwijking onbekend is, waarbij gebruik wordt gemaakt van t-verdelingen voor betrouwbaarheidsintervallen en t-tests. ## 1. Inferentie over de verwachting van één populatie ### 1.1 De t-verdeling Wanneer de populatiestandaardafwijking $\sigma$ onbekend is en geschat moet worden met de steekproefstandaardafwijking $s$, dan is de steekproevenverdeling van het gestandaardiseerde gemiddelde niet langer normaal verdeeld, maar volgt deze een t-verdeling. De t-verdeling: * Is symmetrisch en heeft een top op nul. * Heeft dikkere staarten dan de standaardnormaalverdeling. * De exacte vorm van de t-verdeling hangt af van het aantal vrijheidsgraden ($df$), dat meestal gelijk is aan $n-1$ voor een enkele steekproef. * Naarmate het aantal vrijheidsgraden toeneemt, benadert de t-verdeling de standaardnormaalverdeling. Kritieke waarden $t^*$ voor t-verdelingen kunnen worden opgezocht in tabel D, op basis van het aantal vrijheidsgraden en het gewenste betrouwbaarheidsniveau. > **Tip:** De dikkere staarten van de t-verdeling reflecteren de extra onzekerheid die ontstaat doordat de populatiestandaardafwijking geschat wordt in plaats van gekend. ### 1.2 1-steekproef t-betrouwbaarheidsinterval Het betrouwbaarheidsinterval (BI) voor de populatieverwachting $\mu$ wanneer $\sigma$ onbekend is, volgt dezelfde logica als bij een gekende $\sigma$, maar gebruikt de t-verdeling in plaats van de z-verdeling. Het 1-steekproef t-betrouwbaarheidsinterval wordt berekend als: $$ \bar{x} \pm t^{\ast} \frac{s}{\sqrt{n}} $$ waarbij: * $\bar{x}$ het steekproefgemiddelde is. * $t^{\ast}$ de kritieke t-waarde is voor het gewenste betrouwbaarheidsniveau en $n-1$ vrijheidsgraden. * $s$ de steekproefstandaardafwijking is. * $n$ de steekproefgrootte is. **Voorwaarden voor het 1-steekproef t-betrouwbaarheidsinterval:** 1. **Random:** De data komen uit een toevallige steekproef (EAS). 2. **Normaal verdeeld:** De populatie is normaal verdeeld, of de steekproefgrootte is voldoende groot ($n \ge 30$). Bij kleine steekproeven ($n < 30$) dient de normaliteit van de populatie te worden gecontroleerd (bijvoorbeeld via een histogram of normal probability plot). 3. **Onafhankelijk:** Individuele observaties zijn onafhankelijk. Bij trekking zonder teruglegging is de vereiste $N \ge 20n$. #### 1.2.1 Voorbeeld betrouwbaarheidsinterval Stel we hebben een steekproef van $n=20$ beeldschermen met een gemiddelde spanning van $\bar{x} = 306.32$ mV en een standaardafwijking $s$. Voor een 90% betrouwbaarheidsinterval, met $df = n-1 = 19$, is de kritieke waarde $t^{\ast} = 1.729$. Het 90% betrouwbaarheidsinterval wordt dan berekend. ### 1.3 1-steekproef t-test De 1-steekproef t-test wordt gebruikt om een hypothese over de populatieverwachting $\mu$ te toetsen wanneer $\sigma$ onbekend is. **Hypothesen:** * Nulhypothese $H_0$: $\mu = \mu_0$ * Alternatieve hypothese $H_a$: $\mu < \mu_0$, $\mu > \mu_0$, of $\mu \neq \mu_0$ De t-toetsgrootheid wordt berekend als: $$ t = \frac{\bar{x} - \mu_0}{s / \sqrt{n}} $$ waarbij: * $\bar{x}$ het steekproefgemiddelde is. * $\mu_0$ de verwachte waarde onder de nulhypothese is. * $s$ de steekproefstandaardafwijking is. * $n$ de steekproefgrootte is. De p-waarde wordt berekend als de kans om een toetsgrootheid te verkrijgen die minstens zo extreem is als de berekende $t$, onder aanname van $H_0$, voor een t-verdeling met $n-1$ vrijheidsgraden. **Voorwaarden voor de 1-steekproef t-test:** De voorwaarden zijn dezelfde als voor het 1-steekproef t-betrouwbaarheidsinterval: Random, Normaal verdeeld (of grote steekproef), en Onafhankelijk. #### 1.3.1 Voorbeeld t-test Stel we onderzoeken de hoeveelheid opgeloste zuurstof (DO) in een rivier en nemen 15 waterstalen. We willen toetsen of het gemiddelde DO-gehalte lager is dan 5 mg/l (wat als onleefbaar wordt beschouwd) met een significantieniveau $\alpha = 0.05$. * $H_0$: $\mu = 5$ * $H_a$: $\mu < 5$ De berekende t-toetsgrootheid is $t = -0.9426$ met $df = 14$. De p-waarde is ongeveer 0.1809. Aangezien $p > \alpha$, wordt de nulhypothese niet verworpen. Er is onvoldoende bewijs om te concluderen dat het water onleefbaar is. > **Tip:** Bij het rapporteren van t-tests in APA-stijl, vermeld de toetsingsgrootheid $t$, de vrijheidsgraden ($df$) tussen haakjes, en de p-waarde. Vermeld ook de beschrijvende maten (gemiddelde, standaardafwijking) en het betrouwbaarheidsinterval indien relevant. ### 1.4 Robuustheid van t-procedures T-procedures zijn relatief robuust tegen schendingen van de normaliteitsvoorwaarde, vooral bij grotere steekproefgroottes ($n \ge 30$). Bij kleinere steekproeven ($n < 15$) is normaliteit belangrijker, en bij aanwezigheid van uitschieters of sterke scheefheid, kunnen niet-parametrische alternatieven (zoals de tekentoets) overwogen worden. ### 1.5 Onderscheidingsvermogen (Power) van de t-test Het onderscheidingsvermogen van een t-test is de kans om een werkelijk bestaand effect (een afwijking van de nulhypothese) correct te detecteren. Het hangt af van het significantieniveau $\alpha$, de steekproefgrootte $n$, de populatiestandaardafwijking $\sigma$ (of een schatting daarvan), en de omvang van het effect dat men wil detecteren. Een groter effect, een grotere steekproef, en een hoger $\alpha$ leiden tot een hoger onderscheidingsvermogen. #### 1.5.1 Voorbeeld poweranalyse Bij het plannen van een studie kan men met behulp van software (zoals G*power) berekenen hoe groot de steekproefgrootte moet zijn om een bepaald effect met een gewenst onderscheidingsvermogen te kunnen detecteren. Dit helpt om te voorkomen dat bestaande effecten gemist worden door een te kleine steekproef. --- # Vergelijken van twee verwachtingen met t-tests Dit gedeelte van de studiehandleiding behandelt de methoden voor het vergelijken van gemiddelden van twee populaties, waarbij onderscheid wordt gemaakt tussen gekoppelde data en onafhankelijke steekproeven, en de bijbehorende t-procedures worden uiteengezet. ## 2. Vergelijken van twee verwachtingen met t-tests Het vergelijken van gemiddelden van twee populaties is een fundamenteel aspect van statistische inferentie. Wanneer de populatiestandaardafwijking onbekend is, worden t-procedures gebruikt. Deze procedures zijn echter niet altijd exact, maar bieden vaak een goede benadering, vooral bij grotere steekproeven. ### 2.1 De Student t-verdeling De Student t-verdeling is een kansverdeling die een rol speelt bij het schatten van de populatieverwachting wanneer de populatiestandaardafwijking onbekend is. * **Kenmerken:** * Symmetrisch rond nul. * Heeft één piek op nul. * Heeft dikkere staarten dan de standaard normaalverdeling, wat betekent dat extremere waarden waarschijnlijker zijn. * **Vrijheidsgraden (df):** De vorm van de t-verdeling wordt bepaald door het aantal vrijheidsgraden ($df$). Voor een steekproef van grootte $n$ is het aantal vrijheidsgraden meestal $n-1$. * **Vergelijking met de Normaalverdeling:** Naarmate het aantal vrijheidsgraden toeneemt, benadert de t-verdeling de standaard normaalverdeling ($N(0,1)$). Bij kleine $df$ zijn de staarten van de t-verdeling dikker, wat de grotere onzekerheid door het schatten van $\sigma$ weerspiegelt. * **Kritieke waarden:** Kritieke waarden ($t^*$) voor t-verdelingen worden gevonden in specifieke tabellen (bijv. Tabel D in het handboek), die afhangen van het aantal vrijheidsgraden en het gewenste betrouwbaarheidsniveau of significantieniveau. ### 2.2 t-procedures voor gekoppelde data Gekoppelde data ontstaan wanneer metingen van twee groepen afkomstig zijn van dezelfde eenheden (bijv. voor- en nametingen bij dezelfde personen) of van gematchte paren. De analyse richt zich op de verschilscores tussen de gekoppelde metingen. * **Hypothese toetsing:** * Nulhypothese ($H_0$): De populatiemediaan van de verschilscores is nul ($\mu_d = 0$). * Alternatieve hypothese ($H_a$): De populatiemediaan van de verschilscores is niet gelijk aan nul, groter dan nul, of kleiner dan nul. * **Analyse:** De verschilscores ($d_i = x_{i1} - x_{i2}$) worden berekend voor elk paar. Vervolgens wordt een 1-steekproef t-toets uitgevoerd op deze verschilscores, waarbij de nulhypothese is dat het populatiegemiddelde van de verschilscores nul is. * **Vereisten:** * De populatie van verschilscores is normaal verdeeld (of de steekproefgrootte is groot). * De data zijn verkregen via een enkelvoudige aselecte steekproef. * **Voorbeeld:** Onderzoek naar agressief gedrag bij demente bejaarden, waarbij agressieve incidenten worden geteld in de dagen rond volle maan versus andere dagen. De verschilscores tussen volle maan dagen en andere dagen worden geanalyseerd met een t-toets voor gekoppelde paren. * `t(df) = waarde, p-waarde` ### 2.3 t-procedures voor onafhankelijke steekproeven Bij onafhankelijke steekproeven komen de data van twee verschillende, niet-gerelateerde groepen. Er wordt onderscheid gemaakt tussen situaties waarin de populatievarianties gelijk worden verondersteld (pooled t-test) en waarin dit niet het geval is (Welch's t-test). #### 2.3.1 t-test voor twee onafhankelijke steekproeven (ongelijke varianties - Welch's t-test) Dit is de meest gebruikte aanpak wanneer de varianties van de twee populaties verschillend kunnen zijn. * **Hypothese toetsing:** * Nulhypothese ($H_0$): Het verschil tussen de populatiegemiddelden is nul ($\mu_1 - \mu_2 = 0$). * Alternatieve hypothese ($H_a$): Het verschil tussen de populatiegemiddelden is niet gelijk aan nul, groter dan nul, of kleiner dan nul. * **Toetsingsgrootheid:** De t-statistiek wordt berekend als het gestandaardiseerde verschil tussen de steekproefgemiddelden. De formule voor de t-statistiek is: $$ t = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)_0}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}} $$ waarbij $\bar{x}_1$ en $\bar{x}_2$ de steekproefgemiddelden zijn, $s_1$ en $s_2$ de steekproefstandaardafwijkingen, en $n_1$ en $n_2$ de steekproefgroottes. * **Vrijheidsgraden:** Het aantal vrijheidsgraden wordt berekend met een complexe formule (Welch-Satterthwaite vergelijking), maar in de praktijk wordt vaak een conservatieve schatting gebruikt, namelijk $\min(n_1 - 1, n_2 - 1)$, of de exacte waarden die door statistische software worden geleverd. * **Vereisten:** * De twee steekproeven zijn onafhankelijk en aselect. * De populaties zijn bij benadering normaal verdeeld, of de steekproefgroottes zijn groot ($n_1 \ge 30$ en $n_2 \ge 30$). Bij kleinere steekproeven is normaliteit belangrijker. * **Voorbeeld:** Vergelijken van de bloeddrukdaling bij mannen die een calciumsupplement krijgen versus een placebo. * `t(df) = waarde, p-waarde` * **Betrouwbaarheidsinterval:** Een betrouwbaarheidsinterval voor het verschil tussen de populatiegemiddelden ($\mu_1 - \mu_2$) kan worden berekend als: $$ (\bar{x}_1 - \bar{x}_2) \pm t^* \sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}} $$ waarbij $t^*$ de kritieke waarde is uit de t-verdeling met de berekende vrijheidsgraden voor het gewenste betrouwbaarheidsniveau. #### 2.3.2 Gepoelde (Pooled) 2-steekproeven t-procedures (gelijke varianties) Deze procedure wordt gebruikt wanneer de populatievarianties als gelijk worden verondersteld. Het is echter vaak veiliger om Welch's t-test te gebruiken omdat het controleren op gelijke varianties (met de F-test) zelf niet robuust is. * **Aanname:** $\sigma_1^2 = \sigma_2^2$. * **Gepoelde standaardafwijking:** Een gepoolde schatter voor de gemeenschappelijke standaardafwijking ($s_p$) wordt berekend. $$ s_p^2 = \frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2}{n_1 + n_2 - 2} $$ * **Toetsingsgrootheid:** De t-statistiek wordt berekend als: $$ t = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)_0}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} $$ * **Vrijheidsgraden:** Bij deze procedure is het aantal vrijheidsgraden exact $n_1 + n_2 - 2$. * **Betrouwbaarheidsinterval:** $$ (\bar{x}_1 - \bar{x}_2) \pm t^* s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}} $$ waarbij $t^*$ de kritieke waarde is uit de t-verdeling met $n_1 + n_2 - 2$ vrijheidsgraden. ### 2.4 Robuustheid van t-procedures Statistische procedures worden als robuust beschouwd als ze niet sterk beïnvloed worden door kleine schendingen van hun voorwaarden. * **Invloed van steekproefgrootte:** * **Grote steekproeven ($n \ge 30-40$):** t-procedures zijn zeer robuust, zelfs bij duidelijk scheve verdelingen. De centrale limietstelling zorgt ervoor dat de steekproevenverdeling van het gemiddelde (of het verschil tussen gemiddelden) bij benadering normaal is. * **Kleine steekproeven ($n < 15$):** Normaliteit van de populatie is belangrijker. Als de data niet nagenoeg normaal verdeeld zijn, of als er uitschieters zijn, is het gebruik van t-procedures af te raden. * **Matige steekproeven ($15 \le n < 30$):** t-procedures kunnen gebruikt worden, tenzij er sprake is van duidelijke scheefheid of uitschieters. * **Onafhankelijke steekproeven vs. Gekoppelde steekproeven:** De t-procedures voor twee onafhankelijke steekproeven zijn over het algemeen robuuster dan de procedures voor één steekproef, met name wanneer de populatieverdelingen niet symmetrisch zijn, maar wel vergelijkbaar van vorm. * **Aselecte steekproef:** De eis van aselecte steekproeven is cruciaal voor de geldigheid van de inferentie en is belangrijker dan de normaliteitsvereiste, behalve bij zeer kleine steekproeven. ### 2.5 Onderscheidingsvermogen (Power) van t-tests Het onderscheidingsvermogen (power) van een t-test is de kans dat de test de nulhypothese verwerpt wanneer de alternatieve hypothese waar is. * **1-steekproef t-test:** Het onderscheidingsvermogen hangt af van het significantieniveau ($\alpha$), de steekproefgrootte ($n$), de populatiestandaardafwijking ($\sigma$), en de omvang van het effect dat men wil detecteren (de afstand tussen de nulhypothese $\mu_0$ en de ware populatieverwachting $\mu$). * **2-steekproeven t-test:** Het onderscheidingsvermogen wordt beïnvloed door $\alpha$, de steekproefgroottes ($n_1, n_2$), de populatiestandaardafwijkingen ($\sigma_1, \sigma_2$), en de omvang van het ware verschil tussen de populatiegemiddelden ($\mu_1 - \mu_2$). * **Planning van studies:** Het berekenen van het onderscheidingsvermogen is belangrijk bij het plannen van een studie om de benodigde steekproefgrootte te bepalen. Gebruik van software zoals G\*Power kan hierbij helpen. Bij het schatten van $\sigma$ is het beter deze te overschatten om te voorkomen dat een bestaand effect niet gedetecteerd wordt door een te kleine steekproef. ### 2.6 Inferentie voor niet-normaal verdeelde populaties Wanneer de populatieverdeling duidelijk niet normaal is en de steekproefgrootte klein, kunnen alternatieve methoden worden overwogen: * **Data transformatie:** Scheve data kunnen soms dichter bij normaliteit worden gebracht door transformaties, zoals een logaritmische transformatie. Inferentie op getransformeerde data kan accurate resultaten opleveren, zelfs bij kleine steekproeven. Het interpreteren van resultaten op de getransformeerde schaal kan echter complex zijn. * **Niet-parametrische methoden:** Dit zijn verdelingsvrije methoden die geen specifieke aannames doen over de populatieverdeling. * **Tekentoets (Sign Test):** Een niet-parametrische toets voor gekoppelde data die hypothesen test over de mediaan in plaats van het gemiddelde. De toetsingsgrootheid is gebaseerd op het aantal positieve verschilscores en volgt een binomiale verdeling. * **Voordeel:** Gebruikt minder informatie dan de t-test, wat resulteert in een lager onderscheidingsvermogen. * **Voorbeeld:** Vergelijken van agressief gedrag rond volle maan met andere dagen met behulp van de tekentoets op de verschilscores. `Tekentoets, X = waarde, p-waarde` ### 2.7 Rapporteren van toetsresultaten Resultaten van t-tests worden doorgaans gerapporteerd volgens de richtlijnen van APA (American Psychological Association) in de context van de vraagstelling. * **Belangrijke elementen:** * Beschrijvende maten (gemiddelde, standaardafwijking). * Toetsingsgrootheid (bijv. $t$). * Berekende waarde van de toetsingsgrootheid (afgerond op 2 decimalen). * Vrijheidsgraden (indien van toepassing, tussen haakjes direct achter de naam van de toetsingsgrootheid, bijv. $t(df)$). * Overschrijdingskans (p-waarde), ook als deze niet significant is (afgerond op 3 decimalen, of $p < 0,001$ indien kleiner). * Betrouwbaarheidsinterval (CI) voor het verschil of de verwachting. * Effectgrootte (bijv. Cohen's d). * Besluit in de context van het onderzoek. **Formaatvoorbeeld:** `t (df) = waarde, p = p-waarde, 95% CI [ondergrens, bovengrens], d = effectgrootte.` Indien de toets eenzijdig is, wordt dit vermeld. Voor resultaten die niet significant zijn, kan "n.s." (niet significant) worden gebruikt in plaats van een p-waarde. --- # Robuustheid en toepassing van t-procedures Dit onderwerp behandelt de betrouwbaarheid van t-procedures, vooral wanneer de aannames van normaliteit niet strikt voldaan zijn, en bespreekt ook het onderscheidingsvermogen (power) van de t-test. ## 3. Robuustheid en toepassing van t-procedures ### 3.1 Student's t-verdelingen Wanneer de populatiestandaardafwijking $\sigma$ onbekend is en geschat wordt met de steekproefstandaardafwijking $s$, volgt de steekproevenverdeling van het gemiddelde een t-verdeling in plaats van een standaard normaalverdeling. * **Eigenschappen van de t-verdeling:** * Symmetrisch rond 0. * Eén top op 0. * Dikkere staarten dan de standaard normaalverdeling, wat wijst op een grotere spreiding. * Er is een andere t-verdeling voor elke steekproefgrootte, gespecificeerd door het aantal vrijheidsgraden ($df$). De kritieke waarden $t^*$ voor t-verdelingen, nodig voor betrouwbaarheidsintervallen en toetsen, zijn terug te vinden in Tabel D (vaak p. 705 in handboeken). De vrijheidsgraden worden doorgaans berekend als $df = n - 1$ voor een 1-steekproefssituatie. Naarmate het aantal vrijheidsgraden toeneemt, benadert de t-verdeling de standaard normaalverdeling. ### 3.2 Toepassing van t-procedures #### 3.2.1 1-steekproef t-procedures * **1-steekproef t-betrouwbaarheidsinterval voor $\mu$:** Dit interval volgt dezelfde logica als bij een bekende $\sigma$, maar gebruikt de t-verdeling met $n-1$ vrijheidsgraden. De voorwaarden zijn: * **Random:** De data komen van een toevallige steekproef. * **Normaal verdeeld:** Voor kleine steekproeven ($n < 30$) moet de populatieverdeling nagenoeg normaal zijn. Dit wordt gecontroleerd via de verdeling van de steekproefdata (histogram, normal probability plot). * **Onafhankelijk:** Steekproeven worden onafhankelijk getrokken. Voor trekking zonder teruglegging geldt de vuistregel dat de populatiegrootte minimaal 20 keer de steekproefgrootte moet zijn ($N \geq 20n$). > **Tip:** Voor grote populaties is het verschil tussen trekkingen met of zonder teruglegging verwaarloosbaar klein. * **1-steekproef t-toets voor $\mu$:** Om de nulhypothese $H_0: \mu = \mu_0$ te toetsen, wordt de t-toetsgrootheid berekend. De p-waarde geeft de kans weer om een toetsgrootheid te verkrijgen die minstens zo extreem is als de waargenomen waarde, onder aanname van $H_0$. De toets wordt uitgevoerd met een t-verdeling met $n-1$ vrijheidsgraden. > **Tip:** Voor normaal verdeelde populaties is de p-waarde exact. Voor andere verdelingen is deze een goede benadering bij grote steekproeven. * **Rapporteren van resultaten (APA-stijl):** Bij het rapporteren van toetsresultaten worden doorgaans vermeld: beschrijvende maten (gemiddelde, standaardafwijking), de toetsingsgrootheid met zijn waarde, vrijheidsgraden tussen haakjes, de p-waarde (afgerond op 3 decimalen, of als $p < 0.001$ of $n.s.$ indien niet significant), en een eenzijdigheid indien van toepassing. Een betrouwbaarheidsinterval kan ook worden opgenomen. #### 3.2.2 2-steekproeven t-procedures Deze procedures vergelijken de gemiddelden van twee populaties. * **t-toets voor gekoppelde paren:** Dit is een speciaal geval van de 1-steekproef t-toets, waarbij de analyse wordt uitgevoerd op de verschilscores tussen gekoppelde waarnemingen. De nulhypothese is $H_0: \mu_d = 0$, waarbij $\mu_d$ het populatiegemiddelde van de verschilscores is. Vereisten zijn een normaal verdeelde populatie van verschilscores (of grote steekproef) en een enkelvoudige aselecte steekproef. > **Voorbeeld:** Het vergelijken van agressief gedrag bij demente bejaarden rond volle maan versus andere dagen. De verschilscores van het aantal incidenten worden geanalyseerd. * **t-toets voor onafhankelijke steekproeven:** Hierbij worden de gemiddelden van twee onafhankelijke groepen vergeleken ($H_0: \mu_1 = \mu_2$). * **z-toets (indien $\sigma_1$ en $\sigma_2$ bekend zijn):** De toetsingsgrootheid is $z = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1} + \frac{\sigma_2^2}{n_2}}}$. Dit is minder gangbaar omdat $\sigma$ zelden bekend is. * **t-toets (indien $\sigma_1$ en $\sigma_2$ onbekend zijn):** De toetsingsgrootheid is $t = \frac{(\bar{x}_1 - \bar{x}_2) - (\mu_1 - \mu_2)}{s_p \sqrt{\frac{1}{n_1} + \frac{1}{n_2}}}$ (bij gelijke varianties, met $s_p$ de gepoolde standaardafwijking) of een vergelijkbare formule zonder $s_p$ bij ongelijke varianties. De t-verdeling benadert de verdeling van deze toetsingsgrootheid. * **Vrijheidsgraden:** Bij ongelijke varianties is de exacte berekening complex; een conservatieve benadering is $df = \min(n_1 - 1, n_2 - 1)$. Software gebruikt vaak een meer accurate benadering. Bij gelijke varianties is $df = n_1 + n_2 - 2$. * **Voorwaarden:** Random steekproeven, nagenoeg normaal verdeelde populaties (of grote steekproeven), en onafhankelijkheid. > **Voorbeeld:** Vergelijken van de bloeddrukdaling door een calcium supplement versus een placebo. De verschillen in systolische bloeddrukdaling worden geanalyseerd. > **Tip:** De 2-steekproeven t-procedures zijn robuuster dan 1-steekproef methoden, vooral wanneer de verdelingen niet symmetrisch zijn maar wel vergelijkbaar. * **2-steekproeven t-betrouwbaarheidsinterval voor $\mu_1 - \mu_2$:** Dit interval schat het verschil tussen twee populatiegemiddelden. De interpretatie is vergelijkbaar met het 1-steekproef interval, waarbij het verschil tussen de steekproefgemiddelden de punt-schatting is. ### 3.3 Robuustheid van t-procedures Een statistische procedure is robuust als het betrouwbaarheidsinterval of de p-waarde niet significant verandert bij het schenden van de aannames. * **Algemene robuustheid:** * De aanname van een **aselecte steekproef** is cruciaal, vooral bij kleine steekproeven. * **Normaliteit:** * **Kleine steekproeven ($n < 15$):** Normaliteit is belangrijk. Bij uitschieters of sterke scheefheid de t-procedures niet gebruiken. * **Matige steekproeven ($15 \leq n < 30-40$):** T-procedures zijn toepasbaar tenzij er uitschieters of sterk scheve verdelingen zijn. * **Grote steekproeven ($n \geq 30-40$):** T-procedures kunnen worden toegepast, zelfs bij duidelijk scheve verdelingen. * Bij 2-steekproeven t-procedures geldt dat als de verdelingen niet symmetrisch, maar wel *vergelijkbaar* scheef zijn, de procedure robuuster is. > **Tip:** Indien mogelijk, probeer scheve data te transformeren (bv. met een logaritmische transformatie) om normaliteit te benaderen, wat de nauwkeurigheid van t-procedures verhoogt. ### 3.4 Onderscheidingsvermogen (Power) van de t-test Het onderscheidingsvermogen (power) is de kans dat een test de nulhypothese verwerpt wanneer de alternatieve hypothese waar is. * **1-steekproef t-test:** Het onderscheidingsvermogen wordt beïnvloed door: * **Steekproefgrootte ($n$):** Grotere $n$ leidt tot meer power. * **Significantieniveau ($\alpha$):** Een hoger $\alpha$ (bv. $0.05$ vs $0.01$) vergroot de power, maar ook de kans op een Type I fout. * **Effectgrootte:** Het werkelijke verschil tussen de populatieverwachting en de nulhypothese. Grotere effecten zijn makkelijker te detecteren. * **Populatiestandaardafwijking ($\sigma$):** Kleinere $\sigma$ leidt tot meer power. Het berekenen van het onderscheidingsvermogen bij het plannen van een studie is belangrijk om te bepalen hoeveel data nodig is om een bepaald effect te kunnen detecteren. Hierbij wordt vaak $\sigma$ geschat uit eerder onderzoek of een pilot study. * **2-steekproeven t-test:** De principes zijn vergelijkbaar met de 1-steekproef t-test. Het onderscheidingsvermogen hangt af van de steekproefgroottes in beide groepen, het significatieniveau, de effectgrootte (verschil tussen de populatiegemiddelden), en de populatiestandaardafwijkingen. Exacte berekeningen vereisen software zoals G\*Power en de resultaten van een pilot study of literatuur. > **Tip:** Bij het plannen van een studie is het beter om de populatiestandaardafwijking te overschatten dan te onderschatten, om te voorkomen dat een bestaand effect niet gedetecteerd wordt door te weinig data. ### 3.5 Inferentie voor niet-normaal verdeelde populaties Wanneer de normaliteitsaanname ernstig geschonden is, vooral bij kleine steekproeven, zijn er alternatieven: * **Data transformatie:** Logaritmische of andere transformaties kunnen de data dichter bij normaliteit brengen. De interpretatie van resultaten op getransformeerde data kan echter lastiger zijn. * **Niet-parametrische tests:** Deze tests stellen geen strikte eisen aan de populatieverdeling. Ze toetsen vaak hypothesen over de mediaan in plaats van het gemiddelde. * **Tekentoets voor gekoppelde data:** Een niet-parametrisch alternatief voor de t-toets voor gekoppelde paren. Het aantal paren met een positief verschil wordt geteld en getoetst met een binomiale verdeling. Deze toets heeft echter een kleiner onderscheidingsvermogen dan de t-toets. > **Voorbeeld:** De tekentoets kan worden gebruikt als de verschilscores tussen gekoppelde metingen niet normaal verdeeld zijn. ### 3.6 Inferentie voor populatiespreiding De F-test voor gelijkheid van spreidingen kan worden gebruikt om te onderzoeken of twee populaties dezelfde variantie hebben. Deze procedure is echter niet robuust voor afwijkingen van de normaliteitsvoorwaarde. De F-verdeling is rechts scheef en de kritieke waarden worden in tabellen (bv. Tabel E) gegeven. Het vergelijken van populatiespreidingen op basis van steekproefstandaardafwijkingen is gevoelig voor de normaliteitsaanname. --- # Inferentie voor populatiespreiding: de F-test Dit onderdeel introduceert de F-test voor het vergelijken van de spreidingen van twee populaties en bespreekt de eigenschappen van F-verdelingen. ## 4.1 De F-test voor gelijkheid van spreidingen De standaarddeviaties $\sigma_1$ en $\sigma_2$ van twee populaties kunnen worden vergeleken op basis van de standaarddeviaties van twee eenvoudige aselecte steekproeven (EAS). De procedures die hiervoor worden gebruikt, zijn echter niet robuust voor afwijkingen van de normale verdeling. ### 4.1.1 F-verdelingen De F-verdeling is een kansverdeling die wordt gebruikt bij statistische tests, zoals de F-test. De belangrijkste eigenschappen van de F-verdeling zijn: * **Rechts scheef:** De dichtheidskromme van de F-verdeling is scheef naar rechts. * **Niet-negatief:** F-waarden kunnen nooit negatief zijn. Dit komt doordat de F-test gebaseerd is op de deling van varianties, die altijd positief zijn. * **Piek nabij 1:** De piek van de F-verdeling ligt dicht bij 1. Dit is logisch, want als de twee populatiestandaarddeviaties gelijk zijn, zal de verhouding van hun varianties (of standaarddeviaties) rond de 1 liggen. ### 4.1.2 Toepassing van de F-test De F-test wordt gebruikt om de nulhypothese te toetsen dat de varianties (of standaarddeviaties) van twee populaties gelijk zijn. * **Nulhypothese ($H_0$):** De varianties van de twee populaties zijn gelijk ($\sigma_1^2 = \sigma_2^2$). * **Alternatieve hypothese ($H_a$):** De varianties van de twee populaties zijn ongelijk ($\sigma_1^2 \neq \sigma_2^2$). Een eenzijdige alternatieve hypothese kan ook worden gebruikt ($\sigma_1^2 > \sigma_2^2$ of $\sigma_1^2 < \sigma_2^2$). #### Toetsingsgrootheid De toetsingsgrootheid voor de F-test is de verhouding van de twee steekproefvarianties. Meestal wordt de grootste steekproefvariantie in de teller geplaatst om de test eenzijdig te maken en de kritieke waarden gemakkelijker te kunnen opzoeken. $$ F = \frac{s_1^2}{s_2^2} $$ Hierbij geldt: * $s_1^2$: De variantie van de eerste steekproef. * $s_2^2$: De variantie van de tweede steekproef. Als de nulhypothese waar is, zal de F-waarde dicht bij 1 liggen. Waarden van $F$ die sterk afwijken van 1, geven bewijs tegen de nulhypothese van gelijke spreidingen. #### Vrijheidsgraden De F-verdeling die bij de toetsingsgrootheid $F$ hoort, wordt gespecificeerd door twee aantallen vrijheidsgraden: * $df_1$: Vrijheidsgraden van de teller (de steekproefvariantie in de teller). Dit is meestal $n_1 - 1$, waarbij $n_1$ de steekproefgrootte is van de populatie waarvan de variantie in de teller komt. * $df_2$: Vrijheidsgraden van de noemer (de steekproefvariantie in de noemer). Dit is meestal $n_2 - 1$, waarbij $n_2$ de steekproefgrootte is van de populatie waarvan de variantie in de noemer komt. #### Kritieke waarden Tabel E (p706 in het handboek) geeft kritieke $F$-waarden voor rechter overschrijdingskansen ($p$-waarden) van 0.10, 0.05, 0.025, 0.01 en 0.001. Bij een tweezijdige test wordt de alfa-waarde gedeeld door twee om de juiste kolom te vinden. ### 4.1.3 Robuustheid van de F-test De F-test voor gelijkheid van spreidingen is niet robuust voor afwijkingen van de normale verdeling. Dit betekent dat als de populaties niet normaal verdeeld zijn, de betrouwbaarheidsintervallen en $p$-waarden van de F-test onbetrouwbaar kunnen worden. Dit is een belangrijk nadeel ten opzichte van de $t$-procedures, die over het algemeen robuuster zijn. > **Tip:** Omdat de F-test zo gevoelig is voor afwijkingen van normaliteit, wordt deze minder vaak gebruikt in de praktijk voor het vergelijken van spreidingen, tenzij er sterke aanwijzingen zijn dat de populaties normaal verdeeld zijn. Alternatieve methoden, zoals Levene's test of de Brown-Forsythe test, zijn robuuster voor afwijkingen van normaliteit. --- *Dit samenvattende gedeelte is gebaseerd op de informatie op pagina's 70-71 van het verstrekte document, met de nadruk op de F-test voor populatiespreiding.* --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | t-verdeling | Een kansverdeling die nauw verwant is aan de normaalverdeling, maar die dikkere staarten heeft. De vorm van de t-verdeling wordt bepaald door het aantal vrijheidsgraden. | | Steekproevenverdeling | De kansverdeling van een statistiek (zoals het steekproefgemiddelde) die wordt verkregen door herhaaldelijk steekproeven van dezelfde grootte uit een populatie te trekken. | | Vrijheidsgraden (df) | Een parameter die de vorm van de t-verdeling bepaalt. Bij een 1-steekproef t-test is dit gelijk aan n-1, waarbij n de steekproefgrootte is. | | Standaardfout | De standaarddeviatie van de steekproevenverdeling van een statistiek. Het geeft een maat voor de variabiliteit van de steekproefstatistieken rondom de populatieparameter. | | Betrouwbaarheidsinterval | Een reeks waarden binnen een bepaald betrouwbaarheidsniveau waarvan wordt aangenomen dat deze de ware populatieparameter bevat. | | Significatieniveau (α) | De kans op het verwerpen van de nulhypothese terwijl deze waar is (Type I fout). Gangbare waarden zijn 0.05, 0.01 of 0.001. | | Nulhypothese (H0) | Een stelling over een populatieparameter die wordt getoetst. In de context van t-tests is dit vaak dat de populatieverwachting gelijk is aan een specifieke waarde of dat twee populatieverwachtingen gelijk zijn. | | Alternatieve hypothese (Ha) | Een stelling die de nulhypothese tegenspreekt. Het kan eenzijdig (bv. µ < µ0) of tweezijdig (bv. µ ≠ µ0) zijn. | | p-waarde | De kans om een toetsingsgrootheid te verkrijgen die minstens zo extreem is als de geobserveerde waarde, onder de aanname dat de nulhypothese waar is. | | Robuustheid | De mate waarin een statistische procedure ongevoelig is voor schendingen van de onderliggende aannames, zoals normaliteit. | | Onderscheidingsvermogen (Power) | De kans dat een statistische test de nulhypothese correct verwerpt wanneer de alternatieve hypothese waar is. Het is 1 min de kans op een Type II fout. | | F-test | Een statistische test die wordt gebruikt om de gelijkheid van varianties van twee of meer populaties te vergelijken. De test maakt gebruik van de F-verdeling. | | Gepoelde t-test | Een variant van de t-test voor twee onafhankelijke steekproeven die ervan uitgaat dat de varianties van de twee populaties gelijk zijn. | | Niet-parametrische toetsen | Statistische toetsen die geen specifieke aannames doen over de vorm van de populatieverdeling (zoals normaliteit). Voorbeelden zijn de tekentoets en de Wilcoxon-rangsomtoets. | | Tekentoets | Een niet-parametrische toets voor gekoppelde data die de mediane verschillen test. Het telt het aantal positieve en negatieve verschillen tussen paren. | | Data transformatie | Een wiskundige bewerking (bv. logaritme) toegepast op data om de verdeling dichter bij normaliteit te brengen, wat de toepasbaarheid van parametrische toetsen kan verbeteren. |

# Inferentie voor een enkele proportie Dit onderdeel van de cursus behandelt statistische methoden om conclusies te trekken over een enkele populatieproportie op basis van steekproefgegevens, inclusief het construeren van betrouwbaarheidsintervallen en het uitvoeren van significantietoetsen. ## 1. Steekproevenverdeling van een steekproefproportie Beschouw een populatie met een onbekende proportie successen, aangeduid met $p$ (of $\pi$). Wanneer we een eenvoudige willekeurige steekproef (EAS) van omvang $n$ trekken uit deze populatie, is de steekproefproportie $\hat{p}$ gedefinieerd als $\hat{p} = \frac{X}{n}$, waarbij $X$ het aantal successen in de steekproef is. De standaardfout van de steekproefproportie wordt gegeven door: $$ SE(\hat{p}) = \sqrt{\frac{p(1-p)}{n}} $$ Wanneer de steekproefgrootte groot genoeg is, benadert de steekproevenverdeling van $\hat{p}$ een normale verdeling. ### 1.1 Betrouwbaarheidsinterval voor een proportie in een grote steekproef Een benaderd betrouwbaarheidsinterval (BI) voor de populatieproportie $p$ in een grote steekproef wordt geconstrueerd met de volgende formule: $$ \text{BI} = \text{Statistiek} \pm \text{Foutmarge} = \hat{p} \pm (z^{\ast} \times SE(\hat{p})) $$ Hierbij is $\hat{p}$ de steekproefproportie, $z^{\ast}$ de kritieke waarde uit de standaardnormaalverdeling die overeenkomt met het gewenste betrouwbaarheidsniveau, en $SE(\hat{p})$ de standaardfout van de steekproefproportie. Voor grote steekproeven ($n$ groot) en met de aanname dat $X$ en $n-X$ beide groter zijn dan of gelijk aan 15, en een betrouwbaarheidsniveau van ten minste 90%, kan de standaardfout worden benaderd met $SE(\hat{p}) \approx \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$. **Voorbeeld:** Iemand beweert dat 50% van de mensen op hun rechter zijde in slaap vallen. In een toevallige steekproef van 251 mensen zijn er 107 die op hun rechter zij inslapen. Bereken en interpreteer een 90% betrouwbaarheidsinterval voor de proportie mensen die inslapen op hun rechter zijde. De steekproefproportie is $\hat{p} = \frac{107}{251} \approx 0.426$. Voor een 90% betrouwbaarheidsniveau is de kritieke waarde $z^{\ast} = 1.645$. De standaardfout is ongeveer $\sqrt{\frac{0.426(1-0.426)}{251}} \approx \sqrt{\frac{0.244}{251}} \approx 0.031$. Het 90% betrouwbaarheidsinterval is dan: $0.426 \pm (1.645 \times 0.031) \approx 0.426 \pm 0.051$, wat resulteert in het interval $[0.375, 0.477]$. **Interpretatie:** We zijn 90% zeker dat het interval $[0.375, 0.477]$ de ware proportie mensen die inslapen op hun rechter zijde bevat. Aangezien dit interval aangeeft welke waarden voor $p$ plausibel zijn, en 0.5 niet tot het interval behoort, hebben we redenen om te twijfelen aan de stelling dat 50% van de mensen op hun rechter zijde inslaapt. > **Tip:** Betrouwbaarheidsintervallen die worden berekend met de standaardformule kunnen onnauwkeurig zijn, vooral voor kleine steekproeven. Het feitelijke betrouwbaarheidsniveau kan lager zijn dan verwacht. #### 1.1.1 Het plus-vier betrouwbaarheidsinterval Een verbeterde nauwkeurigheid voor het betrouwbaarheidsinterval wordt verkregen door vier denkbeeldige observaties toe te voegen aan de steekproef: twee successen en twee mislukkingen. Dit wordt de "plus-vier" schatting genoemd. De plus-vier schatting van $p$ is: $$ \tilde{p} = \frac{X+2}{n+4} $$ Het plus-vier benaderde betrouwbaarheidsinterval voor een proportie is: $$ \tilde{p} \pm z^{\ast} \sqrt{\frac{\tilde{p}(1-\tilde{p})}{n+4}} $$ Dit interval wordt over het algemeen als nauwkeuriger beschouwd, met name voor kleinere steekproeven. ### 1.2 Significantietoets voor een populatieproportie op basis van een grote steekproef Een significantietoets voor een populatieproportie $p$ is bedoeld om te beoordelen of de beschikbare gegevens voldoende bewijs leveren om een nulhypothese ($H_0$) over de populatieproportie te verwerpen ten gunste van een alternatieve hypothese ($H_a$). De z-statistiek voor het toetsen van de nulhypothese $H_0: p = p_0$ is gedefinieerd als: $$ z = \frac{\hat{p} - p_0}{SE(\hat{p})} = \frac{\hat{p} - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} $$ Hierbij is $\hat{p}$ de steekproefproportie, $p_0$ de proportie onder de nulhypothese, en $n$ de steekproefomvang. De z-statistiek is bij benadering standaard normaal verdeeld indien de nulhypothese waar is. De p-waarden worden bepaald met behulp van de standaardnormaalverdeling. Dit staat bekend als de z-test voor een proportie. **Vereisten voor de z-test voor een proportie:** Deze test mag alleen worden gebruikt indien: 1. De gegevens afkomstig zijn van een eenvoudige willekeurige steekproef (EAS). 2. Het aantal successen ($n p_0$) en het aantal mislukkingen ($n(1-p_0)$) ten minste 10 bedragen. 3. De populatieomvang minstens 10 keer groter is dan de steekproefomvang ($N \ge 10n$). **Het bepalen van de p-waarde:** De p-waarde is de kans om een steekproefstatistiek te observeren die minstens zo extreem is als de waargenomen steekproefstatistiek, gegeven dat de nulhypothese waar is. De richting van de extremiteit wordt bepaald door de alternatieve hypothese ($H_a$). **Voorbeeld:** Een producent van chips ontvangt een lading aardappelen. Het leveringscontract stelt dat als meer dan 8% van de aardappelen beschadigd zijn, de lading mag worden teruggestuurd. Een staal van 500 aardappelen wordt onderzocht en 47 vertonen beschadigingen. Voer een significantietoets uit met $\alpha = 0.10$ om na te gaan of deze lading moet worden teruggezonden. * **Hypothesen:** $H_0: p = 0.08$ (het percentage beschadigde aardappelen is 8% of minder) $H_a: p > 0.08$ (het percentage beschadigde aardappelen is groter dan 8%) Hierbij is $p$ de ware proportie beschadigde aardappelen. * **Veronderstellingen controleren:** * **Random:** De data komen van een steekproef van 500 aardappelen. * **Normaal:** Verwachte aantal beschadigde aardappelen: $n p_0 = 500(0.08) = 40$. Verwacht aantal onbeschadigde aardappelen: $n(1-p_0) = 500(1-0.08) = 500(0.92) = 460$. Beide aantallen zijn groter dan 10, dus de normale benadering is toepasbaar. * **Berekening z-statistiek:** De steekproefproportie is $\hat{p} = \frac{47}{500} = 0.094$. $$ z = \frac{0.094 - 0.08}{\sqrt{\frac{0.08(1-0.08)}{500}}} = \frac{0.014}{\sqrt{\frac{0.0736}{500}}} = \frac{0.014}{\sqrt{0.0001472}} \approx \frac{0.014}{0.01213} \approx 1.15 $$ * **P-waarde:** De p-waarde is de kans op een z-waarde groter dan of gelijk aan 1.15, gegeven $H_0$. $P(Z \ge 1.15) = 1 - P(Z < 1.15) = 1 - 0.8749 = 0.1251$. * **Beslissing:** Aangezien de p-waarde ($0.1251$) groter is dan het gekozen significantieniveau $\alpha = 0.10$, kunnen we de nulhypothese $H_0$ niet verwerpen. Er is onvoldoende bewijs om aan te nemen dat de lading meer dan de toegelaten 8% beschadigde aardappelen bevat. ### 1.3 Bepalen van de benodigde steekproefgrootte Bij het plannen van een studie kan de steekproefgrootte $n$ zo worden gekozen dat een populatieproportie kan worden geschat met een specifieke gewenste foutmarge $m$ op een bepaald betrouwbaarheidsniveau. De formule voor de foutmarge is $m = z^{\ast} \times SE(\hat{p})$. Door $SE(\hat{p})$ te benaderen met $\sqrt{\frac{p(1-p)}{n}}$ en te eisen dat $m$ niet groter is dan de gewenste foutmarge, kunnen we $n$ oplossen. Om dit te doen, gebruiken we vaak een conservatieve schatting voor $p$, zoals $p=0.5$, aangezien dit de maximale standaardfout oplevert en dus de grootste benodigde steekproefgrootte garandeert. $$ m \ge z^{\ast} \sqrt{\frac{p(1-p)}{n}} $$ $$ m^2 \ge (z^{\ast})^2 \frac{p(1-p)}{n} $$ $$ n \ge \frac{(z^{\ast})^2 p(1-p)}{m^2} $$ **Voorbeeld:** Stel dat je wilt schatten hoeveel kiezers gaan stemmen voor een bepaalde kandidaat. Bepaal de steekproefgrootte die nodig is om $p$ te schatten met een marge van $0.03$ met 95% betrouwbaarheid. Voor een 95% betrouwbaarheidsniveau is de kritieke waarde $z^{\ast} = 1.96$. Gebruikmakend van de conservatieve schatting $p=0.5$: $$ n \ge \frac{(1.96)^2 \times 0.5 \times (1-0.5)}{(0.03)^2} = \frac{3.8416 \times 0.25}{0.0009} = \frac{0.9604}{0.0009} \approx 1067.11 $$ We ronden altijd naar boven af om de gewenste marge te garanderen. Er zijn dus 1068 respondenten nodig. > **Tip:** Als er enige voorkennis is over de te verwachten proportie $p$, kan een meer specifieke schatting van $p$ worden gebruikt om de benodigde steekproefgrootte te verkleinen. Echter, bij gebrek aan dergelijke voorkennis is $p=0.5$ de veiligste keuze. --- # Inferentie voor twee proporties Dit hoofdstuk gaat over methoden om proporties uit twee verschillende populaties of groepen te vergelijken, met behulp van betrouwbaarheidsintervallen en significantietoetsen. ### 2.1 Inferentie voor een enkele proportie Voordat we twee proporties vergelijken, wordt kort de inferentie voor een enkele proportie herhaald. Dit omvat het berekenen van betrouwbaarheidsintervallen en het uitvoeren van significantietoetsen voor een enkele populatieproportie $p$. #### 2.1.1 Steekproevenverdeling van een steekproefproportie Een steekproefproportie, genoteerd als $\hat{p}$, wordt berekend als het aantal successen ($X$) gedeeld door de steekproefgrootte ($n$): $$ \hat{p} = \frac{X}{n} $$ De standaardfout van de steekproefproportie is: $$ SE(\hat{p}) = \sqrt{\frac{p(1-p)}{n}} $$ Voor grote steekproeven wordt een benaderd betrouwbaarheidsinterval berekend als: $$ \text{BI} = \hat{p} \pm z^{\ast} \times SE(\hat{p}) $$ Hierbij is $z^{\ast}$ de kritieke waarde uit de standaardnormaalverdeling voor het gewenste betrouwbaarheidsniveau. Er geldt de vuistregel dat zowel het aantal successen ($X$) als het aantal mislukkingen ($n-X$) minstens 15 moet zijn en het betrouwbaarheidsniveau minstens 90% om deze benadering te gebruiken. > **Tip:** Voor betrouwbaarheidsintervallen van proporties, vooral bij kleine steekproeven of wanneer $X$ of $n-X$ dicht bij 0 of $n$ liggen, kan de nauwkeurigheid verbeterd worden door de "plus-vier" methode te gebruiken. Hierbij worden 2 successen en 2 mislukkingen aan de data toegevoegd alvorens het interval te berekenen. #### 2.1.2 Significantietoets voor een populatieproportie Bij een significantietoets voor een populatieproportie wordt een nulhypothese $H_0: p = p_0$ getoetst tegen een alternatieve hypothese $H_a$. De toetsingsgrootheid is een z-score: $$ z = \frac{\hat{p} - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} $$ Deze $z$-statistiek is bij benadering standaard normaal verdeeld indien de nulhypothese waar is. De p-waarde wordt bepaald uit de standaardnormaalverdeling, afhankelijk van de richting van de alternatieve hypothese. > **Belangrijk:** Deze toets is betrouwbaar indien zowel het aantal successen als het aantal mislukkingen minstens 10 bedraagt, en de populatie minstens 10 keer zo groot is als de steekproefgrootte ($N \ge 10n$). #### 2.1.3 Nodige steekproefgrootte bepalen Om een populatieproportie te schatten met een specifieke foutmarge $m$ en betrouwbaarheidsniveau, kan de benodigde steekproefgrootte $n$ worden berekend met de formule: $$ n = \frac{(z^{\ast})^2 p^{\ast}(1-p^{\ast})}{m^2} $$ Hierbij is $z^{\ast}$ de kritieke waarde voor het betrouwbaarheidsniveau en $p^{\ast}$ is een conservatieve schatting van de proportie (vaak 0.5 als er geen voorkennis is). Het resultaat van $n$ wordt altijd naar boven afgerond. ### 2.2 Twee proporties vergelijken Het vergelijken van proporties uit twee verschillende populaties of groepen is cruciaal om te bepalen of een bepaald kenmerk relatief vaker voorkomt in de ene groep dan in de andere. Dit wordt gedaan door de populatieproporties $p_1$ en $p_2$ te vergelijken. De standaardmethode is om een onafhankelijke, toevallige steekproef uit elke populatie te trekken en de steekproefproporties $\hat{p}_1$ en $\hat{p}_2$ te vergelijken. #### 2.2.1 Betrouwbaarheidsintervallen voor het verschil tussen twee proporties Een betrouwbaarheidsinterval voor het verschil tussen twee proporties, $p_1 - p_2$, geeft een reeks plausibele waarden voor dit verschil. Voor grote steekproeven wordt dit interval berekend als: $$ (\hat{p}_1 - \hat{p}_2) \pm z^{\ast} \times SE(\hat{p}_1 - \hat{p}_2) $$ De standaardfout van het verschil tussen twee steekproefproporties is: $$ SE(\hat{p}_1 - \hat{p}_2) = \sqrt{\frac{\hat{p}_1(1-\hat{p}_1)}{n_1} + \frac{\hat{p}_2(1-\hat{p}_2)}{n_2}} $$ Hierbij zijn $n_1$ en $n_2$ de groottes van de respectievelijke steekproeven. > **Voorbeeld:** Stel we onderzoeken het gebruik van sociale media bij tieners ($p_1$) en volwassenen ($p_2$) in de VS. Uit een steekproef van 800 tieners blijkt dat 73% sociale media gebruikt ($\hat{p}_1 = 0.73$), en uit een steekproef van 2253 volwassenen gebruikt 47% sociale media ($\hat{p}_2 = 0.47$). Een 95% betrouwbaarheidsinterval voor het verschil $p_1 - p_2$ wordt berekend. De geschatte standaardfout is $\sqrt{\frac{0.73(1-0.73)}{800} + \frac{0.47(1-0.47)}{2253}} \approx 0.0193$. Met $z^{\ast} = 1.96$ voor 95% betrouwbaarheid, is de foutmarge $1.96 \times 0.0193 \approx 0.0378$. Het 95% betrouwbaarheidsinterval is dan $(0.73 - 0.47) \pm 0.0378$, wat resulteert in $[0.26 - 0.0378, 0.26 + 0.0378] = [0.2222, 0.2978]$. We kunnen met 95% betrouwbaarheid stellen dat de proportie tieners die sociale media gebruikt tussen 22.22% en 29.78% hoger ligt dan bij volwassenen. > **Tip:** Net als bij één proportie, kunnen "plus-vier" aanpassingen worden gedaan voor meer nauwkeurige betrouwbaarheidsintervallen bij vergelijking van twee proporties. #### 2.2.2 Significantietoets voor het vergelijken van proporties Bij een significantietoets voor twee proporties toetsen we de nulhypothese $H_0: p_1 = p_2$ (of equivalent $p_1 - p_2 = 0$) tegen een alternatieve hypothese, zoals $H_a: p_1 \neq p_2$. Als de nulhypothese waar is, worden de gegevens van beide steekproeven samengevoegd om een gepoolde (gecombineerde) proportie $\hat{p}_{\text{pooled}}$ te schatten: $$ \hat{p}_{\text{pooled}} = \frac{X_1 + X_2}{n_1 + n_2} $$ De z-toetsingsgrootheid voor het verschil tussen twee proporties, onder de nulhypothese, is: $$ z = \frac{(\hat{p}_1 - \hat{p}_2) - 0}{\sqrt{\hat{p}_{\text{pooled}}(1-\hat{p}_{\text{pooled}})(\frac{1}{n_1} + \frac{1}{n_2})}} $$ De p-waarde wordt bepaald op basis van de standaardnormaalverdeling. > **Belangrijk:** Voor deze toets is het noodzakelijk dat de data afkomstig zijn van twee onafhankelijke, toevallige steekproeven. Verder moeten de aantallen successen en mislukkingen in beide groepen minstens 5 zijn (of 10, afhankelijk van de bron en de gewenste nauwkeurigheid). > **Voorbeeld:** Onderzoekers willen weten of er een verschil is in het aantal kinderen dat zonder ontbijt naar school komt in twee scholen. In school 1 zijn er 19 van de 80 kinderen die niet ontbeten hebben ($\hat{p}_1 = 19/80 = 0.2375$). In school 2 zijn er 26 van de 150 kinderen die niet ontbeten hebben ($\hat{p}_2 = 26/150 \approx 0.1733$). Met een significantieniveau $\alpha = 0.05$. De nulhypothese is $H_0: p_1 = p_2$ en de alternatieve hypothese is $H_a: p_1 \neq p_2$. De gepoolde proportie is $\hat{p}_{\text{pooled}} = \frac{19 + 26}{80 + 150} = \frac{45}{230} \approx 0.1957$. De z-statistiek is: $$ z = \frac{(0.2375 - 0.1733)}{\sqrt{0.1957(1-0.1957)(\frac{1}{80} + \frac{1}{150})}} \approx \frac{0.0642}{\sqrt{0.1574 \times 0.01883}} \approx \frac{0.0642}{0.0544} \approx 1.18 $$ De p-waarde voor deze $z$-waarde (tweezijdig) is ongeveer 0.2378. Aangezien deze p-waarde groter is dan $\alpha=0.05$, wordt de nulhypothese niet verworpen. Er is onvoldoende bewijs om te concluderen dat er een verschil is in het percentage kinderen dat zonder ontbijt naar school komt tussen beide scholen. #### 2.2.3 Relatief Risico (RR) Een andere manier om twee proporties te vergelijken is door het Relatief Risico (RR) te berekenen. Dit is de verhouding tussen de twee proporties: $RR = \frac{p_1}{p_2}$. Een RR van 1 betekent dat de proporties gelijk zijn. Een RR groter dan 1 geeft aan dat de proportie in groep 1 hoger is, en een RR kleiner dan 1 geeft aan dat deze lager is. Het berekenen van betrouwbaarheidsintervallen voor het relatieve risico is complexer en vereist meestal gespecialiseerde software. > **Voorbeeld:** Een studie naar borstkanker en de leeftijd van de eerste bevalling onderzocht vrouwen die minstens één kind hadden. Het relatieve risico op borstkanker voor vrouwen die hun eerste kind kregen na hun 30e vergeleken met degenen die dit voor hun 30e deden, was 1.45. Dit betekent dat vrouwen die op latere leeftijd hun eerste kind kregen 1.45 keer meer risico liepen op borstkanker. Het 95% betrouwbaarheidsinterval voor dit relatieve risico was [1.34; 1.57]. Aangezien dit interval geen 1 bevat, is het verschil statistisch significant. --- # Bepalen van de benodigde steekproefgrootte Oké, hier is de studiegids voor het bepalen van de benodigde steekproefgrootte, gebaseerd op de verstrekte informatie. ## 3. Bepalen van de benodigde steekproefgrootte Dit onderwerp legt uit hoe de vereiste steekproefgrootte kan worden berekend om een populatieproportie te schatten met een specifieke foutmarge en betrouwbaarheidsniveau. ### 3.1 Inleiding tot steekproefgrootteberekening Bij het ontwerpen van een studie is het cruciaal om vooraf de benodigde steekproefgrootte te bepalen. Dit stelt onderzoekers in staat om een populatieproportie te schatten met een gewenste precisie, uitgedrukt in een specifieke foutmarge, en met een bepaald betrouwbaarheidsniveau. Het doel is om een voldoende grote steekproef te verkrijgen die representatief is voor de populatie, zonder onnodig grote aantallen respondenten te verzamelen. ### 3.2 Formule voor de benodigde steekproefgrootte De formule voor het bepalen van de benodigde steekproefgrootte ($n$) voor het schatten van een populatieproportie is afgeleid van de foutmarge van een betrouwbaarheidsinterval. De foutmarge ($m$) wordt gedefinieerd als het product van de kritieke waarde ($z^*$) en de standaardfout van de steekproefproportie. De relatie wordt uitgedrukt als: $$m = z^* \times \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}$$ Om $n$ te bepalen, kunnen we deze formule herschikken. Een conservatieve schatting van $p$, de populatieproportie, is $0.5$ omdat $\hat{p}(1-\hat{p})$ maximaal is bij $p=0.5$. Dit zorgt voor de grootste benodigde steekproefgrootte en garandeert dat de foutmarge niet groter zal zijn dan gewenst, ongeacht de werkelijke populatieproportie. De herschikte formule wordt: $$n = \left( \frac{z^*}{m} \right)^2 \times \hat{p}(1-\hat{p})$$ Voor een conservatieve schatting, wanneer geen voorafgaande data beschikbaar is over de populatieproportie, wordt $\hat{p}$ vaak ingesteld op $0.5$. #### 3.2.1 Voorbeeld: Benodigde steekproefgrootte bepalen Stel dat u wilt schatten hoeveel kiezers zullen stemmen op een bepaalde kandidaat. U wilt de populatieproportie ($p$) schatten met een foutmarge ($m$) van $0.03$ en een betrouwbaarheidsniveau van $95\%$. 1. **Kritieke waarde ($z^*$):** Voor een $95\%$ betrouwbaarheidsniveau is de kritieke waarde $z^* = 1.96$. 2. **Conservatieve schatting van $\hat{p}$:** Aangezien er geen voorafgaande gegevens zijn, gebruiken we $\hat{p} = 0.5$. 3. **Berekening van $n$:** $$n = \left( \frac{1.96}{0.03} \right)^2 \times 0.5(1-0.5)$$ $$n = \left( 65.333 \right)^2 \times 0.25$$ $$n = 4268.57 \times 0.25$$ $$n \approx 1067.14$$ > **Tip:** Omdat een steekproefgrootte altijd een geheel getal moet zijn en we willen garanderen dat de foutmarge niet groter is dan de gewenste waarde, ronden we de berekende steekproefgrootte altijd naar boven af. In dit geval betekent dit dat er 1068 respondenten nodig zijn. *Conclusie:* Er zijn 1068 respondenten nodig om de proportie stemmers voor de kandidaat te schatten met een foutmarge van $0.03$ met $95\%$ betrouwbaarheid. ### 3.3 Factoren die de steekproefgrootte beïnvloeden De benodigde steekproefgrootte wordt beïnvloed door twee hoofdfactoren: * **Betrouwbaarheidsniveau:** Een hoger betrouwbaarheidsniveau vereist een grotere steekproefgrootte. Dit komt doordat een hogere betrouwbaarheid een grotere kritieke waarde ($z^*$) met zich meebrengt, wat de foutmarge vergroot als de steekproefgrootte gelijk blijft. * **Gewenste foutmarge ($m$):** Een kleinere gewenste foutmarge vereist een grotere steekproefgrootte. Een kleinere foutmarge betekent dat we dichter bij de ware populatieparameter willen komen, wat meer informatie (en dus een grotere steekproef) vereist. ### 3.4 Conservatieve schatting van $\hat{p}$ Wanneer er geen eerdere gegevens beschikbaar zijn om de populatieproportie te schatten, is het gebruikelijk om $\hat{p} = 0.5$ te gebruiken. Dit is de meest conservatieve schatting omdat het product $\hat{p}(1-\hat{p})$ maximaal is bij $\hat{p} = 0.5$. Door deze waarde te gebruiken, garandeert men dat de berekende steekproefgrootte groot genoeg zal zijn om de gewenste foutmarge te behalen, ongeacht de werkelijke proportie in de populatie. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Proportie (fractie) | Een proportie vertegenwoordigt het deel van een populatie of steekproef dat een bepaalde eigenschap bezit. Het wordt uitgedrukt als een getal tussen 0 en 1, of als een percentage. | | Steekproevenverdeling van een steekproefproportie | Dit is de verdeling van de steekproefproporties die verkregen zouden worden als men herhaaldelijk steekproeven van dezelfde grootte uit dezelfde populatie zou trekken. | | Betrouwbaarheidsinterval (BI) | Een interval van waarden dat met een bepaalde mate van zekerheid (het betrouwbaarheidsniveau) de ware populatieparameter bevat. | | Foutmarge | Het deel dat wordt opgeteld bij en afgetrokken van de steekproefstatistiek om het betrouwbaarheidsinterval te construeren. Het vertegenwoordigt de onzekerheid in de schatting. | | Kritieke waarde | Een waarde uit de steekproevenverdeling die wordt gebruikt om de foutmarge te bepalen. Deze waarde hangt af van het gekozen betrouwbaarheidsniveau. | | Standaardfout | De standaardafwijking van de steekproevenverdeling van een steekproefstatistiek. Het geeft de typische afwijking aan tussen de steekproefstatistiek en de populatieparameter. | | Significantietoets | Een statistische procedure om te beoordelen of de waargenomen resultaten in een steekproef significant genoeg zijn om een nulhypothese te verwerpen ten gunste van een alternatieve hypothese. | | Nulhypothese ($H_0$) | Een stelling over een populatieparameter die wordt aangenomen als waar totdat er voldoende bewijs is om deze te verwerpen. | | Alternatieve hypothese ($H_a$) | Een stelling die de nulhypothese tegenspreekt. | | p-waarde | De kans om een steekproefresultaat te verkrijgen dat minstens zo extreem is als het waargenomen resultaat, ervan uitgaande dat de nulhypothese waar is. | | Significantieniveau ($\alpha$) | De drempelwaarde die wordt gebruikt om te beslissen of een nulhypothese wordt verworpen. Als de p-waarde kleiner is dan $\alpha$, wordt de nulhypothese verworpen. | | Plus-Vier schatting | Een methode om een betrouwbaarheidsinterval te construeren door 2 successen en 2 mislukkingen toe te voegen aan de steekproefgegevens, wat leidt tot nauwkeurigere intervallen, vooral bij kleine steekproeven. | | Relatief Risico (RR) | Een maatstaf die wordt gebruikt om de verhouding van twee proporties te vergelijken. Het geeft aan hoeveel keer groter of kleiner het risico op een bepaalde uitkomst is in de ene groep vergeleken met de andere. | | Gepoelde (gecombineerde) steekproefproportie | Een gewogen gemiddelde van twee steekproefproporties, gebruikt bij het toetsen van de gelijkheid van twee populatieproporties, waarbij de gewichten gebaseerd zijn op de steekproefgroottes. |

# Introductie tot niet-parametrische toetsen Hier is een samenvatting van het onderwerp "Introductie tot niet-parametrische toetsen", opgesteld als een studiehandleiding. ## 1. Introductie tot niet-parametrische toetsen Niet-parametrische toetsen bieden een waardevol alternatief voor parametrische toetsen wanneer data niet normaal verdeeld zijn of gemeten zijn op ordinaal niveau, en stellen minder strenge eisen aan de datakwaliteit. ### 1.1 De noodzaak van niet-parametrische toetsen Parametrische toetsen, zoals de t-toets en ANOVA, vereisen vaak dat de data normaal verdeeld zijn in de populatie en op intervalniveau gemeten zijn. Hoewel veel methoden robuust zijn voor lichte afwijkingen van normaliteit, zijn niet-parametrische methoden geschikter wanneer deze aannames duidelijk geschonden worden. * **Beperkingen van parametrische toetsen:** * Vereisen normaliteit van de data. * Vereisen interval- of rationiveau metingen. * **Voordelen van niet-parametrische toetsen:** * Minder strenge aannames over de datadistributie. * Geschikt voor ordinale data. * Robuuster tegen uitschieters en scheve verdelingen. #### 1.1.1 Alternatieven voor niet-normaal verdeelde data Wanneer data niet normaal verdeeld zijn, kunnen verschillende strategieën worden overwogen: * **Data transformatie:** Logaritmische of andere transformaties kunnen helpen om de data meer normaal te verdelen, vooral bij rechtsscheve data. * **Alternatieve theoretische verdelingen:** Gebruik maken van toetsen gebaseerd op andere bekende verdelingen. * **Bootstrap methoden:** Computerintensieve methoden die de aanname van normaliteit kunnen omzeilen. * **Niet-parametrische methoden:** Bieden een eenvoudig en waardevol alternatief, gebaseerd op de rangorde van de data. > **Tip:** Niet-parametrische toetsen zijn vaak gebaseerd op het centrum van de populatie (zoals de mediaan) in plaats van het gemiddelde, wat ze geschikter maakt voor scheve verdelingen. #### 1.1.2 Overzicht van niet-parametrische toetsen Dit studieonderdeel focust op de volgende belangrijke niet-parametrische toetsen: * Wilcoxon Rank Sum Test (ook bekend als Mann-Whitney U-test) * Wilcoxon Signed Rank Test * Kruskal-Wallis Test Deze toetsen vervangen respectievelijk de t-toets en ANOVA wanneer de aanname van normaliteit niet voldaan is. ### 1.2 Wilcoxon signed rank test (rangtekentoets) De Wilcoxon signed rank test wordt gebruikt voor afhankelijke (gepaarde of gekoppelde) steekproeven. In tegenstelling tot de eenvoudige tekentoets, die alleen de richting van het verschil in een paar beschouwt, houdt deze toets ook rekening met de *grootte* van het verschil, wat leidt tot een hoger onderscheidingsvermogen. * **Toepasbaar op:** * Within-subjects (herhaalde metingen) designs. * Onderzoek met gematchte paren ("matched subjects"). #### 1.2.1 Procedure van de Wilcoxon signed rank test 1. **Bereken de verschillen:** Bepaal de verschillen tussen de responsen binnen elk paar. 2. **Rangschik de absolute verschillen:** Orden de absolute waarden van deze verschillen van klein naar groot. 3. **Sommeer de rangen:** W+ is de som van de rangen van de positieve verschillen, en W- is de som van de rangen van de negatieve verschillen. 4. **Bepaal de toetsingsgrootheid:** De toetsingsgrootheid $V$ is het minimum van $W+$ en $W-$. $$V = \min(W^+, W^-)$$ 5. **Hypothesetesten:** De nulhypothese (H0) stelt dat er geen systematische verschillen zijn tussen de paren. De hypothese wordt verworpen als $V$ significant verschilt van zijn verwachte waarde. #### 1.2.2 Toetsingsgrootheid en interpretatie * Voor grote steekproeven ($n \ge 10$) kan een normaalbenadering worden gebruikt om de overschrijdingskans te bepalen. * De toetsingsgrootheid $V$ wordt vergeleken met een kritische waarde uit tabellen om de significantie te beoordelen. * In softwarepakketten zoals SPSS wordt de toetsingsgrootheid vaak als $W^-$ of $W^+$ gerapporteerd, afhankelijk van de implementatie. In R wordt de toetsingsgrootheid $V$ gerapporteerd. > **Voorbeeld:** Een onderzoeker wil weten of een filmpje van een spin angst kan opwekken. De hartslag van deelnemers wordt voor en na het zien van het filmpje gemeten. De Wilcoxon signed rank test kan dan gebruikt worden om te bepalen of er een significant verschil is in hartslag. Als meer deelnemers een verhoogde hartslag vertonen na het filmpje, wordt dit meegenomen in de analyse van de rangordes van de verschillen. * **Onderscheidingsvermogen:** De Wilcoxon signed rank test heeft een beter onderscheidingsvermogen dan de "gewone" tekentoets omdat het rekening houdt met de grootte van de verschillen. * **Continuïteitscorrectie:** Bij het gebruik van de normaalbenadering voor grote steekproeven wordt vaak een continuïteitscorrectie toegepast, wat statistische software doorgaans automatisch doet. ### 1.3 Wilcoxon Rank Sum Test (Mann-Whitney U-test) De Wilcoxon Rank Sum Test, ook wel de Mann-Whitney U-test genoemd, is een krachtige niet-parametrische toets voor het vergelijken van twee onafhankelijke verdelingen. * **Uitgangspunt:** Deze toets vergelijkt de posities (rangordes) van de waarnemingen uit beide groepen wanneer deze samen in één geordende lijst worden geplaatst. * **Rangtransformatie:** De oorspronkelijke meetwaarden worden vervangen door hun rangorde (positie in de geordende lijst). Dit betekent dat een deel van de informatie verloren gaat, maar de toets wordt robuuster. #### 1.3.1 Procedure van de Wilcoxon Rank Sum Test 1. **Combineer en rangschik:** Combineer de data van beide groepen en rangschik alle waarnemingen van klein naar groot. De rangorde van elke waarneming wordt vastgelegd. 2. **Bereken rangsommen:** Bereken de som van de rangordes voor elke groep afzonderlijk ($W_X$ en $W_Y$). 3. **Gecorrigeerde rangsommen:** Een "gecorrigeerde rangsom" ($W_{corr}$) wordt berekend door de minimale rangsom voor de groep af te trekken van de gewone rangsom. $$W_{corr} = \text{rangsom} - \text{minimale rangsom}$$ 4. **Bepaal de toetsingsgrootheid:** De toetsingsgrootheid kan $W$ (de gewone rangsom) of $W_{corr}$ (de gecorrigeerde rangsom) zijn. In de literatuur wordt de $W_{corr}$ vaak aangeduid als de $U$-statistiek in de context van de Mann-Whitney U-test. $$W_{corr} = \min(W_X, W_Y)$$ 5. **Hypothesetesten:** De nulhypothese (H0) stelt dat de medianen van de twee groepen gelijk zijn of dat de ene groep niet systematisch hogere scores heeft dan de andere. H0 wordt verworpen als de toetsingsgrootheid significant afwijkt van zijn verwachte waarde. > **Tip:** Er zijn verschillende definities van de toetsingsgrootheid $W$ in de literatuur. Het is cruciaal om te vermelden welke definitie (gewone rangsom of gecorrigeerde rangsom) is gebruikt, of om de toets als een Mann-Whitney U-test te rapporteren waarbij de gecorrigeerde rangsom $W_{corr}$ als $U$ wordt aangeduid. #### 1.3.2 Interpretatie en toepassingen * **Hypothesen:** Vaak wordt H0 geformuleerd als $P[X \ge Y] = 1/2$, wat equivalent is aan $mediaan(X) \ge mediaan(Y)$. * **Grote steekproeven:** Voor grotere steekproeven ($n_1$ en $n_2 \ge 10$) kan de gecorrigeerde rangsom ($W_{corr}$ of $U$) bij benadering normaal verdeeld worden verondersteld met een specifiek gemiddelde en standaardfout. * Gemiddelde van $W_{corr}$ (of $U$): $$\mu_U = \frac{n_1 n_2}{2}$$ * Standaardfout van $W_{corr}$ (of $U$) bij afwezigheid van gelijke scores: $$\sigma_U = \sqrt{\frac{n_1 n_2 (n_1 + n_2 + 1)}{12}}$$ * Wanneer er gelijke scores ("ties") zijn, is er een meer complexe formule voor de standaardfout. * **Software:** Statistische software zoals R en SPSS berekent deze toetsen en biedt opties voor exacte toetsen of benaderingen, inclusief continuïteitscorrecties. > **Voorbeeld:** Onderzoekers vergelijken de motivatiescores van twee groepen: deelnemers die zelf een onderwerp mochten kiezen versus deelnemers die een onderwerp opgelegd kregen. De Wilcoxon Rank Sum Test (Mann-Whitney U-test) wordt gebruikt om te bepalen of de motivatiescores significant verschillen tussen de groepen. Als de gecorrigeerde rangsom $U$ laag is, suggereert dit dat de scores in de ene groep systematisch hoger zijn dan in de andere. #### 1.3.3 Eigenschappen van de Wilcoxon-Mann-Whitney test * **Onderscheidingsvermogen:** Een van de niet-parametrische toetsen met het hoogste onderscheidingsvermogen. Zelfs wanneer toegepast op data die geschikt zouden zijn voor een t-toets, bereikt deze toets ongeveer 95% van het onderscheidingsvermogen van de t-toets. * **Geschiktheid:** Biedt een zeer goed alternatief bij twijfel over de aannames van parametrische toetsen. * **"Ties":** Bij gelijke scores ("ties") zijn de standaardformules voor de benadering minder nauwkeurig. Softwarepakketten bieden hier vaak correcties voor. ### 1.4 Kruskal-Wallis Test De Kruskal-Wallis test is een niet-parametrische rangorde toets die dient als alternatief voor de eenweg ANOVA F-toets. * **Procedure:** Alle waarnemingen van alle groepen worden gecombineerd en gerangschikt. Vervolgens wordt een eenweg ANOVA toegepast op de rangordes in plaats van op de oorspronkelijke meetwaarden. * **Doel:** De test wordt gebruikt om na te gaan of er significante verschillen zijn tussen de medianen van drie of meer onafhankelijke groepen. > **Tip:** Wanneer u meer dan twee groepen met elkaar wilt vergelijken en de aannames van ANOVA niet voldaan zijn, is de Kruskal-Wallis test een geschikte keuze. Het biedt een "omnibus" test die aangeeft of er ergens een significant verschil is tussen de groepen, waarna eventuele follow-up analyses nodig zijn om specifieke groepsverschillen te identificeren. --- # Wilcoxon rangtekentoets voor gekoppelde steekproeven De Wilcoxon rangtekentoets is een niet-parametrische methode om systematische verschillen te detecteren tussen twee afhankelijke (gekoppelde) metingen. ### 2.1 Toepassingsgebied Deze toets is geschikt voor situaties waarin metingen gekoppeld zijn. Dit kan voorkomen bij: * **Within-subjects (herhaalde metingen) onderzoek:** Dezelfde proefpersonen worden tweemaal gemeten, bijvoorbeeld voor en na een interventie. * **Onderzoek met gematchte paren (matched subjects):** Proefpersonen worden op basis van relevante kenmerken aan elkaar gekoppeld. De toets houdt rekening met zowel de richting als de grootte van de verschillen binnen de paren, wat resulteert in een groter onderscheidingsvermogen dan de eenvoudigere tekentoets. ### 2.2 Berekening van de toetsingsgrootheid Bij de Wilcoxon rangtekentoets worden de volgende stappen doorlopen: 1. **Bepaal de verschillen:** Bereken het verschil tussen de twee metingen voor elk paar. 2. **Orden de absolute verschillen:** Rangschik de absolute waarden van deze verschillen van klein naar groot. 3. **Ken rangen toe:** Ken aan elk geordend absoluut verschil een rang toe. 4. **Splits de rangen:** Verdeel de rangen opnieuw op basis van de oorspronkelijke richting van de verschillen (positieve versus negatieve verschillen). 5. **Bereken de sommen van de rangen:** * $W^+$: De som van de rangen van de positieve verschillen. * $W^-$: De som van de rangen van de negatieve verschillen. De toetsingsgrootheid, aangeduid als $V$, wordt berekend als het minimum van deze twee sommen: $$V = \min(W^+, W^-)$$ **Tip:** Sommige literatuur en softwarepakketten gebruiken enkel $W^+$ als toetsingsgrootheid, met name wanneer de normaalbenadering wordt toegepast. Voor exacte toetsen met behulp van tabellen is het cruciaal om het minimum van $W^+$ en $W^-$ te gebruiken, omdat alleen die waarde in de beschikbare tabellen wordt vermeld. **Vergelijking met de tekentoets:** In tegenstelling tot de gewone tekentoets, die enkel kijkt naar de richting van het verschil, neemt de Wilcoxon rangtekentoets de grootte van het verschil mee in de analyse door middel van de rangen van de absolute verschillen. **Aantal ongelijke paren:** De toets wordt uitgevoerd op basis van de paren waarin daadwerkelijk een verschil is geobserveerd. Dit aantal wordt vaak aangeduid met $N^*$. Paren met een verschil van nul worden dus niet meegenomen in de rangorde en de berekeningen van $W^+$ en $W^-$. ### 2.3 Interpretatie van de resultaten De nulhypothese ($H_0$) stelt dat er geen systematische verschillen zijn tussen de twee metingen binnen de paren. De alternatieve hypothese ($H_1$) stelt dat er wel systematische verschillen zijn. De nulhypothese wordt verworpen als de toetsingsgrootheid $V$ significant afwijkt van de verwachte waarde onder de nulhypothese. Dit gebeurt wanneer $V$ kleiner is dan een kritische waarde uit een binomiale tabel (voor kleine steekproeven) of wanneer een berekende $p$-waarde kleiner is dan het significantieniveau (vaak $\alpha = 0.05$). #### 2.3.1 Benaderingsmethode voor grote steekproeven Voor grotere steekproeven (typisch $n \geq 10$, waarbij $n$ het aantal ongelijke paren voorstelt) kan de verdeling van $V$ bij benadering normaal verdeeld worden beschouwd. In dergelijke gevallen kan de overschrijdingskans worden berekend met behulp van de z-verdeling. #### 2.3.2 Voorbeeld: Hartslag voor en na een interventie Stel dat de hartslagen voor (Hv) en na (Hn) het zien van een spin als volgt zijn gemeten bij 16 proefpersonen: Hv = [75, 62, 80, 69, 72, 72, 76, 64, 70, 73, 68, 68, 72, 70, 68, 67] Hn = [75, 63, 79, 67, 75, 75, 73, 67, 75, 78, 73, 73, 78, 78, 80, 79] 1. **Verschillen (Hn - Hv):** [0, 1, -1, -2, 3, 3, -3, 3, 5, 5, 5, 5, 6, 8, 12, 12] 2. **Absolute verschillen (uitgezonderd 0):** [1, 1, 2, 3, 3, 3, 3, 5, 5, 5, 5, 6, 8, 12, 12] (Er zijn 15 paren met een verschil, $N^* = 15$) 3. **Rangschikking van absolute verschillen:** * 1 (rang 1, 2) * 2 (rang 3) * 3 (rang 4, 5, 6, 7) * 5 (rang 8, 9, 10, 11) * 6 (rang 12) * 8 (rang 13) * 12 (rang 14, 15) 4. **Toewijzing van rangen aan oorspronkelijke verschillen:** * Positieve verschillen: [3, 3, 3, 3, 5, 5, 5, 5, 6, 8, 12, 12] * Negatieve verschillen: [-1, -2, -3] 5. **Sommen van de rangen:** * De rangen voor de positieve verschillen (3, 3, 3, 3, 5, 5, 5, 5, 6, 8, 12, 12) zijn: * Voor de drieën: rangen 4, 5, 6, 7 * Voor de vijven: rangen 8, 9, 10, 11 * Voor de zessen: rang 12 * Voor de achten: rang 13 * Voor de twaalven: rangen 14, 15 $W^+ = (4+5+6+7) + (8+9+10+11) + 12 + 13 + (14+15) = 22 + 38 + 12 + 13 + 29 = 114$ * De rangen voor de negatieve verschillen (-1, -2, -3) zijn: * Voor de -1: rang 1 * Voor de -2: rang 3 * Voor de -3: rang 4 $W^- = 1 + 3 + 4 = 8$ 6. **Toetsingsgrootheid:** $V = \min(W^+, W^-) = \min(114, 8) = 8$ **Interpretatie van het voorbeeld:** Met $V = 8$ en een relatief klein aantal ongelijke paren, zou men de $p$-waarde opzoeken in een binomiale tabel. Als deze $p$-waarde lager is dan het gekozen significantieniveau, wordt de nulhypothese verworpen en concludeert men dat er een significant verschil is in hartslag vóór en na het zien van de spin. Als de $p$-waarde bijvoorbeeld kleiner is dan 0.005, kan geconcludeerd worden dat een meerderheid van de deelnemers een verhoogde hartslag vertoonde na het tonen van een spin. **Tip:** Verschillende statistische softwarepakketten, zoals R, bieden functies om deze toets direct uit te voeren. Rapporteer altijd de gebruikte software en de specifieke functie of commando dat is gebruikt. Bijvoorbeeld, de R-output voor de hartslagdata toont een $p$-waarde van 0.004743, wat significant is op het $\alpha=0.05$ niveau. #### 2.3.3 Belangrijkheid van de continuïteitscorrectie Bij het benaderen van de verdeling met een normaalverdeling, wordt doorgaans een continuïteitscorrectie toegepast om de discrete aard van de rangen te compenseren. De meeste statistische softwarepakketten passen deze correctie automatisch toe wanneer de normaalbenadering wordt gebruikt. > **Tip:** Controleer altijd de documentatie van de gebruikte software om te zien of een continuïteitscorrectie is toegepast en vermeld dit expliciet in uw rapportage indien relevant. ### 2.4 Vergelijking met de Mann-Whitney U-test Het is belangrijk de Wilcoxon rangtekentoets voor gekoppelde steekproeven niet te verwarren met de Wilcoxon rangsomtoets (ook bekend als de Mann-Whitney U-test), die wordt gebruikt voor **onafhankelijke** steekproeven. Beide toetsen zijn niet-parametrisch en gebaseerd op rangscores, maar ze zijn bedoeld voor verschillende onderzoeksdesigns. --- # Wilcoxon rangsomtoets voor onafhankelijke steekproeven (Mann-Whitney U-test) De Wilcoxon rangsomtoets, ook bekend als de Mann-Whitney U-test, is een niet-parametrische toets die gebruikt wordt om twee onafhankelijke verdelingen te vergelijken. ### 3.1 Inleiding tot de Wilcoxon rangsomtoets * **Doel:** Het vergelijken van de verdelingen van twee onafhankelijke groepen. Dit is een niet-parametrisch alternatief voor de t-toets voor onafhankelijke steekproeven, vooral wanneer de data niet normaal verdeeld zijn of wanneer de data van ordinaal niveau zijn. * **Uitgangspunt:** De toets vergelijkt de posities van de waarnemingen van beide groepen in een geordende lijst van alle waarnemingen. ### 3.2 Rangtransformatie * **Concept:** De oorspronkelijke meetwaarden worden vervangen door hun rangorde. De waarneming met de kleinste meetwaarde krijgt rang 1, de volgende rang 2, enzovoort. * **Proces:** 1. Combineer alle waarnemingen van beide groepen. 2. Orden de gecombineerde waarnemingen van klein naar groot. 3. Ken aan elke waarneming haar rangnummer toe. * **Gevolg:** Een deel van de informatie gaat verloren, omdat de exacte numerieke waarden worden vervangen door hun positie in de ordening. ### 3.3 Hypotheses De nulhypothese ($H_0$) stelt doorgaans dat de medianen van de twee populaties gelijk zijn, of dat de ene populatie niet systematisch hogere of lagere waarden heeft dan de andere. De alternatieve hypothese ($H_A$) stelt dat er wel een verschil is. * **Voorbeeld Hypotheses:** * $H_0$: mediaan($X$) = mediaan($Y$) * $H_A$: mediaan($X$) $\neq$ mediaan($Y$) (tweezijdig) * $H_0$: mediaan($X$) $\leq$ mediaan($Y$) * $H_A$: mediaan($X$) $>$ mediaan($Y$) (eenzijdig) > **Tip:** De Wilcoxon-Mann-Whitney test gaat uit van gelijke verdelingsvormen (maar niet noodzakelijk normaliteit). Als de verdelingen significant verschillen in vorm, kan de interpretatie van verschillen in medianen complex worden. ### 3.4 Berekening van de toetsingsgrootheid Er zijn twee veelgebruikte definities voor de toetsingsgrootheid: de "gewone rangsom" (W) en de "gecorrigeerde rangsom" ($W_{corr}$, ook vaak aangeduid als U). #### 3.4.1 Gewone rangsom (W) * **Berekening:** 1. Bereken de som van de rangen voor groep X ($W_X$) en voor groep Y ($W_Y$). 2. De toetsingsgrootheid is het minimum van deze twee sommen: $W = \min(W_X, W_Y)$. #### 3.4.2 Gecorrigeerde rangsom ($W_{corr}$ of U) Deze berekening corrigeert de rangsom voor de grootte van de groep. * **Berekening:** 1. Bereken de som van de rangen voor groep X ($W_X$) en voor groep Y ($W_Y$). 2. Bepaal de minimale mogelijke som van rangen voor de kleinste groep. Dit is de som van de eerste $n_{klein}$ rangnummers, waar $n_{klein}$ de grootte van de kleinste groep is. $$ \text{Minimale rangsom} = \frac{n_{klein}(n_{klein} + 1)}{2} $$ 3. De gecorrigeerde rangsom voor groep X is: $$ W_{corr, X} = W_X - \frac{n_X(n_X + 1)}{2} $$ 4. De gecorrigeerde rangsom voor groep Y is: $$ W_{corr, Y} = W_Y - \frac{n_Y(n_Y + 1)}{2} $$ 5. De toetsingsgrootheid $U$ is het minimum van deze gecorrigeerde sommen, of een alternatieve berekening die gelijk is aan het aantal paren waarbij een waarneming uit groep X een hogere rang heeft dan een waarneming uit groep Y. Vaak wordt $U$ gedefinieerd als $U = n_1 n_2 + \frac{n_1(n_1+1)}{2} - W_1$ (waarbij $W_1$ de rangsom van groep 1 is). Software rapporteert vaak de kleinere van de twee mogelijke U-waarden. > **Opmerking:** De keuze tussen het rapporteren van W of U kan verwarrend zijn. Het is cruciaal om duidelijk te vermelden welke toetsingsgrootheid wordt gebruikt en hoe deze is berekend, of om aan te geven welke software gebruikt is. Veel statistische softwarepakketten rapporteren de $U$-waarde (gecorrigeerde rangsom) als toetsingsgrootheid. #### 3.4.3 Geknoopte rangen (ties) * **Probleem:** Wanneer er gelijke waarnemingswaarden zijn ("knopen" of "ties"), wordt de rangtoekenning ingewikkelder. Meestal worden de rangen gemiddeld voor de gebonden waarden. * **Impact:** De standaardformules voor de variantie en de normaalbenadering zijn dan minder nauwkeurig. Statistische software past doorgaans correcties toe voor geknoopte rangen. ### 3.5 Interpretatie van de resultaten * **Toetsingsgrootheid:** De berekende $W$ of $U$ waarde. * **Overschrijdingskans (p-waarde):** Deze wordt bepaald met behulp van tabellen (voor kleine steekproeven) of via een normaalbenadering (voor grotere steekproeven). * **Beslissing:** * Als de p-waarde kleiner is dan het gekozen significantieniveau ($\alpha$, meestal 0.05), wordt de nulhypothese verworpen. Dit suggereert een significant verschil tussen de twee verdelingen. * Als de p-waarde groter is dan $\alpha$, wordt de nulhypothese niet verworpen. Er is onvoldoende bewijs voor een significant verschil. ### 3.6 Normaalbenadering voor grote steekproeven Voor grote steekproeven (meestal $n_1 \geq 10$ en $n_2 \geq 10$) kan de verdeling van de toetsingsgrootheid benaderd worden door een normaalverdeling. * **Toetsingsgrootheid $W_{corr}$ (U):** * Gemiddelde: $E(U) = \frac{n_1 n_2}{2}$ * Standaarddeviatie: $SD(U) = \sqrt{\frac{n_1 n_2 (n_1 + n_2 + 1)}{12}}$ * De z-score wordt dan berekend als: $Z = \frac{U - E(U)}{SD(U)}$ * **Toetsingsgrootheid W (niet-gecorrigeerd):** * Gemiddelde: $E(W) = \frac{N(N+1)}{4}$, waarbij $N = n_1 + n_2$. * Standaarddeviatie: $SD(W) = \sqrt{\frac{n_1 n_2 (N+1)}{12}}$ * De z-score wordt dan berekend als: $Z = \frac{W - E(W)}{SD(W)}$ > **Let op:** Bij geknoopte rangen zijn de formules voor de standaarddeviatie complexer. Statistische software past deze correcties automatisch toe. Vaak wordt ook een continuïteitscorrectie toegepast in de normaalbenadering. ### 3.7 Eigenschappen en voordelen * **Robuustheid:** Vereist geen normaliteit van de data. * **Meetniveau:** Toepasbaar op ordinale data, maar ook op interval- en rationiveau indien niet aan de aannames van parametrische toetsen wordt voldaan. * **Onderscheidingsvermogen:** Heeft een hoog onderscheidingsvermogen (ongeveer 95% van dat van de t-toets voor onafhankelijke steekproeven wanneer de data wel aan de aannames van de t-toets voldoen). Dit maakt het een goed alternatief bij twijfel. * **Eenvoud:** Relatief eenvoudig te begrijpen en toe te passen, vooral met behulp van statistische software. ### 3.8 Vergelijking met andere toetsen * **T-toets voor onafhankelijke steekproeven:** De Wilcoxon-Mann-Whitney test is het niet-parametrische equivalent wanneer de aannames voor de t-toets (normaliteit, gelijke varianties) geschonden zijn. * **Wilcoxon tekentoets (signed rank test):** Deze toets wordt gebruikt voor **afhankelijke** steekproeven (gepaarde waarnemingen), terwijl de Mann-Whitney U-test voor **onafhankelijke** steekproeven is. ### 3.9 Rapporteren van resultaten Wanneer de Wilcoxon-Mann-Whitney test wordt gerapporteerd, is het belangrijk om: * Vermelden welke toets is gebruikt (bijv. Mann-Whitney U-test of Wilcoxon rangsomtoets). * De waarde van de toetsingsgrootheid te vermelden (bijv. $U = 37$ of $W = 92$). * De p-waarde te vermelden (bijv. $p = 0.06$). * De richting van het verschil aan te geven, indien relevant (bijv. "groep A had significant hogere scores dan groep B"). * Expliciet te vermelden indien een gecorrigeerde rangsom ($W_{corr}$ of $U$) is gebruikt. > **Voorbeeld rapportage:** > "Deelnemers die zelf een onderwerp kozen hadden hogere motivatiescores dan deelnemers die een onderwerp opgelegd kregen, echter, dit verschil is niet significant (Mann-Whitney test: $U = 37$, $p = 0.06$)." > OF > "Deelnemers die zelf een onderwerp hadden gekozen bleken niet significant meer gemotiveerd dan deelnemers met een opgelegd onderwerp (Wilcoxon test zonder correctie: $W = 92$, $p = 0.06$)." --- # Kruskal-Wallis toets De Kruskal-Wallis toets is een niet-parametrische rangorde toets die dient als alternatief voor de eenweg ANOVA F-toets, en wordt gebruikt om meer dan twee onafhankelijke groepen te vergelijken. ### 4.1 Inleiding en concept * **Doel:** Vergelijken van het centrum van de verdelingen van meer dan twee onafhankelijke groepen, met name wanneer de aanname van normaliteit voor de ANOVA niet voldaan is. * **Basisprincipe:** De toets is gebaseerd op de rangorde van alle waarnemingen uit alle groepen samen, in plaats van op de oorspronkelijke meetwaarden. Dit betekent dat de data eerst globaal worden geordend, waarna de rangen worden geanalyseerd. * **Alternatief voor ANOVA:** De Kruskal-Wallis toets is een niet-parametrisch alternatief voor de parametrische ANOVA F-toets. * **Assumpties:** * De afhankelijke variabele is ordinaal gemeten of continu en voldoet niet aan de normaliteitsaanname van de ANOVA. * De observaties binnen elke groep zijn onafhankelijk. * De groepen zijn onafhankelijk. * De vorm van de verdeling is voor elke groep gelijk (dit is een sterkere aanname die nodig is om te concluderen over medianen). Indien deze aanname niet geldt, test de toets dan of de rangordes significant verschillen tussen de groepen. ### 4.2 Procedure 1. **Rangschikken van alle data:** Alle waarnemingen uit alle te vergelijken groepen worden samengevoegd en van klein naar groot gerangschikt. De laagste waarde krijgt rang 1, de volgende rang 2, enzovoort. Bij gelijke waarden (ties) worden gemiddelde rangen toegekend. 2. **Berekenen van de rangsom per groep:** Voor elke groep wordt de som van de rangen van de waarnemingen die tot die groep behoren, berekend. 3. **Toetsingsgrootheid berekenen:** De Kruskal-Wallis toetsingsgrootheid, $H$, wordt berekend op basis van de rangsommen en de groepsgroottes. De formule voor de Kruskal-Wallis toetsingsgrootheid $H$ is: $$H = \frac{12}{N(N+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} - 3(N+1)$$ Waar: * $N$ = het totale aantal waarnemingen over alle groepen ($N = \sum_{i=1}^{k} n_i$). * $k$ = het aantal groepen. * $n_i$ = het aantal waarnemingen in groep $i$. * $R_i$ = de som van de rangen in groep $i$. Een alternatieve formule, vooral nuttig bij de berekening, is: $$H = \frac{1}{2} \left( \frac{\sum_{i=1}^{k} \frac{R_i^2}{n_i}}{\sum_{j=1}^{N} j^2 / N} - 3(N+1) \right)$$ of simpelweg, met correctie voor ties: $$H = \frac{12}{N(N+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} - 3(N+1)$$ Er bestaat ook een aangepaste formule om te corrigeren voor het voorkomen van gelijke waarden (ties): $$H_{corr} = \frac{H}{1 - \frac{\sum_{j=1}^{m} (t_j^3 - t_j)}{N^3 - N}}$$ Waar: * $m$ = het aantal sets van gelijke waarden. * $t_j$ = het aantal waarnemingen in de $j$-de set van gelijke waarden. 4. **Beslissing:** * Voor kleine steekproeven wordt de exacte kansverdeling van $H$ gebruikt of worden kritische waarden uit tabellen opgezocht. * Voor grotere steekproeven (algemeen $N > 20$) kan de toetsingsgrootheid $H$ bij benadering worden getoetst met een $\chi^2$-verdeling met $k-1$ vrijheidsgraden. De nulhypothese wordt verworpen als de berekende $H$ groter is dan de kritische $\chi^2$-waarde voor een bepaald significantieniveau $\alpha$. ### 4.3 Hypothesen * **Nulhypothese ($H_0$):** De verdelingen van de afhankelijke variabele zijn voor alle $k$ groepen identiek. Dit betekent dat de medianen (of andere centrummaten) van de groepen gelijk zijn. $$H_0: \text{mediaan}_1 = \text{mediaan}_2 = \dots = \text{mediaan}_k$$ * **Alternatieve hypothese ($H_a$):** Ten minste één van de groepverdelingen verschilt van de andere. $$H_a: \text{niet alle medianen zijn gelijk}$$ ### 4.4 Interpretatie en follow-up * **Globale toets:** De Kruskal-Wallis toets is een "omnibus test" die aangeeft óf er een significant verschil is tussen de groepen, maar niet welke groepen specifiek van elkaar verschillen. * **Follow-up testen:** Indien de nulhypothese wordt verworpen (dus als er een significant verschil is gevonden), is een follow-up analyse nodig om te bepalen welke groepen significant van elkaar verschillen. Dit wordt doorgaans gedaan met gepaarde vergelijkingen (bijvoorbeeld Mann-Whitney U-toetsen) tussen de groepen, waarbij de significantieniveaus moeten worden gecorrigeerd om het probleem van meervoudige vergelijkingen te beheersen (bijvoorbeeld Bonferroni-correctie). > **Tip:** Wanneer je post-hoc testen uitvoert na een Kruskal-Wallis toets, is het belangrijk om de significantieniveaus aan te passen om het risico op Type I fouten te verminderen. De Bonferroni-correctie, waarbij het oorspronkelijke significantieniveau $\alpha$ wordt gedeeld door het aantal uitgevoerde vergelijkingen, is een veelgebruikte methode. ### 4.5 Voorbeeld Stel dat we de effectiviteit van drie verschillende trainingsmethoden willen vergelijken op de prestaties van atleten. De prestatiescores worden verzameld voor drie groepen atleten, elk getraind met een andere methode. Aangezien de prestatiescores niet normaal verdeeld blijken te zijn, wordt de Kruskal-Wallis toets gebruikt. 1. **Data:** * Groep 1 (Methode A): Scores 75, 62, 80, 69 * Groep 2 (Methode B): Scores 75, 63, 79, 67 * Groep 3 (Methode C): Scores 73, 67, 75, 78, 73, 73, 78, 78, 80, 79 2. **Rangschikken:** Alle 17 scores worden samengevoegd en gerangschikt. * 62 (rang 1), 63 (rang 2), 67 (rang 3), 67 (rang 4), 69 (rang 5), 73 (rang 6), 73 (rang 7), 73 (rang 8), 75 (rang 9), 75 (rang 10), 75 (rang 11), 78 (rang 12), 78 (rang 13), 78 (rang 14), 79 (rang 15), 79 (rang 16), 80 (rang 17), 80 (rang 18). * Er zijn ties: vier keer 67, drie keer 73, drie keer 75, drie keer 78, twee keer 79, twee keer 80. De gemiddelde rangen voor de tied scores worden berekend. Bijvoorbeeld, de scores 67 krijgen de gemiddelde rang van (3+4)/2 = 3.5. 3. **Rangsommen per groep:** Na het toekennen van de gemiddelde rangen, worden de rangsommen per groep berekend. * Groep 1 ($n_1=4$): Rangsom $R_1$ * Groep 2 ($n_2=4$): Rangsom $R_2$ * Groep 3 ($n_3=10$): Rangsom $R_3$ 4. **Berekenen H:** De toetsingsgrootheid $H$ wordt berekend met de formule. 5. **Beslissing:** De waarde van $H$ wordt vergeleken met de kritische waarde uit de $\chi^2$-verdeling met $k-1 = 3-1 = 2$ vrijheidsgraden, of een exacte p-waarde wordt bepaald. Als de p-waarde kleiner is dan het gekozen significantieniveau (bijvoorbeeld 0.05), wordt de nulhypothese verworpen. ### 4.6 Voordelen en nadelen * **Voordelen:** * Vereist minder strikte aannames dan parametrische toetsen (zoals normaliteit). * Geschikt voor ordinale data. * Robuust tegen uitschieters. * Een van de niet-parametrische toetsen met het hoogste onderscheidingsvermogen; zelfs op intervalniveau data die geschikt zouden zijn voor een t-toets, presteert de Kruskal-Wallis toets ongeveer 95% van het onderscheidingsvermogen van de ANOVA. * **Nadelen:** * Minder onderscheidingsvermogen dan parametrische toetsen wanneer de aannames van de parametrische toetsen wél voldaan zijn. * Geeft geen informatie over de effectgrootte op de oorspronkelijke schaal, alleen over de rangordes. * Bij veel ties worden de formules complexer en kan statistische software nodig zijn voor nauwkeurige resultaten. ### 4.7 Relatie met andere toetsen * **ANOVA F-toets:** De Kruskal-Wallis toets is het niet-parametrische equivalent van de eenweg ANOVA F-toets. * **Mann-Whitney U-toets (Wilcoxon Rank Sum Test):** Dit is het niet-parametrische equivalent van de onafhankelijke t-toets voor twee groepen. De Kruskal-Wallis toets kan worden gezien als een uitbreiding van de Mann-Whitney U-toets naar meer dan twee groepen. Als er slechts twee groepen zijn, is de Kruskal-Wallis toets equivalent aan de Mann-Whitney U-toets. * **Wilcoxon Signed Rank Test:** Dit is het niet-parametrische equivalent van de gepaarde t-toets en wordt gebruikt voor afhankelijke steekproeven. De Kruskal-Wallis toets wordt daarentegen gebruikt voor onafhankelijke steekproeven. --- ## Veelgemaakte fouten om te vermijden - Bestudeer alle onderwerpen grondig voor examens - Let op formules en belangrijke definities - Oefen met de voorbeelden in elke sectie - Memoriseer niet zonder de onderliggende concepten te begrijpen

| Term | Definition | |------|------------| | Niet-parametrische toetsen | Statistische methoden die minder strikte eisen stellen aan de datakwaliteit, met name met betrekking tot de veronderstelde verdeling van de populatie, zoals normaliteit. Ze zijn vaak gebaseerd op rangordes van data. | | Intervalniveau | Een meetschaal waarbij de verschillen tussen waarden betekenisvol zijn en de nulpunten arbitrair zijn. Hierdoor kan men de relatieve verschillen tussen metingen uitdrukken, maar geen absolute verhoudingen. | | Populatie | De volledige groep individuen, objecten of gebeurtenissen waarover men een conclusie wil trekken in een statistisch onderzoek. | | Normaal verdeeld | Een symmetrische, klokvormige verdeling van data waarbij de meeste waarnemingen rond het gemiddelde liggen en de frequentie afneemt naarmate men verder van het gemiddelde verwijderd is. | | Robuust (statistieken) | Statistieken die ongevoelig zijn voor uitschieters of afwijkingen van de normale verdeling. Ze blijven relatief stabiel, zelfs bij niet-ideale data. | | Uitschieters | Waarnemingen die significant afwijken van de rest van de data in een dataset. Ze kunnen een grote invloed hebben op statistische berekeningen en resultaten. | | Transformatie van data | Wiskundige bewerkingen die worden toegepast op ruwe data om de verdeling ervan te veranderen, bijvoorbeeld om scheefheid te corrigeren of aan de assumpties van een statistische test te voldoen. | | Logaritme nemen | Een wiskundige transformatie die vaak wordt toegepast op rechts-scheve data om de verdeling symmetrischer te maken en de variantie te stabiliseren. | | Bootstrap methoden | Computerintensieve statistische methoden die herhaaldelijk samples trekken uit de bestaande data om de onzekerheid in schattingen te bepalen en betrouwbaarheidsintervallen te construeren, zonder sterke aannames over de populatieverdeling. | | Psychologische meetinstrumenten | Instrumenten, zoals vragenlijsten of tests, die worden gebruikt om psychologische constructen te meten. Vaak meten deze op ordinaal niveau in plaats van intervalniveau. | | Onderscheidingsvermogen (statistieken) | De capaciteit van een statistische test om een werkelijk bestaand effect of verschil tussen groepen te detecteren (ook wel power genoemd). | | Rangorde | De volgorde van data op basis van hun relatieve grootte, waarbij elke waarde een rangnummer krijgt toegewezen. | | Effectgrootte | Een maat voor de omvang van een effect of verschil tussen groepen, onafhankelijk van de steekproefgrootte. | | Wilcoxon Rangsom Test (Mann-Whitney U-test) | Een niet-parametrische toets voor twee onafhankelijke steekproeven die de medianen van twee groepen vergelijkt door de rangordes van de data te gebruiken. | | Wilcoxon Rangtekentoets (Signed Rank Test) | Een niet-parametrische toets voor twee afhankelijke (gepaarde) steekproeven die de medianen van de verschillen binnen paren analyseert op basis van rangordes. | | Gepaarde data | Data waarbij metingen afkomstig zijn van dezelfde eenheden onder verschillende condities, of van matchende eenheden, waardoor er een natuurlijke koppeling ontstaat tussen de metingen. | | Toetsingsgrootheid | Een waarde berekend uit steekproefdata die wordt gebruikt om de nulhypothese te toetsen. Het vergelijken van deze grootheid met een kritische waarde of het bepalen van de p-waarde leidt tot een beslissing. | | Verwachting (in statistiek) | De gemiddelde waarde van een willekeurige variabele over een groot aantal herhalingen van een experiment of steekproef. | | Standaardfout | De standaarddeviatie van de steekproevenverdeling van een schatter. Het geeft een indicatie van de precisie van de schatter. | | Manipulatie check | Een procedure om te verifiëren of de experimentele manipulatie succesvol is geweest in het opwekken van het gewenste effect of de gewenste conditie bij de deelnemers. | | N* | Het aantal paren waarin er een verschil is tussen beide waarnemingen, gebruikt in de Wilcoxon rangtekentoets. | | Rangtransformatie | Het proces waarbij de ruwe meetwaarden van data worden vervangen door hun rangnummers, gebaseerd op hun positie in een gesorteerde lijst. | | Kruskal-Wallis Test | Een niet-parametrische toets voor drie of meer onafhankelijke groepen die wordt gebruikt als alternatief voor de éénweg ANOVA wanneer de data niet normaal verdeeld is. | | Omnibus test | Een statistische test die wordt gebruikt om te bepalen of er een algemeen significant effect of verschil is tussen meerdere groepen of variabelen, zonder specifiek aan te geven waar de verschillen liggen. | | Chi-kwadraat statistiek | Een statistische maat die wordt gebruikt in chi-kwadraat toetsen om de afwijking tussen de geobserveerde frequenties en de verwachte frequenties te meten. | | Continueitscorrectie | Een aanpassing die wordt toegepast bij het benaderen van een discrete verdeling (zoals de binomiale verdeling) met een continue verdeling (zoals de normale verdeling) om de nauwkeurigheid te verbeteren, vaak door een halve eenheid toe te voegen of af te trekken. | | Ties | Gelijkwaardige waarden (gelijke scores of rangen) binnen een dataset. Dit kan de berekening van sommige statistische toetsen beïnvloeden. |