Le test de Welch

\bullet Présentation:

Publié en 1947 par Bernard Lewis Welch comme une solution approchée au problème de Behrens-Fisher, le test de Welch (nommé aussi Satterthwaite ou Welch-Satterthwaite) est une approche paramétrique permettant de tester la liaison entre une variable continue X et une variable binaire Y. Soit X|_{g1} et X|_{g2} les sous-échantillons de X restreint aux groupes 1 et 2 de Y, l’objectif du test de Welch est alors de déterminer si oui ou non il y a égalité des moyennes des deux sous-échantillons au sens statistique.

L’hypothèse d’utilisation est que X|_{g1} et X|_{g2} suivent une loi normale et que leur variance soit différente. En ce sens, il est une alternative plus robuste au test de Student quand la condition sur les variances n’est pas respectée.

Cet article présente également le cas de l’ANalyse De VAriance (ANOVA) de Welch utilisée comme une alternative à l’ANOVA de Fisher lorsque les variances ne sont pas égales.

\bullet Le test:

Hypothèse préliminaire: X continue et Y binaire. Normalité et inégalité des variances.

Soit (\mu_1, \sigma_1 ^2) et (\mu_2, \sigma_2 ^2) les moyennes et variances respectives des sous-échantillons de X restreintes aux groupes 1 et 2 de Y. La statistique du test de Welch est alors:

T= \frac{\mu_1 - \mu_2}{\sqrt{\frac{\sigma_1 ^2}{n_1} + \frac{\sigma_2 ^2}{n_2}}}

En posant E[c] la partie entière de c, cette statistique suit une loi de Student à E[\frac{(\frac{\sigma_1 ^2}{n_1} + \frac{\sigma_2 ^2}{n_2}) ^2}{\frac{\frac{\sigma_1 ^2}{n_1}}{n_1 - 1} + \frac{\frac{\sigma_2 ^2}{n_2}}{n_2 - 1}}] degrés et l’hypothèse H_0 est:  » Les moyennes sont égales / \mu_1 = \mu_2« .

Ci-dessous la table de Student:

addTendance pour rejeter H_0:  Afin d’accepter H_0 il faut que,

T = \frac{\mu_1 - \mu_2}{\sqrt{\frac{\sigma_1 ^2}{n_1} + \frac{\sigma_2 ^2}{n_2}}} \longrightarrow 0

C’est-à-dire soit \mu_1 \longrightarrow \mu_2 (ou inverse) soit \sigma_1 ^2, \sigma_2 ^2 \longrightarrow \infty. Inversement, nous rejetterons H_0 de plus en plus fortement que les moyennes seront éloignées et les variances faibles.

L’ANOVA de Welch:

Elle a été publiée en 1951 et présente une alternative d’intérêt à l’ANOVA de Fisher lorsque les variances des sous-échantillons X|_{Y = k}, \forall k \in[1,K] ne sont pas égales.

La formule de l’ANOVA de Welch est,

F = \frac{\frac{1}{K - 1} \sum_{k = 1} ^K w_k (\overline{X|_{Y = k}} - \delta) ^2}{1 + \frac{2 (K - 2)}{K ^2 - 1} \sum_{k = 1} ^K (\frac{1}{n_k - 1}) (1 - \frac{w_k}{w}) ^2}

Avec,

w_k = \frac{n_k}{\sigma_k ^2}

w = \sum_{k = 1} ^K w_k

\delta = \frac{\sum_{k = 1} ^K w_k \overline{X|_{Y = k}}}{w}

La statistique de test de l’ANOVA de Welch suit une loi de Fisher à (K - 1, \frac{K ^2 - 1}{3 \sum_{k = 1} ^K (\frac{1}{n_k - 1}) (1 - \frac{w_k}{w}) ^2}). L’hypothèse H_0 étant: « Les variances des différents sous-échantillons sont égales / \sigma_1 ^2 = \cdots = \sigma_K ^2.

\bullet Tendance lorsque n \longrightarrow \infty:

Le test de Welch est fortement influencé par la taille de n. En effet le dénominateur tend vers l’infini quand n tend vers l’infini indépendamment des valeurs de \mu_1, \mu_2, \sigma_1 ^2, \sigma_2 ^2.

– Nous avons simulé deux sous-échantillons de plus en plus grand de tel manière que les moyennes soit différentes. Le tableau ci-dessous présente l’évolution de la p-valeur du test au fur et à mesure que n grandit.

add

Nous constatons que l’hypothèse est bien rejetée quelque soit la taille de n, ce qui correspond au résultat attendu d’après nos hypothèses.

– Nous avons simulé deux sous-échantillons de plus en plus grand de tel manière que les moyennes soient très proches. Le tableau ci-dessous présente l’évolution de la p-valeur du test au fur et à mesure que n grandit.

add

Nous constatons que jusqu’à n = 100 le résultat du test est en adéquation avec nos hypothèses mais qu’entre 100 et 1000 observations ce dernier devient significatif, rejetant H_0 à tort.

Nous en concluons que le test de Welch est bien influencé par les grands effectifs.

\bullet Annexe théorique:

Le test de Welch consiste à déterminer une solution approchée au problème de Behrens-Fisher qui peut-être résumé en la recherche de la distribution de la statistique suivante:

T = \frac{\mu_1 - \mu_2}{\sqrt{\frac{\sigma_1 ^2}{n_1} + \frac{\sigma_2 ^2}{n_2}}}

Dans le cas où \sigma_1 ^2 \neq \sigma_2 ^2 trouver une approximation du dénominateur n’est pas trivial.

L’idée de Welch est d’assimiler les distributions de (\mu_1 - \mu_2), \frac{\sigma_1 ^2}{n_1}, \frac{\sigma_1 ^2}{n_1} à celle du \chi ^2 respectivement à 1, n_1 - 1, n_2 - 1 degré(s) de liberté (que nous noterons, respectivement, \chi ', \chi_1 ^2, \chi_2 ^2 et ainsi développer l’équation en:

\frac{\chi '}{\sqrt{a \chi_1 ^2 + b \chi_2 ^2}}, (a,b) constants

Et d’approcher le dénominateur (w = a \chi_1 ^2 + b \chi_2 ^2) par le type III de la distribution de Pearson: 

p(w) = \frac{1}{2g ^{\frac{1}{2}f} \Gamma(\frac{1}{2}f)} w ^{\frac{1}{2}f - 1} e ^{-\frac{w}{2g}}

f, g les moments d’ordre 1 et 2  de la distribution de type III de Pearson. Ainsi nous avons:

g = \frac{a ^2 f_1 + b ^2 f_2}{a f_1 + b f_2}

f = \frac{(a f_1 + b f_2) ^2}{a ^2 f_1 + b ^2 f_2}

Dés lors nous pouvons approximer T grâce à \frac{\chi '}{\sqrt{\frac{w}{f \times g}}} = \frac{\chi '}{\sqrt{\frac{w}{a f_1 + b f_2}}}.

Par analogie nous pouvons définir les formes des constantes a, b:

a = \frac{\sigma_1 (\frac{1}{n_1} + \frac{1}{n_2})}{(n_1 + n_2 - 2) (\frac{\sigma_1 ^2}{n_1} + \frac{\sigma_2 ^2}{n_2})}

b = \frac{\sigma_2 (\frac{1}{n_1} + \frac{1}{n_2})}{(n_1 + n_2 - 2) (\frac{\sigma_1 ^2}{n_1} + \frac{\sigma_2 ^2}{n_2})}

\bullet Exemple:

Soit l’échantillon ci-dessous,

add

Ci-dessous, le boxplot des distributions de X pour le groupe 1 (en vert) et le groupe 2 (en rouge) permet de voir que visuellement les moyennes des deux échantillons sont proches.

add

Bien évidemment la normalité des deux sous-échantillons n’est pas respectée contraire l’inégalité des variances, l’objectif étant ici d’exemplifier la formule théorique vue ci-dessus. Nous avons respectivement pour les deux sous-échantillons les moyennes et variances suivantes:

\mu_1 = 4.99603
\mu_2 = 5.52999
\sigma_1 ^2 = 2.129509
\sigma_2 ^2 = 15.73774

Nous avons alors la statistique de test qui vaut:

T = \frac{4.99603 - 5.52999}{\sqrt{\frac{2.129509}{10} + \frac{15.73774}{10}}} = -3.99466

Et les degrés de liberté:

E[\frac{(\frac{2.129509}{10} + \frac{15.73774}{10})^2}{\frac{(\frac{2.129509}{10})^2}{9} + \frac{(\frac{15.73774}{10})^2}{9}}] = E[11.39183] = 11

Pour des degrés de liberté ddl = 10 + 10 - 2 = 18, nous obtenons une p-value < 0.6969. Nous acceptons donc H_0 au seuil de 5%.

Nous en concluons que les moyennes des deux sous-échantillons de X sont égales au sens statistique.

\bullet Application informatique:

Procédure SAS: http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_ttest_sect009.htm

Package et fonction R: http://stat.ethz.ch/R-manual/R-patched/library/stats/html/t.test.html

\bullet Bibliographie:

– The generalization of « Student’s » problem when several different population variances are involved de Bernard Lewis Welch.

– Le site: http://www.real-statistics.com/one-way-analysis-of-variance-anova/welchs-procedure/