Le test F de Fisher-Snedecor

add

Ronald Aylmer Fisher (à gauche) et Georde Waddell Snedecor (à droite)

Attention!!! Mise à jour en cours!!!

\bullet Historique:

\begin{tabular}{|l|c|c|} \hline Bloc & 12/05/2013-V1 & 23/05/2019-V2 \\ \hline Historique &  & Cr\'eation \\ \hline Sommaire &  & Cr\'eation \\ \hline Pr\'esentation & Cr\'eation & MAJ \\ \hline Les diff... versions du test & Cr\'eation: Le test & Test de conformit\'e, Pitman, calculs p-valeurs \\ \hline Tendance lorsque... & Cr\'eation & MAJ \\ \hline Annexe th\'eo... & Cr\'eation & ??? \\ \hline Exemple & Cr\'eation & ??? \\ \hline Appli... info... & Cr\'eation & ??? \\ \hline Appli... sous SAS &  & ??? \\ \hline Bibliographie & Cr\'eation & ??? \\ \hline \end{tabular}

\bullet Sommaire:

  • Présentation
  • Les différentes version du test
    • Cas à un échantillon: test de conformité de la variance à un standard
      • La table de la loi du \chi ^2
      • Condition pour le rejet de H_0
      • Calcul de la p-valeur
    • Cas à deux échantillons: comparaison des variances
      • La table de la loi de Fisher-Snedecor
      • Condition pour le rejet de H_0
      • Calcul de la p-valeur
    • Cas à deux échantillons appariés: comparaison des variances
      • La table de la loi de Student
      • Condition pour le rejet de H_0
      • Calcul de la p-valeur
  • Tendance lorsque n \rightarrow + \infty
  • Annexe théorique
  • Exemples
  • Application sous R
  • Application sous SAS
  • Bibliographie

\bullet Présentation:

Créé en 1920 grâce aux travaux de Ronald Aylmer Fisher et basé sur la table de distribution de George Waddell Snedecor, le test F d’égalité des variances de Fisher-Snedecor est une approche paramétrique permettant de tester,

– Comparer la variance d’une variable continue X à une constante c (portant également le nom de test de conformité de la variance à un standard) ;

– Pour X variable continue et Y variable binaire, si X|_{g_1} et X|_{g_2}, les sous-échantillons de X restreint aux groupes g_1 et g_2 de Y, ont même variance.

L’hypothèse d’utilisation que l’on soit dans le cas à un échantillon ou à deux échantillons est que X, X|_{g1} et X|_{g2} suivent chacun une loi normale. A noter que le test F de Fisher-Snedecor est le test de variance le moins robuste en l’absence de normalité.

On présentera également dans cet article le test de Pitman, utilisé dans le cas de deux variables continues appariées.

\bullet Les différentes version du test:

Cas à un échantillon: test de conformité de la variance à un standard

Hypothèse préliminaire: X continue, normalité de la distribution.

Le test de Fisher-Snedecor peut être utilisé pour comparer la variance \sigma_X ^2 d’une variable X à un standard c. En posant n le nombre d’observations, la formule est alors:

F = \frac{n - 1}{c} S_X ^2

Avec,

S_X  ^2= \sigma_X ^2 si \sigma_X ^2 connu ;

S_X ^2 = \frac{n}{n - 1} \sigma_X ^2, la variance corrigée, sinon.

La statistique de test suit alors une loi du \chi ^2 à n-1 degrés de liberté et l’hypothèse H_0 est:

La variance est égale au standard / S ^2 = c

Avec \chi_{n-1,1-\alpha} ^2 la valeur seuil de la distribution de la statistique de test F pour une confiance \alpha et pour n-1 degrés de liberté, les hypothèses alternatives sont alors,

H_1: \sigma_X ^2 < c, soit F \geq \chi_{n-1,1-\frac{\alpha}{2}} ^2, pour un test unilatéral à droite ;

H_1: \sigma_X ^2 > c, soit F \leq \chi_{n-1,\frac{\alpha}{2}} ^2, pour un test unilatéral à gauche ;

H_1: \sigma_X ^2 \neq c, soit F \notin [\chi_{n-1,1-\frac{\alpha}{2}} ^2,\chi_{n-1,\frac{\alpha}{2}} ^2], pour un test bilatéral.

La table de la loi du \chi ^2:
add.png

Condition pour le rejet de H_0:

La statistique de test F se base sur un ratio variance de X sur standard c auquel se comparer. Afin de rejeter  H_0 il faut que le ratio soit le plus éloigné possible de 1, soit que F \Rightarrow 0 ou \Rightarrow + \infty. Ce qui implique que la variance et le standard soient logiquement les plus différentes possibles.

Calcul de la p-valeur exacte:

La loi à laquelle reporter la statistique de test F dans la version à un échantillon est celle du \chi ^2 à n-1 degrés de liberté. Par conséquent,

p = P(F_{obs} > \chi_{n-1,1-\alpha} ^2) = 1 - \frac{\gamma(\frac{n-1}{2},\frac{F_{obs}}{2})}{\Gamma(\frac{n-1}{2})}

, avec \gamma(\frac{n-1}{2},\frac{F_{obs}}{2}), fonction gamma incomplète.

Cas à deux échantillons: comparaison des variances

Hypothèse préliminaire: X continue, Y binaire, normalité des distributions.

Soient \sigma_1 ^2 et \sigma_2 ^2 les variances associées, respectivement, aux variables X|_{g1} de taille n_1 et X|_{g2} de taille n_2. La statistique du test F d’égalité des variances de Fisher-Snedecor vaut:

F = \left\{ \begin{array}{ll} \frac{S_1 ^2}{\S_2 ^2} \mbox{ si } S_1 ^2 \geq S_2 ^2 \\ \frac{S_2 ^2}{S_1 ^2} \mbox{ sinon} \end{array} \right.

Avec,

S_1 ^2 = \sigma_1 ^2 et S_2 ^2 = \sigma_2 ^2 si \sigma_1, \sigma_2 sont connues ;

S_1 ^2 = \frac{n_1}{n_1 - 1} \sigma_1 ^2, S_2 ^2 = \frac{n_2}{n_2 - 1} \sigma_2 ^2, les variances corrigées, sinon.

Cette statistique est à comparer avec la loi de Fisher-Snedecor de paramètres:

\left\{ \begin{array}{ll} F (n_1 - 1, n_2 - 1) & \mbox{si } S_1 ^2 \geq S_2 ^2 \\ F (n_2 - 1, n_1 - 1) & \mbox{sinon} \end{array} \right.

L’hypothèse H_0 est:

Égalité des variances / S_1 = S_2

Avec F_{n_1-1,n_2-1,1-\alpha} la valeur seuil de la distribution de la statistique de test F pour une confiance \alpha et pour le paramètre n, les hypothèses alternatives sont alors,

H_1: \sigma_1 ^2 < \sigma_2 ^2, soit F \geq F_{n_1-1,n_2-1,1-\frac{\alpha}{2}}, pour un test unilatéral à droite ;

H_1: \sigma_1 ^2 > \sigma_2 ^2, soit F \leq F_{n_1-1,n_2-1,\frac{\alpha}{2}}, pour un test unilatéral à gauche ;

H_1: \sigma_1 ^2 \neq \sigma_2 ^2, soit F \notin [F_{n_1-1,n_2-1,1-\frac{\alpha}{2}},F_{n_1-1,n_2-1,\frac{\alpha}{2}}], pour un test bilatéral.

La table de la loi de Fisher-Snedecor:

add

Condition pour le rejet de H_0:

La statistique de test F se base sur un ratio des variances de X_{Y = g_1} et X_{Y = g_2}. Afin de rejeter  H_0 il faut que le ratio soit le plus éloigné possible de 1, soit que F \Rightarrow 0 ou \Rightarrow + \infty. Ce qui implique que les deux variances soient logiquement les plus différentes possibles.

Calcul de la p-valeur exacte:

La loi à laquelle reporter la statistique de test F dans la version à deux échantillons non appariés est celle de Fisher-Snedecor de paramètres (n-1-1,n_2-1). Par conséquent,

– Dans le cas bilatéral:

p = P(F_{obs} > F_{n_1-1,n_2-1,1-\alpha}) = 1 - \frac{B(z,n_1-1,n_2-1)}{B(n_1-1,n_2-1)}

– Dans le cas unilatéral à droite:

p = P(F_{obs} > F_{n_1-1,n_2-1,1-\alpha}) = \frac{1}{2} + \frac{1}{2} \frac{B(z,n_1-1,n_2-1)}{B(n_1-1,n_2-1)}

– Dans le cas unilatéral à gauche:

p = P(F_{obs} > F_{n_1-1,n_2-1,1-\alpha}) = \frac{1}{2} - \frac{1}{2} \frac{B(z,n_1-1,n_2-1)}{B(n_1-1,n_2-1)}

Avec,

z = \frac{(n-1-1) F_{obs}}{(n_1-1) F_{obs} + (n_2-1)} ;

B(n_1-1,n_2-1) = \frac{\Gamma(n_1-1) \Gamma(n_2-1)}{\Gamma(n_1 + n_2 - 2)} = \sqrt{\pi}\frac{ \Gamma(n_2 - 1)}{\Gamma(n_1 + n_2 - 2)} ;

B(z;n_1-1,n_2-1) = \sqrt{z} (2 + \sum_{k = 1} ^K \frac{\prod_{j = 1} ^k (j - (n_2-2))}{k ! (n_1-1 + k)} z ^k), qui converge assez rapidement pour K faible.

Cas à deux échantillons appariés: comparaison des variances

Publié en 1938 par Edwin James George Pitman et W. A. Morgan, le test de Pitman-Morgan est une variante du test F de Fisher-Snedecor utilisée lorsque X ^{t_1}, X ^{t_2}, de taille n, sont appariées. A noter que le test est paramétrique.

La formule du test de Pitman est,

t = \frac{(F - 1) \sqrt{n - 2}}{2 \sqrt{F (1 - r_{t_1,t_2} ^2)}}

Nous retrouvons la statistique de test de Fisher-Snedecor F et r_{t_1,t_2} le coefficient de corrélation entre X ^{t_1}, X ^{t_2}.

La statistique de test de Pitman suit une loi de Student à n - 2 degrés de liberté et l’hypothèse H_0 est:

Égalité des variances / \sigma_{t_1} ^2 = \sigma_{t_2} ^2

Avec T_{n-2,1-\alpha} la valeur seuil de la distribution de la statistique de test t pour une confiance \alpha et pour le paramètre n, les hypothèses alternatives sont alors,

H_1: \sigma_{t_1} ^2 < \sigma_{t_2} ^2, soit t \geq T_{n,1-\alpha}, pour un test unilatéral à droite ;

H_1: \sigma_1 ^2 > \sigma_2 ^2, soit t \geq T_{n,\alpha}, pour un test unilatéral à gauche ;

H_1: \sigma_1 ^2 \neq \sigma_2 ^2, soit t \geq T_{n,\frac{\alpha}{2}}, pour un test bilatéral.

La table de la loi de Student:add

Condition pour le rejet de H_0:

Le test de Pitman-Morgan étant basé sur la loi de Student, on rejettera l’hypothèse H_0 lorsque |t| \rightarrow + \infty. En d’autres termes, lorsque,

|t| = |\frac{(F - 1) \sqrt{n - 2}}{2 \sqrt{F (1 - r ^2)}}| \rightarrow \infty

\Rightarrow \frac{1}{\sqrt{1 - r ^2}} \sqrt{F} \rightarrow \infty

\Rightarrow F \rightarrow \infty ou r ^2 \rightarrow 1

Le test de Pitman-Morgan étant basé sur la statistique de test F de Fisher-Snedecor qui s’approche de 1 lorsque \sigma_{t_1} \approx \sigma_{t_2} et tend vers \infty lorsqu’ils diffèrent, on retrouve ici le fait que plus nos deux variances sont différentes et plus on a de chance de rejeter H_0.

Cependant, un autre point est à prendre en compte, à savoir l’influence du coefficient de corrélation r ^2 qui reste assez indirecte. En effet, si r ^2 \rightarrow 1 \Rightarrow X_{t_1} = a X_{t_2} + b \Rightarrow \sigma_{t_1} ^2 = a ^2 \sigma_{t_2} ^2 + b ^2. En outre, ce n’est pas parce la corrélation est très forte entre X_{t_1} et X_{t_2} que leur variance est équivalente. En réalité elle l’est uniquement si a = 1 et b = 0. Cet objet joue alors de régulateur et donne au test de Pitman-Morgan sa caractéristique « appariée ».

Calcul de la p-valeur exacte:

La loi de distribution à laquelle reporter t est celle de Student. En prenant d le nombre de degrés de liberté et dépendant de n, B(z,\frac{1}{2},\frac{d}{2}) la fonction Bêta incomplète et B(\frac{1}{2},\frac{d}{2}) la fonction Bêta. Le calcul de la p-valeur associée à la statistique de test de Student est alors,

– Dans le cas bilatéral:

p = P(t_{obs} > T_{n,\frac{\alpha}{2}}) = 1 - \frac{B(z,\frac{1}{2},\frac{d}{2})}{B(\frac{1}{2},\frac{d}{2})}

– Dans le cas unilatéral à droite:

p = P(t_{obs} > T_{n,\alpha}) = \frac{1}{2} + \frac{1}{2} \frac{B(z,\frac{1}{2},\frac{d}{2})}{B(\frac{1}{2},\frac{d}{2})}

– Dans le cas unilatéral à gauche:

p = P(t_{obs} > T_{n,1-\alpha}) = \frac{1}{2} - \frac{1}{2} \frac{B(z,\frac{1}{2},\frac{d}{2})}{B(\frac{1}{2},\frac{d}{2})}

Avec,

z = \frac{\frac{t_{obs} ^2}{d}}{1 + \frac{t_{obs} ^2}{d}} ;

B(\frac{1}{2},\frac{d}{2}) = \frac{\Gamma(\frac{1}{2}) \Gamma(\frac{d}{2})}{\Gamma(\frac{1}{2} + \frac{d}{2})} = \sqrt{\pi}\frac{ \Gamma(\frac{d}{2})}{\Gamma(\frac{d + 1}{2})} ;

B(z;\frac{1}{2},\frac{d}{2}) = \sqrt{z} (2 + \sum_{k = 1} ^K \frac{\prod_{j = 1} ^k (j - \frac{d}{2})}{k ! (\frac{1}{2} + k)} z ^k), qui converge assez rapidement pour K faible.

\bullet Tendance lorsque n \longrightarrow \infty:

On s’intéresse désormais à la résistance du test F de Fisher-Snedecor au fur et à mesure que la taille d’échantillon croît. Nous fixons le ratio des deux variances à 1.1, soit un cas fictif correspondant à un écart particulièrement faible entre les deux variances que l’on compare. Le résultat attendu est forcément que quelque soit la taille de l’échantillon, on ne rejettera pas l’hypothèse H_0 d’égalité des variances. Le graphique ci-dessous montre l’évolution de la p-valeur p associée à la statistique de test F_{test} fixée lorsque n croît de 10 à 100 000 observations:

add

De manière hâtive, on reste en adéquation avec l’hypothèse de construction de la statistique de test F de Fisher-Snedecor jusqu’à n = 714 (p > 20 \%). Jusqu’à n = 1 183, on se forcera à rejeter H_0 avec un risque assez fort compris entre  20 \% et 5 \%. Enfin, à n = 2 914 la p-valeur passe en dessous des 1 \%.

Cette simulation montre que le test F de Fisher-Snedecor est atteint par la malédiction des grands échantillons et cela pour un nombre d’observations n assez faible.

\bullet Annexe théorique: 

Nous présentons ici la preuve que le test F de Fisher-Snedecor suit bien un loi de Fisher-Snedecor.

D’un point de vue théorique, le test F est le ratio des estimateurs de la variance S_1 ^2, S_2 ^2 de deux variables aléatoires qui suivent, chacune, une loi normale. Ce qui nous intéresse c’est la loi de probabilité de ces deux estimateurs S_1 ^2, S_2 ^2.

De manière générale, l’estimateur de la variance S ^2 d’une variable aléatoire X \hookrightarrow N(\mu, \sigma) peut se décomposer en:

\sum_{i = 1} ^n (X_i - \mu) ^2 = \sum_{i = 1} ^n (X_i - \overline{X}) ^2 + n \cdot (\overline{X} - \mu) ^2 \leftrightarrow \sum_{i = 1} ^n (\frac{X_i - \mu}{\sigma}) ^2 = \frac{n \dot S ^2}{\sigma ^2} + (\frac{\overline{X} - \mu}{\frac{\sigma}{\sqrt{n}}}) ^2

Le membre de gauche \sum_{i = 1} ^n (\frac{X_i - \mu}{\sigma}) ^2 est une variable aléatoire égale à la somme de n variables centrées-réduites suivant une loi normale et qui, par définition, suit une loi du \chi ^2 à n degrés de liberté, par conséquent \frac{n \dot S ^2}{\sigma ^2} et donc \frac{n \cdot S ^2}{n - 1} suivent également une loi du \chi ^2 à n - 1 degrés de liberté.

Or, par définition de la loi de Fisher, comme \frac{n_1 \cdot S_1 ^2}{n_1 - 1} et \frac{n_2 \cdot S_2 ^2}{n_2 - 1} suivent des lois du \chi ^2 à, respectivement, n_1 - 1, n_2 - 1 degrés de liberté, F suit une loi de Fisher à (n_1 - 1, n_2 - 1) degrés de liberté.

\bullet Exemple:

Soit l’échantillons X ci-dessous,


add
Ci-dessous, le boxplot des distributions de X|_{g1} (en vert) et X|_{g2} (en rouge) permet de voir que visuellement les deux sous-échantillons n’ont pas même variance.


add
Le calcul de la statistique de test F d’égalité des variances de Fisher-Snedecor est relativement rapide à exécuter (notons que X|_{g1}, X|_{g2} ne suivent pas, respectivement, une loi normale mais l’objectif est ici d’exemplifier la formule théorique vue ci-dessus), nous avons pour les deux sous-échantillons X|_{g1}, X|_{g2} les variances suivantes:

S_1 ^2 = 2.129509
S_2 ^2 = 15.73774

Etant donné que nous avons les même effectifs pour nos deux échantillons distincts alors n_1 = n_2 \Rightarrow \frac{\frac{n_1}{n_1 - 1}}{\frac{n_2}{n_2 - 1}} = 1 et nous nous contenterons de comparer S_1 et S_2 directement afin de décider quelles valeurs iront au numérateur et au dénominateur.

Comme S_1 > S_2 alors la statistique de test vaut:

F = \frac{15.73774}{2.129509} = 7.390314

, soit une p-value = 0.006454. Nous rejetons donc H_0 au seuil de 5%.

Nous en concluons que les variances des deux sous-échantillons sont différentes au sens statistique.

\bullet Application informatique:

Procédure SAS: http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_ttest_sect009.htm

Package et fonction R: http://stat.ethz.ch/R-manual/R-patched/library/stats/html/var.test.html

\bullet Bibliographie:

– Probabilités, analyse des données et Statistique de Gilbert Saporta

– Data mining et statistique décisionnelle, l’intelligence des données de Stéphane Tufféry

– A note on normal correlation de Edwin James George Pitman