Tests d'hypothèses : région de rejet, p-valeur, erreurs de première et seconde espèce

Un test d'hypothèses part d'une hypothèse nulle H0, l'affirmation que l'on cherche à mettre en cause, et d'une hypothèse alternative H1, retenue si les données contredisent suffisamment H0. On calcule sur l'échantillon une statistique de test, dont la loi sous H0 est connue ; on fixe à l'avance un seuil alpha, et l'on détermine la région de rejet, l'ensemble des valeurs de la statistique qui conduisent à rejeter H0.

La région de rejet est bilatérale quand H1 envisage un écart à H0 dans les deux sens — par exemple H1 : la moyenne est différente d'une valeur de référence — et unilatérale quand H1 n'envisage un écart que dans un seul sens — par exemple H1 : une proportion a augmenté. Le choix entre bilatéral et unilatéral se fait avant de voir les données, à partir du sens de la question posée, jamais après coup.

Le risque de première espèce, alpha, est la probabilité de rejeter H0 alors qu'elle est vraie : c'est le seuil choisi à l'avance, souvent 5 % ou 1 %. Le risque de seconde espèce, bêta, est la probabilité de ne pas rejeter H0 alors qu'elle est fausse, H1 étant en réalité vraie. La puissance du test, égale à 1 moins bêta, mesure la capacité du test à détecter un écart réel : elle croît avec la taille de l'échantillon et avec l'ampleur de l'écart entre H0 et la valeur vraie.

Pour le khi-deux d'ajustement, le nombre de degrés de liberté vaut le nombre de catégories moins 1, diminué du nombre de paramètres de la loi théorique estimés sur l'échantillon ; pour le khi-deux d'indépendance, il vaut le nombre de lignes moins 1, multiplié par le nombre de colonnes moins 1, les effectifs attendus se calculant à partir des marges du tableau croisé sous l'hypothèse d'indépendance. Dans les deux cas, un grand écart cumulé entre observé et attendu signale que le modèle théorique, ou l'hypothèse d'indépendance, ne tient pas. L'approximation par la loi du khi-deux demande des effectifs attendus assez grands, usuellement au moins 5 dans chaque case, quitte à regrouper des catégories.

Un intervalle de confiance et un test sur le même paramètre sont duaux quand ils reposent sur la même statistique et du même côté : un test bilatéral au seuil de 5 % rejette p0 exactement quand p0 sort de l'intervalle à 95 % construit avec p0(1 − p0). L'intervalle usuel d'une proportion, qui estime la variance par f(1 − f), conclut presque toujours de même, mais pas à coup sûr près de la frontière : avec 29 anomalies sur 200 (f = 0,145), le test bilatéral rejette p0 = 0,10 (Z ≈ 2,12) alors que l'intervalle [0,096 ; 0,194] contient 0,10. Un test unilatéral se confronte à un intervalle unilatéral.

Un service veut savoir si le taux d'anomalies a augmenté au-delà du taux habituel de 10 %. Les hypothèses s'écrivent H0 : p égal 0,10 contre H1 : p strictement supérieur à 0,10 — un test unilatéral, puisque la question posée ne porte que sur une hausse. Le seuil retenu est alpha égal 5 %, avec un quantile normal de 1,645 pour ce seuil unilatéral.

Méthode en cinq étapes pour rédiger un test en QRC : poser H0 et H1, choisir la statistique et sa loi sous H0, fixer le seuil et la région de rejet, calculer la statistique sur l'échantillon, conclure par une décision et son interprétation.