Критерий согласия Пирсона

Критерий согласия Пирсона или критерий согласия ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$ (хи-квадрат) — непараметрический метод, который позволяет оценить значимость различий между фактическим (выявленным в результате исследования) количеством исходов или качественных характеристик выборки, попадающих в каждую категорию, и теоретическим количеством, которое можно ожидать в изучаемых группах при справедливости нулевой гипотезы. Выражаясь проще, метод позволяет оценить статистическую значимость различий двух или нескольких относительных показателей (частот, долей).

Является наиболее часто употребляемым критерием для проверки гипотезы о принадлежности наблюдаемой выборки $x_1,x_2,...,x_n$$x_{1},x_{2},...,x_{n}$ объёмом $n$$n$ некоторому теоретическому закону распределения $F(x,\mathrm{\theta <!--\; \theta \; -->})$$F(x,\theta )$.

Критерий хи-квадрат для анализа таблиц сопряжённости был разработан и предложен в 1900 году основателем математической статистики английским учёным Карлом Пирсоном.

Критерий может использоваться при проверке простых гипотез вида

$H_0:F_n(x)=F(x,\mathrm{\theta <!--\; \theta \; -->}),$$H_{0}:F_{n}(x)=F(x,\theta ),$

где $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ — известный вектор параметров теоретического закона, и при проверке сложных гипотез вида

$H_0:F_n(x)\in <!--\; \in \; -->\left\{F(x,\mathrm{\theta <!--\; \theta \; -->}),\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->\mathrm{\Theta <!--\; \Theta \; -->}\right\},$$H_{0}:F_{n}(x)\in \left\{F(x,\theta ),\theta \in \Theta \right\},$

когда оценка $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}$${\hat {\theta }}$ скалярного или векторного параметра распределения $F(x,\mathrm{\theta <!--\; \theta \; -->})$$F(x,\theta )$ вычисляется по той же самой выборке.

Статистика критерияПравить

Процедура проверки гипотез с использованием критериев типа ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  предусматривает группирование наблюдений. Область определения случайной величины разбивают на $k$$k$  непересекающихся интервалов граничными точками

$x_{(0)},x_{(1)},...,x_{(k-<!--\; -\; -->1)},x_{(k)},$$x_{(0)},x_{(1)},...,x_{(k-1)},x_{(k)},$ 

где $x_{(0)}$$x_{(0)}$  — нижняя грань области определения случайной величины; $x_{(k)}$$x_{(k)}$  — верхняя грань.

В соответствии с заданным разбиением подсчитывают число $n_i$$n_{i}$  выборочных значений, попавших в $i$$i$ -й интервал, и вероятности попадания в интервал

$P_i(\mathrm{\theta <!--\; \theta \; -->})=F(x_{(i)},\mathrm{\theta <!--\; \theta \; -->})-<!--\; -\; -->F(x_{(i-<!--\; -\; -->1)},\mathrm{\theta <!--\; \theta \; -->}),$$P_{i}(\theta )=F(x_{(i)},\theta )-F(x_{(i-1)},\theta ),$ 

соответствующие теоретическому закону с функцией распределения $F(x,\mathrm{\theta <!--\; \theta \; -->}).$$F(x,\theta ).$ 

При этом

$n=\underset{i=1}{\overset{k}{\sum <!--\; \sum \; -->}}{n}_i$$n=\sum _{i=1}^{k}n_{i}$  и $\underset{i=1}{\overset{k}{\sum <!--\; \sum \; -->}}{P}_i(\mathrm{\theta <!--\; \theta \; -->})=1.$$\sum _{i=1}^{k}P_{i}(\theta )=1.$ 

При проверке простой гипотезы известны как вид закона $F(x,\mathrm{\theta <!--\; \theta \; -->})$$F(x,\theta )$ , так и все его параметры (известен скалярный или векторный параметр $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ ).

В основе статистик, используемых в критериях согласия типа ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$ , лежит измерение отклонений $n_i/n$$n_{i}/n$  от $P_i(\mathrm{\theta <!--\; \theta \; -->})$$P_{i}(\theta )$ .

Статистика критерия согласия ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  Пирсона определяется соотношением

${\mathrm{\chi <!--\; \chi \; -->}}^2=n\underset{i=1}{\overset{k}{\sum <!--\; \sum \; -->}}\frac{{\left(n_i/n-<!--\; -\; -->P_i(\mathrm{\theta <!--\; \theta \; -->})\right)}^2}{P_i(\mathrm{\theta <!--\; \theta \; -->})}.$$\chi ^{2}=n\sum _{i=1}^{k}{\frac {\left(n_{i}/n-P_{i}(\theta )\right)^{2}}{P_{i}(\theta )}}.$ 

В случае проверки простой гипотезы, в пределе при $n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}$$n\to \infty$  эта статистика подчиняется ${\mathrm{\chi <!--\; \chi \; -->}}_r^2$$\chi _{r}^{2}$ -распределению с $r=k-<!--\; -\; -->1$$r=k-1$  степенями свободы, если верна проверяемая гипотеза $H_0$$H_{0}$ . Плотность ${\mathrm{\chi <!--\; \chi \; -->}}_r^2$$\chi _{r}^{2}$ -распределения, которое является частным случаем гамма-распределения, описывается формулой

$g(s)=\frac{1}{2^{r/2}\mathrm{\Gamma <!--\; \Gamma \; -->}(r/2)}{s}^{r/2-<!--\; -\; -->1}{e}^{-<!--\; -\; -->s/2}.$$g(s)={\frac {1}{2^{r/2}\Gamma (r/2)}}s^{r/2-1}e^{-s/2}.$ 

Проверяемая гипотеза $H_0$$H_{0}$  отклоняется при больших значениях статистики, когда вычисленное по выборке значение статистики ${\mathrm{\chi <!--\; \chi \; -->}}_n^2$$\chi _{n}^{2}$  больше критического значения ${\mathrm{\chi <!--\; \chi \; -->}}_{r,\mathrm{\alpha <!--\; \alpha \; -->}}^2,$$\chi _{r,\alpha }^{2},$ 

$P\left({\mathrm{\chi <!--\; \chi \; -->}}_n^2>{\mathrm{\chi <!--\; \chi \; -->}}_{r,\mathrm{\alpha <!--\; \alpha \; -->}}^2\right)=\frac{1}{2^{r/2}\mathrm{\Gamma <!--\; \Gamma \; -->}(r/2)}{\int <!--\; \int \; -->}_{{\mathrm{\chi <!--\; \chi \; -->}}_{r,\mathrm{\alpha <!--\; \alpha \; -->}}^2}^{\mathrm{\infty <!--\; \infty \; -->}}{s}^{r/2-<!--\; -\; -->1}{e}^{-<!--\; -\; -->s/2}ds$$P\left(\chi _{n}^{2}>\chi _{r,\alpha }^{2}\right)={\frac {1}{2^{r/2}\Gamma (r/2)}}\int _{\chi _{r,\alpha }^{2}}^{\infty }s^{r/2-1}e^{-s/2}ds$ 

или достигнутый уровень значимости (p-значение) меньше заданного уровня значимости (заданной вероятности ошибки 1-го рода) $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$ .

Проверка сложных гипотезПравить

При проверке сложных гипотез, если параметры закона $F(x,\mathrm{\theta <!--\; \theta \; -->})$$F(x,\theta )$  по этой же выборке оцениваются в результате минимизации статистики ${\mathrm{\chi <!--\; \chi \; -->}}_n^2$$\chi _{n}^{2}$  или по сгруппированной выборке методом максимального правдоподобия, то статистика ${\mathrm{\chi <!--\; \chi \; -->}}_n^2$$\chi _{n}^{2}$  при справедливости проверяемой гипотезы подчиняется ${\mathrm{\chi <!--\; \chi \; -->}}_r^2$$\chi _{r}^{2}$ -распределению с $r=k-<!--\; -\; -->m-<!--\; -\; -->1$$r=k-m-1$  степенями свободы, где $m$$m$  — количество оценённых по выборке параметров.

Если параметры оцениваются по исходной негруппированной выборке, то распределение статистики не будет являться ${\mathrm{\chi <!--\; \chi \; -->}}_{k-<!--\; -\; -->m-<!--\; -\; -->1}^2$$\chi _{k-m-1}^{2}$ -распределением. Более того, распределения статистики при справедливости гипотезы $H_0$$H_{0}$  будут зависеть от способа группирования, то есть от того, как область определения разбивается на интервалы.

При оценивании методом максимального правдоподобия параметров по негруппированной выборке можно воспользоваться модифицированными критериями типа ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$ .

О мощности критерияПравить

При использовании критериев согласия, как правило, не задают конкурирующих гипотез: рассматривается принадлежность выборки конкретному закону, а в качестве конкурирующей гипотезы — принадлежность любому другому. Естественно, что критерий по-разному будет способен отличать от закона, соответствующего $H_0$$H_{0}$ , близкие или далёкие от него законы. Если задать конкурирующую гипотезу $H_1$$H_{1}$  и соответствующий ей некоторый конкурирующий закон $F_1(x,\mathrm{\theta <!--\; \theta \; -->})$$F_{1}(x,\theta )$ , то можно рассуждать уже об ошибках двух видов: не только об ошибке 1-го рода (отклонении проверяемой гипотезы $H_0$$H_{0}$  при её справедливости) и вероятности этой ошибки $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$ , но и об ошибке 2-го рода (неотклонении $H_0$$H_{0}$  при справедливости $H_1$$H_{1}$ ) и вероятности этой ошибки $\mathrm{\beta <!--\; \beta \; -->}$$\beta$ .

Мощность критерия по отношению к конкурирующей гипотезе $H_1$$H_{1}$  характеризуется величиной $1-<!--\; -\; -->\mathrm{\beta <!--\; \beta \; -->}$$1-\beta$ . Критерий тем лучше распознаёт пару конкурирующих гипотез $H_0$$H_{0}$  и $H_1$$H_{1}$ , чем выше его мощность.

Мощность критерия согласия ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  Пирсона существенно зависит от способа группирования и от выбранного числа интервалов.

При асимптотически оптимальном группировании, при котором максимизируются различные функционалы от информационной матрицы Фишера по группированным данным (минимизируются потери, связанные с группированием), критерий согласия ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  Пирсона обладает максимальной мощностью относительно «(очень) близких» конкурирующих гипотез.

При проверке простых гипотез и использовании асимптотически оптимального группирования критерий согласия ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  Пирсона имеет преимущество в мощности по сравнению с непараметрическими критериями согласия. При проверке сложных гипотез мощность непараметрических критериев возрастает и такого преимущества нет. Однако для любой пары конкурирующих гипотез (конкурирующих законов) за счёт выбора числа интервалов и способа разбиения области определения случайной величины на интервалы можно максимизировать мощность критерия.

См. такжеПравить

• Точный критерий Фишера

ЛитератураПравить

• Кендалл М., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973.

См. такжеПравить

• Критерий хи-квадрат
• Распределение хи-квадрат
• Квантили распределения хи-квадрат

СсылкиПравить

• Критерий Пирсона на сайте Новосибирского государственного университета
• Критерии типа хи-квадрат на сайте Новосибирского государственного технического университета (Рекомендации по стандартизации Р 50.1.033-2001)