Парадокс Линдли

Парадокс Линдли — это контринтуитивная ситуация в статистике, при которой байесовский и частотный^[en] подходы к задаче проверки гипотез дают различные результаты при определённых выборах априорного распределения. Проблема разногласия между двумя подходами обсуждалась в книге Гарольда Джеффриса 1939 года. Проблема стала известна как парадокс Линдли после того, как Деннис Линдли высказал несогласие с парадоксом в статье 1957.

Хотя ситуация описывается как парадокс, различие байесовского и частотного подходов можно объяснить как использования их для ответа на фундаментально различные вопросы, а не действительного разногласия между двумя методами.

Как бы то ни было, для большого класса априорные разности между частотным и байесовским подходами вызваны сохранением уровня значимости. Как Линдли понял: «теория не может обосновать практику сохранения уровня значимости» и даже «некоторые вычисления, сделанные профессором Пирсоном в обсуждении этой статьи подчёркивают, насколько уровень значимости может меняться с изменением размера выборки, если потери и априорные вероятности остаются неизменными». Фактически, если критичное значение растёт с ростом размера выборки достаточно быстро, рассогласование между частотным и байесовским подходами становится ничтожным.

Описание парадоксаПравить

Рассмотрим результат $x$$x$  некоторого эксперимента с двумя возможными объяснениями, гипотезами $H_0$$H_{0}$  и $H_1$$H_{1}$ , и некоторым априорным распределением $\mathrm{\pi <!--\; \pi \; -->}$$\pi$ , представляющим неопределённость, какая гипотеза более точна перед рассмотрением $x$$x$ .

Парадокс Линдли обнаруживается в случае:

1. Результат $x$$x$  оказывается «значимым» для частотного теста гипотезы $H_0$$H_{0}$ , показывающим значимое свидетельство к отбрасыванию гипотезы $H_0$$H_{0}$ , скажем, на уровне 5 %.
2. Апостериорная вероятность гипотезы $H_0$$H_{0}$ , задаваемая результатом $x$$x$  высока, что убедительно свидетельствует о том, что гипотеза $H_0$$H_{0}$  больше согласуется с $x$$x$ , чем гипотеза $H_1$$H_{1}$ .

Эти результаты могут случиться в одно и то же время, если $H_0$$H_{0}$  очень специфично, $H_1$$H_{1}$  более размыто, а априорное распределение не даёт предпочтения ни одному из них, как показано ниже.

Численный примерПравить

Мы можем проиллюстрировать парадокс Линдли численным примером. Представим себе город, в котором родились 49581 мальчиков и 48870 девочек за определённый период времени. Наблюдаемая доля $x$$x$  мальчиков составляет 49581/98451 ≈ 0,5036. Мы предполагаем, что число рождений мальчиков является биномиальной переменной с параметром $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ . Мы хотим проверить, равно ли $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  0,5 или другому значению. То есть наша нулевая гипотеза гласит: $H_0:\mathrm{\theta <!--\; \theta \; -->}=0,5$$H_{0}:\theta =0,5$ , а альтернативной гипотезой будет $H_1:\mathrm{\theta <!--\; \theta \; -->}\ne <!--\; \ne \; -->0,5$$H_{1}:\theta \neq 0,5$ .

Частотный подходПравить

Частотный подход проверки $H_0$$H_{0}$  заключается в вычислении p-значения, вероятности наблюдения доли мальчиков не менее $x$$x$  в предположении, что гипотеза $H_0$$H_{0}$  верна. Поскольку число рождений большое, мы можем использовать нормальную аппроксимацию для доли рождения мальчиков $X\sim <!--\; \sim \; -->N(\mathrm{\mu <!--\; \mu \; -->},{\mathrm{\sigma <!--\; \sigma \; -->}}^2)$$X\sim N(\mu ,\sigma ^{2})$ , с $\mathrm{\mu <!--\; \mu \; -->}=np=n\mathrm{\theta <!--\; \theta \; -->}=98451\times <!--\; \times \; -->0,5=49225,5$$\mu =np=n\theta =98451\times 0,5=49225,5$  и ${\mathrm{\sigma <!--\; \sigma \; -->}}^2=n\mathrm{\theta <!--\; \theta \; -->}(1-<!--\; -\; -->\mathrm{\theta <!--\; \theta \; -->})=98451\times <!--\; \times \; -->0,5\times <!--\; \times \; -->0,5=24612,75$$\sigma ^{2}=n\theta (1-\theta )=98451\times 0,5\times 0,5=24612,75$  для вычисления

$\begin{array}{r}P(X\ge <!--\; \ge \; -->x\mid <!--\; \mid \; -->\mathrm{\mu <!--\; \mu \; -->}=49225,5)={\int <!--\; \int \; -->}_{x=49581}^{98451}\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}{\mathrm{\sigma <!--\; \sigma \; -->}}^2}}{e}^{-<!--\; -\; -->(\frac{u-<!--\; -\; -->\mathrm{\mu <!--\; \mu \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}{)}^2/2}du\\ ={\int <!--\; \int \; -->}_{x=49581}^{98451}\frac{1}{\sqrt{2\mathrm{\pi <!--\; \pi \; -->}(24612,75)}}{e}^{-<!--\; -\; -->\frac{(u-<!--\; -\; -->49225,5{)}^2}{24612,75}/2}du\approx <!--\; \approx \; -->0,0117.\end{array}$${\begin{aligned}P(X\geq x\mid \mu =49225,5)=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-({\frac {u-\mu }{\sigma }})^{2}/2}du\\=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi (24612,75)}}}e^{-{\frac {(u-49225,5)^{2}}{24612,75}}/2}du\approx 0,0117.\end{aligned}}$ 

Мы также будем удивлены, если рассмотрим рождение 48870 девочек, то есть $x\approx <!--\; \approx \; -->0,4964$$x\approx 0,4964$ , так что частотный тест обычно осуществаляет двухстороннюю проверку, для которой p-значение было бы $p\approx <!--\; \approx \; -->2\times <!--\; \times \; -->0,0117=0,0235$$p\approx 2\times 0,0117=0,0235$ . В обоих случаях p-значение меньше уровня значимости $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$  в 5%, так что частотный подход отвергает гипотезу $H_0$$H_{0}$  как несогласующуюся с наблюдаемыми данными.

Байесовский подходПравить

Предполагая, что нет причин для предпочтения одной гипотезы другой, байесовский подход заключается в назначении априорных вероятностей $\mathrm{\pi <!--\; \pi \; -->}(H_0)=\mathrm{\pi <!--\; \pi \; -->}(H_1)=0,5$$\pi (H_{0})=\pi (H_{1})=0,5$ , однородного распределения для $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  для гипотезы $H_1$$H_1$  и, затем, вычисления апостериорной вероятности для $H_0$$H_{0}$  с помощью теоремы Байеса,

$P(H_0\mid <!--\; \mid \; -->k)=\frac{P(k\mid <!--\; \mid \; -->H_0)\mathrm{\pi <!--\; \pi \; -->}(H_0)}{P(k\mid <!--\; \mid \; -->H_0)\mathrm{\pi <!--\; \pi \; -->}(H_0)+P(k\mid <!--\; \mid \; -->H_1)\mathrm{\pi <!--\; \pi \; -->}(H_1)}.$$P(H_{0}\mid k)={\frac {P(k\mid H_{0})\pi (H_{0})}{P(k\mid H_{0})\pi (H_{0})+P(k\mid H_{1})\pi (H_{1})}}.$ 

После наблюдения рождения $k=49581$$k=49581$  мальчиков из $n=98451$$n=98451$  новорождённых мы можем вычислить апостериорную вероятность каждой гипотезы с помощью функции распределения масс для биномиальной переменной,

${\begin{aligned}P(k\mid H_{0})&={n \choose k}(0,5)^{k}(1-0,5)^{n-k}\approx 1,95\times 10^{-4}\\P(k\mid H_{1})&=\int _{0}^{1}{n \choose k}\theta ^{k}(1-\theta )^{n-k}d\theta ={n \choose k}\mathrm {\mathrm {B} } (k+1,n-k+1)=1/(n+1)\approx 1,02\times 10^{-5}\end{aligned}}$ 

где $\mathrm{B}(a,b)$$\mathrm {\mathrm {B} } (a,b)$  является бета-функцией.

Из этих значений мы находим апостериорную вероятность $P(H_0\mid <!--\; \mid \; -->k)\approx <!--\; \approx \; -->0,95$$P(H_{0}\mid k)\approx 0,95$ , которая строго предпочитает $H_0$$H_{0}$  перед $H_1$$H_{1}$ .

Два подхода, частотный и байесовский, оказываются в конфликте, а это и есть «парадокс».

Примирение байесовского и частотного подходовПравить

Однако, по меньшей мере, в примере Линдли, если мы возьмём последовательность уровней значимости ${\mathrm{\alpha <!--\; \alpha \; -->}}_n$$\alpha _{n}$ , таких, что ${\mathrm{\alpha <!--\; \alpha \; -->}}_n=n^{-<!--\; -\; -->k}$$\alpha _{n}=n^{-k}$  с $k>\frac{1}{2}$$k>{\tfrac {1}{2}}$ , то апостериорная вероятность нулевой гипотезы стремится к 0, что согласуется с отказом от нулевой гипотезы. В нашем числовом примере, если принять $k>\frac{1}{2}$$k>{\tfrac {1}{2}}$ , в результате получим уровень значимости 0,00318, так что частотный подход не будет отбрасывать нулевую гипотезу, которая в общих чертах согласуется с байесовским подходом.

 

Распределение p при нулевой гипотезе и апостериорное распределение p.

Если используется информативное априорное распределение и проверка гипотезы, более похожей на гипотезу в частотном подходе, парадокс исчезает.

Например, если мы вычисляем апостериорное распределение $P(\mathrm{\theta <!--\; \theta \; -->}\mid <!--\; \mid \; -->x,n)$$P(\theta \mid x,n)$ , используя однородное априорное распределение с $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  (то есть $\mathrm{\pi <!--\; \pi \; -->}(\mathrm{\theta <!--\; \theta \; -->}\in <!--\; \in \; -->[0,1])=1$$\pi (\theta \in [0,1])=1$ ), мы получим

$P(\mathrm{\theta <!--\; \theta \; -->}\mid <!--\; \mid \; -->k,n)=\mathrm{B}(k+1,n-<!--\; -\; -->k+1).$$P(\theta \mid k,n)=\mathrm {\mathrm {B} } (k+1,n-k+1).$ 

Если мы используем это для проверки вероятности, что новорождённый более вероятно будет мальчиком, чем девочкой, то есть $P(\mathrm{\theta <!--\; \theta \; -->}>0,5\mid <!--\; \mid \; -->k,n)$$P(\theta >0,5\mid k,n)$ , мы получим:

${\int <!--\; \int \; -->}_{0,5}^1\mathrm{B}(49582,48871)\approx <!--\; \approx \; -->0,983.$$\int _{0,5}^{1}\mathrm {\mathrm {B} } (49582,48871)\approx 0,983.$ 

Другими словами, очень похоже, что пропорция рождения мальчиков выше 0,5.

Ни один из анализов не даёт оценку величины эффекта^[en] прямо, но оба могут быть использованы для определения, например, является ли доля рождений мальчиков выше некоторого определённого порога.

Отсутствие действительного парадоксаПравить

Явное расхождение между двумя подходами вызвано комбинацией факторов. Во-первых, частотный подход проверяет $H_0$$H_{0}$  выше без учёта $H_1$$H_1$ . Байесовский подход вычисляет $H_0$$H_{0}$  как альтернативу к $H_1$$H_{1}$  и находит, что первая гипотеза больше согласуется с наблюдениями. Это потому, что последняя гипотеза существенно более размыта, так как значение $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  может быть любым в интервале $[0,1]$$[0,1]$ , что приводит к очень низкой апостериорной вероятности. Чтобы понять, почему, полезно рассмотреть две гипотезы как генераторы наблюдений:

• В гипотезе $H_0$$H_{0}$  мы выбираем $\mathrm{\theta <!--\; \theta \; -->}\approx <!--\; \approx \; -->0,500$$\theta \approx 0,500$  и задаём вопрос, насколько правдоподобно видеть 49581 мальчика при 98451 новорождённом.
• В гипотезе $H_1$$H_{1}$  мы выбираем $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  случайно между 0 и 1 и задаём тот же вопрос.

Большинство возможных значений для $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  при гипотезе $H_1$$H_{1}$  очень плохо поддерживаются наблюдениями. По существу, явное несогласие между методами вообще не является несогласием, а являются двумя различными утверждениями относительно данных:

• Частотный подход находит, что $H_0$$H_{0}$  плохо объясняется наблюдениями.
• Байесовский подход находит, что гипотеза $H_0$$H_{0}$  существенно лучше объясняется наблюдениями, чем гипотеза $H_1$$H_{1}$ .

Отношение пола новорождённых в 50/50 (мальчиков/девочек) согласно частотному тесту неправдоподобно. Всё же отношение 50/50 является лучшим приближением, чем большинство, но не все другие отношения. Гипотеза $\mathrm{\theta <!--\; \theta \; -->}\approx <!--\; \approx \; -->0,504$$\theta \approx 0,504$  подходила бы наблюдениям много лучше, чем все другие отношения, включая $\mathrm{\theta <!--\; \theta \; -->}\approx <!--\; \approx \; -->0,500$$\theta \approx 0,500$ .

Например, из этого выбора гипотезы и априорной вероятности следует утверждение: «Если $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  > 0,49 и $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  < 0,51, то априорная вероятность $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  быть ровно 0,5 равна 0,50/0,51 $\approx <!--\; \approx \; -->$$\approx$  98 %». Если дано такое сильное предпочтение для $\mathrm{\theta <!--\; \theta \; -->}=0,5$$\theta =0,5$ , легко видеть, что байесовский подход высказывается в пользу $H_0$$H_{0}$ , учитывая, что $x\approx <!--\; \approx \; -->0,5036$$x\approx 0,5036$ , даже когда наблюдаемое значение $x$$x$  лежит в $2,28\mathrm{\sigma <!--\; \sigma \; -->}$$2,28\sigma$  от 0,5. Отклонение более $2\mathrm{\sigma <!--\; \sigma \; -->}$$2\sigma$  от $H_0$$H_{0}$  считается значимым в частотном подходе, но значимость отклоняется априорной вероятностью в байесовском подходе.

Если смотреть в другую сторону, мы можем видеть, что априорное распределение существенно плоским с дельта-функцией в точке $\mathrm{\theta <!--\; \theta \; -->}=0,5$$\theta =0,5$ . Ясно, что является сомнительным. Фактически, если вы попробуете нарисовать вещественные числа как непрерывные, будет логично предположить, что невозможно для заданного параметра $P(\mathrm{\theta <!--\; \theta \; -->}=0,5)=0$$P(\theta =0,5)=0$ .

Более реалистичное распределение для $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  на альтернативной гипотезе даёт менее удивительные результаты для апостериорной вероятности гипотезы $H_0$$H_{0}$ . Например, если мы заменим $H_1$$H_{1}$  на $H_2:\mathrm{\theta <!--\; \theta \; -->}=x$$H_{2}:\theta =x$ , то есть оценку максимального правдоподобия для $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , апостериорная вероятность гипотезы $H_0$$H_{0}$  будет только 0,07 по сравнению с 0,93 для гипотезы $H_2$$H_{2}$  (конечно, нельзя использовать в действительности оценку максимального правдоподобия как часть априорного распределения).

Современное обсуждениеПравить

Парадокс продолжает активно обсуждаться.

См. такжеПравить

• Коэффициент Байеса