Пробит-регрессия

Про́бит-регрессия (пробит-модель, англ. probit) — применяемая в различных областях (эконометрика, токсикология и др.) статистическая (нелинейная) модель и метод анализа зависимости качественных (в первую очередь — бинарных) переменных от множества факторов, основанная на нормальном распределении (в отличие от, например, аналогичной логит-регрессии, основанной на логистическом распределении). В экономике (эконометрике) пробит-модели (наряду с логит-, гомпит- и др.) используются в моделях бинарного выбора или в моделях множественного выбора между различными альтернативами, для моделирования дефолтов компаний, в страховании жизни - для оценки вероятности смерти в зависимости от возраста и пола и т. д. В токсикологии пробит-регрессия используется для оценки влияния дозы или концентрации тех или иных веществ на биологические объекты.

Пробит-модель позволяет оценить вероятность того, что анализируемая (зависимая) переменная примет значение 1 при заданных значениях факторов (то есть это оценка доли "единиц" при данном значении факторов). В пробит-модели пробит-функция от вероятности моделируется как линейная комбинация факторов (включая константу). Пробит-функцией принято называть функцию, обратную к интегральной функции (CDF) стандартного нормального распределения, то есть функцию, определяющую квантиль стандартного нормального распределения для заданной вероятности $x_q={\mathrm{\Phi <!--\; \Phi \; -->}}^{-<!--\; -\; -->1}(q)$$x_{q}=\Phi ^{-1}(q)$.

Термин «probit» как производное от англ. probability unit предложил (впервые использовал) Честер Блисс (Chester Ittner Bliss [1899—1979]) в своей статье, посвященной количественному анализу смертельного действия ядов на примере действия никотина на щавелевую тлю (Aphis rumicis L.). С тех пор метод пробит-анализа особенно популярен в токсикологии. Само использование функции нормального распределения для описания зависимости «доза — эффект» восходит к английскому математику J. W. Trevan который показал, что интенсивность клеточного ответа на данную дозу лекарственного вещества подчиняется распределению Гаусса.

Сущность моделиПравить

Пробит-модель является частным случаем модели бинарного выбора в которой используется нормальное распределение. А именно, пусть зависимая переменная $Y$$Y$  является бинарной, то есть может принимать только два значения, которые для упрощения предполагаются равными $1$$1$  и $0$$0$ . Например, $Y$$Y$  может означать наличие/отсутствие каких-либо условий, успех или провал чего-либо, ответ да/нет в опросе и т. д. Пусть также имеется вектор регрессоров (факторов) $X$$X$ , которые оказывают влияние на $Y$$Y$ . В пробит-модели предполагается, что вероятность того, что $Y=1$$Y=1$  определяется нормальным распределением, таким образом пробит-модель имеет вид:

$p(x)=P(Y=1\mid <!--\; \mid \; -->X=x)=\mathrm{\Phi <!--\; \Phi \; -->}(x^{T}b)$$p(x)=P(Y=1\mid X=x)=\Phi (x^{T}b)$ 

где $\mathrm{\Phi <!--\; \Phi \; -->}$$\Phi$  — интегральная функция распределения (CDF) стандартного нормального распределения, $b$$b$  — неизвестные параметры, которые требуется оценить.

Использование именно стандартного нормального распределения не ограничивает общности модели, так как возможное ненулевое среднее учтено в константе, которая обязательно присутствует в числе факторов, а возможная неединичная дисперсия учитывается за счет соответствующего нормирования всех коэффициентов b.

Как и в общем случае модели бинарного выбора в основе модели лежит предположение о наличии некоторой скрытой (ненаблюдаемой) переменной $Y^{\ast <!--\; \ast \; -->}$$Y^{*}$ , в зависимости от значений которой наблюдаемая переменная $Y$$Y$  принимает значение $0$$0$  или $1$$1$ :

$Y={\begin{cases}1,Y^{*}>0\\0,Y^{*}<0\end{cases}}$ 

Предполагается, что скрытая переменная зависит от факторов $X$$X$  в смысле обычной линейной регрессии $y^{\ast <!--\; \ast \; -->}=x^{T}b+\mathrm{\epsilon <!--\; \epsilon \; -->}$$y^{*}=x^{T}b+\varepsilon$ , где случайная ошибка в данном случае имеет стандартное нормальное распределение $N(0,1)$$N(0,1)$ . Тогда

$p(x)=P(Y^{\ast <!--\; \ast \; -->}>0|X=x)=P(x^{T}b+\mathrm{\epsilon <!--\; \epsilon \; -->}>0)=P(\mathrm{\epsilon <!--\; \epsilon \; -->}>-<!--\; -\; -->x^{T}b)=1-<!--\; -\; -->\mathrm{\Phi <!--\; \Phi \; -->}(-<!--\; -\; -->x^{T}b)=\mathrm{\Phi <!--\; \Phi \; -->}(x^{T}b)$$p(x)=P(Y^{*}>0|X=x)=P(x^{T}b+\varepsilon >0)=P(\varepsilon >-x^{T}b)=1-\Phi (-x^{T}b)=\Phi (x^{T}b)$ 

Последнее равенство следует из симметричности нормального распределения.

Также модель может быть обоснована через полезность альтернатив — не наблюдаемой функции $U(y,x)$$U(y,x)$ , то есть фактически двух функций $U_1(x)=x^T{b}_1+{\mathrm{\epsilon <!--\; \epsilon \; -->}}_1$$U_{1}(x)=x^{T}b_{1}+\varepsilon _{1}$  и $U_0(x)=x^T{b}_0+{\mathrm{\epsilon <!--\; \epsilon \; -->}}_0$$U_{0}(x)=x^{T}b_{0}+\varepsilon _{0}$  соответственно для двух альтернатив. Функция разности полезностей альтернатив здесь выполняет роль той самой скрытой переменной.

Оценка параметровПравить

Оценка обычно производится методом максимального правдоподобия. Пусть имеется выборка объёма $n$$n$  факторов $X$$X$  и зависимой переменной $Y$$Y$ . Для данного номера наблюдения используем индекс $t$$t$ . Логарифмическая функция правдоподобия имеет вид:

$l(b)=\underset{t=1}{\overset{n}{\sum <!--\; \sum \; -->}}(y_t\ln <!--\; \; -->\mathrm{\Phi <!--\; \Phi \; -->}(x_t^{T}b)+(1-<!--\; -\; -->y_t)\ln <!--\; \; -->(1-<!--\; -\; -->\mathrm{\Phi <!--\; \Phi \; -->}(x_t^{T}b))$$l(b)=\sum _{t=1}^{n}(y_{t}\ln \Phi (x_{t}^{T}b)+(1-y_{t})\ln(1-\Phi (x_{t}^{T}b))$ 

Максимизация данной функции по неизвестным параметрам позволяет получить состоятельные, асимптотически эффективные и асимптотически нормальные оценки параметров. Последнее означает, что:

$\sqrt{n}(\stackrel{^<!--\; ^\; -->}{b}-<!--\; -\; -->b)\stackrel{d}{\to }\mathcal{N}(0,{\mathrm{\Omega <!--\; \Omega \; -->}}^{-<!--\; -\; -->1}),$${\sqrt {n}}({\hat {b}}-b)\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\,\Omega ^{-1}),$ 

где ${\mathrm{\Omega <!--\; \Omega \; -->}}^{-<!--\; -\; -->1}$$\Omega ^{-1}$  — асимптотическая ковариационная матрица оценок параметров, которая определяется стандартным для метода максимального правдоподобия способом (через гессиан или градиент логарифмической функции правдоподобия в оптимальной точке):

$\mathrm{\Omega <!--\; \Omega \; -->}=\mathrm{E}<!--\; \; -->[\frac{{\mathrm{\phi <!--\; \phi \; -->}}^2(X^{\prime }b)}{\mathrm{\Phi <!--\; \Phi \; -->}(X^{\prime }b)(1-<!--\; -\; -->\mathrm{\Phi <!--\; \Phi \; -->}(X^{\prime }b))}X{X}^{\prime }]$$\Omega =\operatorname {E} {\bigg [}{\frac {\varphi ^{2}(X'b)}{\Phi (X'b)(1-\Phi (X'b))}}XX'{\bigg ]}$ ,

где $\mathrm{\phi <!--\; \phi \; -->}$$\varphi$  — функция плотности вероятности (PDF) стандартного нормального распределения.

Матрица $\mathrm{\Omega <!--\; \Omega \; -->}$$\Omega$  неизвестна и используется её состоятельная оценка:

$\stackrel{^<!--\; ^\; -->}{\mathrm{\Omega <!--\; \Omega \; -->}}=\frac{1}{n}\underset{t=1}{\overset{n}{\sum <!--\; \sum \; -->}}[\frac{{\mathrm{\phi <!--\; \phi \; -->}}^2(x_t^{T}b)}{\mathrm{\Phi <!--\; \Phi \; -->}(x_t^{T}b)(1-<!--\; -\; -->\mathrm{\Phi <!--\; \Phi \; -->}(x_t^{T}b))}{x}_t{x}_t^T]$${\hat {\Omega }}={\frac {1}{n}}\sum _{t=1}^{n}{\bigg [}{\frac {\varphi ^{2}(x_{t}^{T}b)}{\Phi (x_{t}^{T}b)(1-\Phi (x_{t}^{T}b))}}x_{t}x_{t}^{T}{\bigg ]}$ 

Обычно оценка модели производится в специализированных (статистических, эконометрических) программных продуктах, например, Statistica, EViews, Matrixer, R, SPSS и др., хотя возможна «ручная» оценка, например в MS Office Excel, используя встроенный «Поиск решения» для максимизации логарифмической функции правдоподобия.

Показатели качества и тестирование моделиПравить

Для оценки качества построенной пробит-регрессии применяются стандартные для моделей бинарного выбора статистики:

• Статистика отношения правдоподобия ($LR$$LR$ ).

• Псевдо-коэффициент детерминации ($R_{pseudo}^2)$$R_{pseudo}^{2})$ 

• Коэффициент детерминации МакФаддена (индекс отношения правдоподобия)($R_{McFadden}^2,LRI$$R_{McFadden}^{2},LRI$ )

• Информационные критерии Акаике, Шварца, Ханнана-Куинна ($AIC,BIC(SC),HQ$$AIC,BIC(SC),HQ$ ).

• Статистика Хосмера-Лемешоу (Hosmer-Lemeshow, $HL$$HL$ ).

• Статистика Эндрюса (Andrews)

Важное значение имеет анализ доли правильных прогнозов. В частности анализируется доля правильных и (или) неправильных прогнозов для значения каждого из значений зависимой переменной (0 и 1).

ПримерыПравить

ТоксикологияПравить

Рассмотрим пробит-модель на примере действия инсектицида на насекомых. Зависимой бинарной переменной является переменная, принимающая значение 1, если данное насекомое погибло, и 0 в противном случае. В выборке $n$$n$  насекомых реакция на инсектицид одних насекомых не зависит от реакции других. В качестве фактора модели выступает «измеритель» дозы $x=\lg <!--\; \; -->(d)$$x=\lg(d)$ , где $d$$d$ -доза инсектицида. Вероятность того, что случайно отобранное из совокупности насекомое погибнет за данное время, равна

$p(x)=\mathrm{\Phi <!--\; \Phi \; -->}(\mathrm{\alpha <!--\; \alpha \; -->}+\mathrm{\beta <!--\; \beta \; -->}x)$$p(x)=\Phi (\alpha +\beta x)$ .

Если параметры модели $\mathrm{\alpha <!--\; \alpha \; -->}$$\alpha$  и $\mathrm{\beta <!--\; \beta \; -->}$$\beta$  известны (обозначим оценки $a$$a$  и $b$$b$  соответственно), то уровень дозы $x_p$$x_{p}$ , при котором погибает некоторый процент насекомых, находится из уравнения

$a+b{x}_p={\mathrm{\Phi <!--\; \Phi \; -->}}^{-<!--\; -\; -->1}(p)=q_p\Rightarrow <!--\; \Rightarrow \; -->x_p=(q_p-<!--\; -\; -->a)/b$$a+bx_{p}=\Phi ^{-1}(p)=q_{p}\Rightarrow x_{p}=(q_{p}-a)/b$ ,

где $q_p$$q_{p}$  — квантиль уровня $p$$p$  стандартного нормального распределения.

В частности, для уровня дозы $x_{50}$$x_{50}$ , при которой погибает 50 % насекомых, $\lg <!--\; \; -->d_{50}=x_{50}=-<!--\; -\; -->a/b\Rightarrow <!--\; \Rightarrow \; -->d_{50}={10}^{-<!--\; -\; -->a/b}$$\lg d_{50}=x_{50}=-a/b\Rightarrow d_{50}=10^{-a/b}$ . Эту величину в токсикологии принято обозначать ЛД₅₀.

Можно также построить приблизительный доверительный интервал для $x_p$$x_{p}$  следующим образом: $x_p\pm <!--\; \pm \; -->2{\mathrm{\sigma <!--\; \sigma \; -->}}_{x_p}$$x_{p}\pm 2\sigma _{x_{p}}$ . Дисперсию ${\mathrm{\sigma <!--\; \sigma \; -->}}_{x_p}^2$$\sigma _{x_{p}}^{2}$  можно оценить приблизительно следующим образом:

${\mathrm{\sigma <!--\; \sigma \; -->}}_{x_p}^2=({\mathrm{\sigma <!--\; \sigma \; -->}}_a^2+2x_p{\mathrm{\sigma <!--\; \sigma \; -->}}_{ab}+x_p^2{\mathrm{\sigma <!--\; \sigma \; -->}}_b^2)/b^2$$\sigma _{x_{p}}^{2}=(\sigma _{a}^{2}+2x_{p}\sigma _{ab}+x_{p}^{2}\sigma _{b}^{2})/b^{2}$ ,

где ${\mathrm{\sigma <!--\; \sigma \; -->}}_a^2,{\mathrm{\sigma <!--\; \sigma \; -->}}_b^2$$\sigma _{a}^{2},\sigma _{b}^{2}$  — оценка дисперсии оценок параметров модели, ${\mathrm{\sigma <!--\; \sigma \; -->}}_{ab}$$\sigma _{{ab}}$  — оценка ковариации между оценками параметров.

Более точный доверительный интервал можно оценить исходя теоремы Феллера, в соответствии с которой 95%-е доверительные границы для $x_p$$x_{p}$  являются корнями ${\mathrm{\lambda <!--\; \lambda \; -->}}_1$$\lambda _{1}$ , ${\mathrm{\lambda <!--\; \lambda \; -->}}_2$$\lambda _{2}$  квадратного уравнения

${\mathrm{\lambda <!--\; \lambda \; -->}}^2(b^2-<!--\; -\; -->t^2{\mathrm{\sigma <!--\; \sigma \; -->}}_b^2)-<!--\; -\; -->2\mathrm{\lambda <!--\; \lambda \; -->}(b^2{x}_p+t^2{\mathrm{\sigma <!--\; \sigma \; -->}}_{ab})+(b^2{x}_p^2-<!--\; -\; -->t^2{\mathrm{\sigma <!--\; \sigma \; -->}}_a^2)=0$$\lambda ^{2}(b^{2}-t^{2}\sigma _{b}^{2})-2\lambda (b^{2}x_{p}+t^{2}\sigma _{ab})+(b^{2}x_{p}^{2}-t^{2}\sigma _{a}^{2})=0$ ,

где $t=t_{95}$$t=t_{95}$  — 95%-я точка распределения Стьюдента.

Вариации и обобщенияПравить

На практике встречаются ситуации, когда необходимо исследовать не две альтернативы, а несколько альтернатив. Если эти альтернативы неупорядоченные, то говорят о множественной (multinominal) пробит-модели. В случае упорядоченных альтернатив (например, 5-балльная оценка качества услуги или товара) говорят о порядковой или упорядоченной (ordered) пробит-модели.

См. такжеПравить

• Модель бинарного выбора
• Логистическая регрессия
• Модель упорядоченного выбора
• Цензурированная регрессия

ЛитератураПравить

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. — М.: Дело, 2007. — 504 с. — ISBN 978-5-7749-0473-0..

• Носко В.П. Эконометрика для начинающих (Дополнительные главы). – М.: ИЭПП, 2005. С. 379.