Логистическая регрессия

Логистическая регрессия или логит-модель (англ. logit model) — статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события путём его сравнения с логистической кривой. Эта регрессия выдаёт ответ в виде вероятности бинарного события (1 или 0).

ОписаниеПравить

 

Логистическая функция: $f(x)=\frac{1}{1+e^{-<!--\; -\; -->x}}$$f(x)={\frac {1}{1+e^{{-x}}}}$ .

Логистическая регрессия применяется для прогнозирования вероятности возникновения некоторого события по значениям множества признаков. Для этого вводится так называемая зависимая переменная $y$$y$ , принимающая лишь одно из двух значений — как правило, это числа 0 (событие не произошло) и 1 (событие произошло), и множество независимых переменных (также называемых признаками, предикторами или регрессорами) — вещественных $x_1,x_2,...,x_n$$x_{1},x_{2},...,x_{n}$ , на основе значений которых требуется вычислить вероятность принятия того или иного значения зависимой переменной. Как и в случае линейной регрессии, для простоты записи вводится фиктивный признак $x_0=1.$$x_{0}=1.$ 

Делается предположение о том, что вероятность наступления события $y=1$$y=1$  равна:

$\mathbb{P}\{y=1\mid <!--\; \mid \; -->x\}=f(z),$${\mathbb {P}}\{y=1\mid x\}=f(z),$ 

где $z={\mathrm{\theta <!--\; \theta \; -->}}^{T}x={\mathrm{\theta <!--\; \theta \; -->}}_0+{\mathrm{\theta <!--\; \theta \; -->}}_1{x}_1+\dots <!--\; \dots \; -->+{\mathrm{\theta <!--\; \theta \; -->}}_n{x}_n$$z=\theta ^{T}x=\theta _{0}+\theta _{1}x_{1}+\ldots +\theta _{n}x_{n}$ , $x$$x$  и $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  — векторы-столбцы значений независимых переменных $1,x_1,\dots <!--\; \dots \; -->,x_n$$1,x_{1},\dots ,x_{n}$  и параметров (коэффициентов регрессии) — вещественных чисел ${\mathrm{\theta <!--\; \theta \; -->}}_0,...,{\mathrm{\theta <!--\; \theta \; -->}}_n$$\theta _{0},...,\theta _{n}$ , соответственно, а $f(z)$$f(z)$  — так называемая логистическая функция (иногда также называемая сигмоидом или логит-функцией):

$f(z)=\frac{1}{1+e^{-<!--\; -\; -->z}}.$$f(z)={\frac {1}{1+e^{{-z}}}}.$ 

Так как $y$$y$  принимает лишь значения 0 и 1, то вероятность принять значение 0 равна:

$\mathbb{P}\{y=0\mid <!--\; \mid \; -->x\}=1-<!--\; -\; -->f(z)=1-<!--\; -\; -->f({\mathrm{\theta <!--\; \theta \; -->}}^{T}x).$${\mathbb {P}}\{y=0\mid x\}=1-f(z)=1-f(\theta ^{T}x).$ 

Для краткости функцию распределения $y$$y$  при заданном $x$$x$  можно записать в таком виде:

$\mathbb{P}\{y\mid <!--\; \mid \; -->x\}=f({\mathrm{\theta <!--\; \theta \; -->}}^{T}x{)}^y(1-<!--\; -\; -->f({\mathrm{\theta <!--\; \theta \; -->}}^{T}x){)}^{1-<!--\; -\; -->y},y\in <!--\; \in \; -->\{0,1\}.$${\mathbb {P}}\{y\mid x\}=f(\theta ^{T}x)^{y}(1-f(\theta ^{T}x))^{{1-y}},\quad y\in \{0,1\}.$ 

Фактически, это есть распределение Бернулли с параметром, равным $f({\mathrm{\theta <!--\; \theta \; -->}}^{T}x)$$f(\theta ^{T}x)$ .

Подбор параметровПравить

Для подбора параметров ${\mathrm{\theta <!--\; \theta \; -->}}_0,...,{\mathrm{\theta <!--\; \theta \; -->}}_n$$\theta _{0},...,\theta _{n}$  необходимо составить обучающую выборку, состоящую из наборов значений независимых переменных и соответствующих им значений зависимой переменной $y$$y$ . Формально, это множество пар $(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})$$(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})$ , где $x^{(i)}\in <!--\; \in \; -->{\mathbb{R}}^n$$x^{{(i)}}\in {\mathbb {R}}^{n}$  — вектор значений независимых переменных, а $y^{(i)}\in <!--\; \in \; -->\{0,1\}$$y^{{(i)}}\in \{0,1\}$  — соответствующее им значение $y$$y$ . Каждая такая пара называется обучающим примером.

Обычно используется метод максимального правдоподобия, согласно которому выбираются параметры $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , максимизирующие значение функции правдоподобия на обучающей выборке:

$\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}={\mathrm{argmax}}_{\mathrm{\theta <!--\; \theta \; -->}}<!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->})={\mathrm{argmax}}_{\mathrm{\theta <!--\; \theta \; -->}}<!--\; \; -->\underset{i=1}{\overset{m}{\prod <!--\; \prod \; -->}}\mathbb{P}\{y=y^{(i)}\mid <!--\; \mid \; -->x=x^{(i)}\}.$${\hat {\theta }}=\operatorname {argmax}_{{\theta }}L(\theta )=\operatorname {argmax}_{{\theta }}\prod _{{i=1}}^{{m}}{\mathbb {P}}\{y=y^{{(i)}}\mid x=x^{{(i)}}\}.$ 

Максимизация функции правдоподобия эквивалентна максимизации её логарифма:

$\ln <!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->})=\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\log <!--\; \; -->\mathbb{P}\{y=y^{(i)}\mid <!--\; \mid \; -->x=x^{(i)}\}=\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}[y^{(i)}\ln <!--\; \; -->f({\mathrm{\theta <!--\; \theta \; -->}}^T{x}^{(i)})+(1-<!--\; -\; -->y^{(i)})\ln <!--\; \; -->(1-<!--\; -\; -->f({\mathrm{\theta <!--\; \theta \; -->}}^T{x}^{(i)}))]$$\ln L(\theta )=\sum _{i=1}^{m}\log \mathbb {P} \{y=y^{(i)}\mid x=x^{(i)}\}=\sum _{i=1}^{m}{\Big [}y^{(i)}\ln f(\theta ^{T}x^{(i)})+(1-y^{(i)})\ln(1-f(\theta ^{T}x^{(i)})){\Big ]}$ , где ${\mathrm{\theta <!--\; \theta \; -->}}^T{x}^{(i)}={\mathrm{\theta <!--\; \theta \; -->}}_0+{\mathrm{\theta <!--\; \theta \; -->}}_1{x}_1^{(i)}+\cdots <!--\; \cdots \; -->+{\mathrm{\theta <!--\; \theta \; -->}}_n{x}_n^{(i)}.$$\theta ^{T}x^{(i)}=\theta _{0}+\theta _{1}x_{1}^{(i)}+\dots +\theta _{n}x_{n}^{(i)}.$ 

Для максимизации этой функции может быть применён, например, метод градиентного спуска. Он заключается в выполнении следующих итераций, начиная с некоторого начального значения параметров $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ :

$\mathrm{\theta <!--\; \theta \; -->}:=\mathrm{\theta <!--\; \theta \; -->}+\mathrm{\alpha <!--\; \alpha \; -->}\mathrm{\nabla <!--\; \nabla \; -->}\ln <!--\; \; -->L(\mathrm{\theta <!--\; \theta \; -->})=\mathrm{\theta <!--\; \theta \; -->}+\mathrm{\alpha <!--\; \alpha \; -->}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}(y^{(i)}-<!--\; -\; -->f({\mathrm{\theta <!--\; \theta \; -->}}^T{x}^{(i)}))x^{(i)},\mathrm{\alpha <!--\; \alpha \; -->}>0.$$\theta :=\theta +\alpha \nabla \ln L(\theta )=\theta +\alpha \sum _{{i=1}}^{{m}}(y^{{(i)}}-f(\theta ^{T}x^{{(i)}}))x^{{(i)}},\alpha >0.$ 

На практике также применяют метод Ньютона и стохастический градиентный спуск.

РегуляризацияПравить

Для улучшения обобщающей способности получающейся модели, то есть уменьшения эффекта переобучения, на практике часто рассматривается логистическая регрессия с регуляризацией.

Регуляризация заключается в том, что вектор параметров $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  рассматривается как случайный вектор с некоторой заданной априорной плотностью распределения $p(\mathrm{\theta <!--\; \theta \; -->})$$p(\theta )$ . Для обучения модели вместо метода наибольшего правдоподобия при этом используется метод максимизации апостериорной оценки, то есть ищутся параметры $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , максимизирующие величину:

$\underset{i=1}{\overset{m}{\prod <!--\; \prod \; -->}}\mathbb{P}\{y^{(i)}\mid <!--\; \mid \; -->x^{(i)},\mathrm{\theta <!--\; \theta \; -->}\}\cdot <!--\; \cdot \; -->p(\mathrm{\theta <!--\; \theta \; -->}).$$\prod _{{i=1}}^{m}{\mathbb {P}}\{y^{{(i)}}\mid x^{{(i)}},\theta \}\cdot p(\theta ).$ 

В качестве априорного распределения часто выступает многомерное нормальное распределение $\mathcal{N}(0,{\mathrm{\sigma <!--\; \sigma \; -->}}^{2}I)$${\mathcal {N}}(0,\sigma ^{2}I)$  с нулевым средним и матрицей ковариации ${\mathrm{\sigma <!--\; \sigma \; -->}}^{2}I$$\sigma ^{2}I$ , соответствующее априорному убеждению о том, что все коэффициенты регрессии должны быть небольшими числами, идеально — многие малозначимые коэффициенты должны быть нулями. Подставив плотность этого априорного распределения в формулу выше, и прологарифмировав, получим следующую оптимизационную задачу:

$\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\log <!--\; \; -->\mathbb{P}\{y^{(i)}\mid <!--\; \mid \; -->x^{(i)},\mathrm{\theta <!--\; \theta \; -->}\}-<!--\; -\; -->\mathrm{\lambda <!--\; \lambda \; -->}\Vert <!--\; \Vert \; -->\mathrm{\theta <!--\; \theta \; -->}{\Vert <!--\; \Vert \; -->}^2\to <!--\; \to \; -->\text{max},$$\sum \limits _{{i=1}}^{m}\log {\mathbb {P}}\{y^{{(i)}}\mid x^{{(i)}},\theta \}-\lambda \|\theta \|^{2}\,\to {\mbox{max}},$ 

где $\mathrm{\lambda <!--\; \lambda \; -->}=\text{const}/{\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\lambda ={\mbox{const}}/{\sigma ^{2}}$  — параметр регуляризации. Этот метод известен как L2-регуляризованная логистическая регрессия, так как в целевую функцию входит L2-норма вектора параметров для регуляризации.

Если вместо L2-нормы использовать L1-норму, что эквивалентно использованию распределения Лапласа, как априорного, вместо нормального, то получится другой распространённый вариант метода — L1-регуляризованная логистическая регрессия:

$\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\log <!--\; \; -->\mathbb{P}\{y^{(i)}\mid <!--\; \mid \; -->x^{(i)},\mathrm{\theta <!--\; \theta \; -->}\}-<!--\; -\; -->\mathrm{\lambda <!--\; \lambda \; -->}\Vert <!--\; \Vert \; -->\mathrm{\theta <!--\; \theta \; -->}{\Vert <!--\; \Vert \; -->}_1\to <!--\; \to \; -->\text{max}.$$\sum _{{i=1}}^{m}\log {\mathbb {P}}\{y^{{(i)}}\mid x^{{(i)}},\theta \}-\lambda \|\theta \|_{1}\,\to {\mbox{max}}.$ 

ПрименениеПравить

Эта модель часто применяется для решения задач классификации — объект $x$$x$  можно отнести к классу $y=1$$y=1$ , если предсказанная моделью вероятность $\mathbb{P}\{y=1\mid <!--\; \mid \; -->x\}>0,5$${\mathbb {P}}\{y=1\mid x\}>0{,}5$ , и к классу $y=0$$y=0$  в противном случае. Получающиеся при этом правила классификации являются линейными классификаторами.

Связанные методыПравить

На логистическую регрессию очень похожа пробит-регрессия, отличающаяся от неё лишь другим выбором функции $f(z)$$f(z)$ . Softmax-регрессия обобщает логистическую регрессию на случай многоклассовой классификации, то есть когда зависимая переменная $y$$y$  принимает более двух значений. Все эти модели в свою очередь являются представителями широкого класса статистических моделей — обобщённых линейных моделей.

См. такжеПравить

• Модель бинарного выбора
• Пробит-регрессия

ЛитератураПравить

• Andrew Ng. Stanford CS229 Lecture Notes