Регрессионный анализ

Не следует путать с экономической теоремой регрессии.

Регрессио́нный анализ — набор статистических методов исследования влияния одной или нескольких независимых переменных $X_1,X_2,...,X_p$$X_{1},X_{2},...,X_{p}$ на зависимую переменную $Y$$Y$. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными или регрессантами. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных (см. Корреляция), а не причинно-следственные отношения. Наиболее распространённый вид регрессионного анализа — линейная регрессия, когда находят линейную функцию, которая, согласно определённым математическим критериям, наиболее соответствует данным. Например, в методе наименьших квадратов вычисляется прямая (или гиперплоскость), сумма квадратов между которой и данными минимальна.

Цели регрессионного анализаПравить

1. Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными)
2. Предсказание значения зависимой переменной с помощью независимой(-ых)
3. Определение вклада отдельных независимых переменных в вариацию зависимой

Математическое определение регрессииПравить

Строго регрессионную зависимость можно определить следующим образом. Пусть $Y,X_1,X_2,\dots <!--\; \dots \; -->,X_p$$Y,X_{1},X_{2},\ldots ,X_{p}$  — случайные величины с заданным совместным распределением вероятностей. Если для каждого набора значений $X_1=x_1,X_2=x_2,\dots <!--\; \dots \; -->,X_p=x_p$$X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p}$  определено условное математическое ожидание

$y(x_1,x_2,\dots <!--\; \dots \; -->,x_p)=\mathbb{E}(Y\mid <!--\; \mid \; -->X_1=x_1,X_2=x_2,\dots <!--\; \dots \; -->,X_p=x_p)$$y(x_{1},x_{2},\ldots ,x_{p})={\mathbb {E}}(Y\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p})$  (уравнение регрессии в общем виде),

то функция $y(x_1,x_2,\dots <!--\; \dots \; -->,x_p)$$y(x_{1},x_{2},\ldots ,x_{p})$  называется регрессией величины $Y$$Y$  по величинам $X_1,X_2,\dots <!--\; \dots \; -->,X_p$$X_{1},X_{2},\ldots ,X_{p}$ , а её график — линией регрессии $Y$$Y$  по $X_1,X_2,\dots <!--\; \dots \; -->,X_p$$X_{1},X_{2},\ldots ,X_{p}$ , или уравнением регрессии.

Зависимость $Y$$Y$  от $X_1,X_2,\dots <!--\; \dots \; -->,X_p$$X_{1},X_{2},\ldots ,X_{p}$  проявляется в изменении средних значений $Y$$Y$  при изменении $X_1,X_2,\dots <!--\; \dots \; -->,X_p$$X_{1},X_{2},\ldots ,X_{p}$ . Хотя при каждом фиксированном наборе значений $X_1=x_1,X_2=x_2,\dots <!--\; \dots \; -->,X_p=x_p$$X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{p}=x_{p}$  величина $Y$$Y$  остаётся случайной величиной с определённым распределением.

Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение $Y$$Y$  при изменении $X_1,X_2,...,X_p$$X_{1},X_{2},...,X_{p}$ , используется средняя величина дисперсии $Y$$Y$  при разных наборах значений $X_1,X_2,...,X_p$$X_{1},X_{2},...,X_{p}$  (фактически речь идёт о мере рассеяния зависимой переменной вокруг линии регрессии).

В матричной форме уравнение регрессии (УР) записывается в виде: $Y=BX+U$$Y=BX+U$ , где $U$$U$  — матрица ошибок. При обратимой матрице X◤X получается вектор-столбец коэффициентов B с учётом U◤U=min(B). В частном случае для Х=(±1) матрица X◤X является рототабельной, и УР может быть использовано при анализе временны́х рядов и обработке технических данных.

Метод наименьших квадратов (расчёт коэффициентов)Править

На практике линия регрессии чаще всего ищется в виде линейной функции $Y=b_0+b_1{X}_1+b_2{X}_2+\dots <!--\; \dots \; -->+b_N{X}_N$$Y=b_{0}+b_{1}X_{1}+b_{2}X_{2}+\ldots +b_{N}X_{N}$  (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых $Y$${Y}$  от их оценок $\stackrel{^<!--\; ^\; -->}{Y}$${\hat {Y}}$  (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

$\underset{k=1}{\overset{M}{\sum <!--\; \sum \; -->}}(Y_k-<!--\; -\; -->\stackrel{^<!--\; ^\; -->}{Y_k}{)}^2\to <!--\; \to \; -->min$$\sum _{{k=1}}^{{M}}(Y_{k}-{\hat {Y_{k}}})^{2}\to \min$ 

($M$$M$  — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда $Y=y(x_1,x_2,...x_N)$$Y=y(x_{1},x_{2},...x_{N})$ .

Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки:

$\mathrm{\sigma <!--\; \sigma \; -->}(\stackrel{¯<!--\; ¯\; -->}{b})=\frac{1}{2}\underset{k=1}{\overset{M}{\sum <!--\; \sum \; -->}}(Y_k-<!--\; -\; -->{\stackrel{^<!--\; ^\; -->}{Y}}_k{)}^2$$\sigma ({\bar {b}})={\frac {1}{2}}\sum _{{k=1}}^{{M}}{(Y_{k}-{\hat {Y}}_{k})^{2}}$ 

Условие минимума функции невязки:

$\{\begin{array}{c}\frac{\mathrm{\partial <!--\; \partial \; -->}\mathrm{\sigma <!--\; \sigma \; -->}(\stackrel{¯<!--\; ¯\; -->}{b})}{\mathrm{\partial <!--\; \partial \; -->}{b}_i}=0\\ i=\mathrm{0...}N\end{array}\iff <!--\; \iff \; -->\{\begin{array}{l}\underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}{y}_i=\underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}\underset{j=1}{\overset{N}{\sum <!--\; \sum \; -->}}{b}_j{x}_{i,j}+b_{0}M\\ \underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}{y}_i{x}_{i,k}=\underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}\underset{j=1}{\overset{N}{\sum <!--\; \sum \; -->}}{b}_j{x}_{i,j}{x}_{i,k}+b_0\underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}{x}_{i,k}\\ k=1,\dots <!--\; \dots \; -->,N\end{array}$$\left\{{\begin{matrix}{\frac {\partial \sigma ({\bar {b}})}{\partial b_{i}}}=0\\i=0...N\end{matrix}}\right.\Leftrightarrow {\begin{cases}\sum \limits _{i=1}^{M}{y_{i}}=\sum \limits _{i=1}^{M}{\sum \limits _{j=1}^{N}{b_{j}x_{i,j}}}+b_{0}M\\\sum \limits _{i=1}^{M}{y_{i}x_{i,k}}=\sum \limits _{i=1}^{M}{\sum \limits _{j=1}^{N}{b_{j}x_{i,j}x_{i,k}}}+b_{0}\sum \limits _{i=1}^{M}{x_{i,k}}\\k=1,\ldots ,N\end{cases}}$ 

Полученная система является системой $N+1$$N+1$  линейных уравнений с $N+1$$N+1$  неизвестными $b_0,\dots <!--\; \dots \; -->,b_N$$b_{0},\ldots ,b_{N}$ .

Если представить свободные члены левой части уравнений матрицей

$B=\left(\begin{array}{c}\underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}{y}_i\\ \underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}{y}_i{x}_{i,1}\\ ⋮<!--\; ⋮\; -->\\ \underset{i=1}{\overset{M}{\sum <!--\; \sum \; -->}}{y}_i{x}_{i,N}\end{array}\right),$$B=\left({\begin{matrix}\sum \limits _{i=1}^{M}{y_{i}}\\\sum \limits _{i=1}^{M}{y_{i}x_{i,1}}\\\vdots \\\sum \limits _{i=1}^{M}{y_{i}x_{i,N}}\end{matrix}}\right),$ 

а коэффициенты при неизвестных в правой части — матрицей

$A=\left({\begin{matrix}M&\sum \limits _{i=1}^{M}{x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,2}}&...&\sum \limits _{i=1}^{M}{x_{i,N}}\\\sum \limits _{i=1}^{M}{x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,1}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,1}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,1}}\\\sum \limits _{i=1}^{M}{x_{i,2}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,2}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,2}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,2}}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum \limits _{i=1}^{M}{x_{i,N}}&\sum \limits _{i=1}^{M}{x_{i,1}x_{i,N}}&\sum \limits _{i=1}^{M}{x_{i,2}x_{i,N}}&...&\sum \limits _{i=1}^{M}{x_{i,N}x_{i,N}}\end{matrix}}\right),$ 

то получаем матричное уравнение: $A\times <!--\; \times \; -->X=B$$A\times X=B$ , которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии:

$X=\left(\begin{array}{c}{b}_0\\ b_1\\ ⋮<!--\; ⋮\; -->\\ b_N\end{array}\right)$$X=\left({\begin{matrix}b_{0}\\b_{1}\\\vdots \\b_{N}\end{matrix}}\right)$ 

Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса — Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators — «наилучшие линейные несмещённые оценки»). Большинство исследуемых зависимостей может быть представлено с помощью МНК нелинейными математическими функциями.

Интерпретация параметров регрессииПравить

Параметры $b_i$$b_{i}$  являются частными коэффициентами корреляции; $(b_i{)}^2$$(b_{i})^{2}$  интерпретируется как доля дисперсии Y, объяснённая $X_i$$X_{i}$ , при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад $X_i$$X_{i}$  в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа.

Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идёт ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида $X_1{X}_2$$X_{1}X_{2}$ , $X_1{X}_2{X}_3$$X_{1}X_{2}X_{3}$ , свидетельствующее о наличии взаимодействий между признаками $X_1$$X_{1}$ , $X_2$$X_{2}$  и т. д. (см. Мультиколлинеарность).

См. такжеПравить

• Корреляция
• Мультиколлинеарность
• Автокорреляция
• Перекрёстная проверка
• Линейная регрессия на корреляции

ЛитератураПравить

• Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. — 3-е изд. — М.: «Диалектика», 2007. — 912 с. — ISBN 0-471-17082-8.
• Фёрстер Э., Рёнц Б. Методы корреляционного и регрессионного анализа = Methoden der Korrelation - und Regressiolynsanalyse. — М.: Финансы и статистика, 1981. — 302 с.
• Захаров С. И., Холмская А. Г. Повышение эффективности обработки сигналов вибрации и шума при испытаниях механизмов // Вестник машиностроения : журнал. — М.: Машиностроение, 2001. — № 10. — С. 31—32. — ISSN 0042-4633.
• Радченко С. Г. Устойчивые методы оценивания статистических моделей. — К.: ПП «Санспарель», 2005. — 504 с. — ISBN 966-96574-0-7, УДК: 519.237.5:515.126.2, ББК 22.172+22.152.
• Радченко С. Г. Методология регрессионного анализа. — К.: «Корнийчук», 2011. — 376 с. — ISBN 978-966-7599-72-0.