Линейная регрессия

Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной $y$$y$ от другой или нескольких других переменных (факторов, регрессоров, независимых переменных) $x$$x$ с линейной функцией зависимости.

Пример линии (красная), построенной с использованием линейной регрессии

Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при предположениях о вероятностных характеристиках факторов, и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. С эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.

ОпределениеПравить

Регрессионная модель

$y=f(x,b)+\mathrm{\epsilon <!--\; \epsilon \; -->},E(\mathrm{\epsilon <!--\; \epsilon \; -->})$$y=f(x,b)+\varepsilon ,~E(\varepsilon )$ ,

где $b$$b$  — параметры модели, $\mathrm{\epsilon <!--\; \epsilon \; -->}$$\varepsilon$  — случайная ошибка модели; называется линейной регрессией, если функция регрессии $f(x,b)$$f(x,b)$  имеет вид

$f(x,b)=b_0+b_1{x}_1+b_2{x}_2+...+b_k{x}_k$$f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k$ ,

где $b_j$$b_{j}$  — параметры (коэффициенты) регрессии, $x_j$$x_{j}$  — регрессоры (факторы модели), k — количество факторов модели.

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

$\mathrm{\forall <!--\; \forall \; -->}j{b}_j=\frac{\mathrm{\partial <!--\; \partial \; -->}f}{\mathrm{\partial <!--\; \partial \; -->}{x}_j}=const$$\forall j\quad ~b_{j}={\frac {\partial f}{\partial x_{j}}}=const$ 

Параметр $b_0$$b_{0}$ , при котором нет факторов, называют часто константой. Формально — это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа — это параметр при «факторе», равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот «фактор»). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов — k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

$f(x,b)=b_1{x}_1+b_2{x}_2+\dots <!--\; \dots \; -->+b_k{x}_k=\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{b}_j{x}_j=x^{T}b$$f(x,b)=b_1 x_1 + b_2 x_2 + \ldots + b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb$ ,

где $x^T=(x_1,x_2,...,x_k)$$x^T=(x_1,x_2,...,x_k)$  — вектор регрессоров, $b=(b_1,b_2,\dots <!--\; \dots \; -->,b_k{)}^T$$b=(b_1,b_2, \ldots,b_k)^T$  — вектор-столбец параметров (коэффициентов).

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессияПравить

В частном случае, когда фактор единственный (без учёта константы), говорят о парной или простейшей линейной регрессии:

$y_t=a+b{x}_t+{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t$$y_t=a+b x_t+\varepsilon_t$ 

Когда количество факторов (без учёта константы) больше одного, то говорят о множественной регрессии:

$Y=b_0+b_1{x}_{i1}+...+b_j{x}_{ij}+...+b_k{x}_{ik}+e_i$$Y=b_{0}+b_{1}x_{i1}+...+b_{j}x_{ij}+...+b_{k}x_{ik}+e_{i}$ 

ПримерыПравить

Модель затрат организации (без указания случайной ошибки)Править

$TC=FC+VC=FC+v\cdot <!--\; \cdot \; -->Q$$TC=FC+VC=FC+v \cdot Q$ 

• $TC$$TC$  — общие затраты
• $FC$$FC$  — постоянные затраты (не зависящие от объёма производства)
• $VC$$VC$  — переменные затраты, пропорциональные объёму производства
• $v$$v$  — удельные или средние (на единицу продукции) переменные затраты
• $Q$$Q$  — объём производства.

Простейшая модель потребительских расходов (Кейнс)Править

$C=a+bY+\mathrm{\epsilon <!--\; \epsilon \; -->}$$C=a+bY+\varepsilon$ 

• $C$$C$  — потребительские расходы
• $Y$$Y$  — располагаемый доход
• $b$$b$  — «предельная склонность к потреблению»
• $a$$a$  — автономное (не зависящее от дохода) потребление.

Матричное представлениеПравить

Пусть дана выборка объёмом n наблюдений переменных y и x. Обозначим t — номер наблюдения в выборке. Тогда $y_t$$y_{t}$  — значение переменной y в t-м наблюдении, $x_{tj}$$x_{tj}$  — значение j-го фактора в t-м наблюдении. Соответственно, $x_t^T=(x_{t1},x_{t2},...,x_{tk})$$x^T_t=(x_{t1},x_{t2},...,x_{tk})$  — вектор регрессоров в t-м наблюдении. Тогда линейная регрессионная зависимость имеет место в каждом наблюдении:

$y_t=b_1{x}_{t1}+b_2{x}_{t2}+...+b_k{x}_{tk}=\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{b}_j{x}_{tj}=x_t^{T}b+{\mathrm{\epsilon <!--\; \epsilon \; -->}}_t,E({\mathrm{\epsilon <!--\; \epsilon \; -->}}_t)=0,t=\mathrm{1..}n$$y_t=b_1 x_{t1}+b_2 x_{t2}+...+b_k x_{tk}=\sum^k_{j=1}b_j x_{tj}=x^T_t b+\varepsilon_t~,~E(\varepsilon_t)=0~,~t=1..n$ 

Введём обозначения:

$y=\left(\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right)$$y={\begin{pmatrix}y_{1}\\y_{2}\\...\\y_{n}\\\end{pmatrix}}$  — вектор наблюдений зависимой переменой y

$X={\begin{pmatrix}x_{11}&x_{12}&...&x_{1k}\\x_{21}&x_{22}&...&x_{2k}\\...\\x_{n1}&x_{n2}&...&x_{nk}\\\end{pmatrix}}$  — матрица факторов.

$\mathrm{\epsilon <!--\; \epsilon \; -->}=\left(\begin{array}{c}{\mathrm{\epsilon <!--\; \epsilon \; -->}}_1\\ {\mathrm{\epsilon <!--\; \epsilon \; -->}}_2\\ ...\\ {\mathrm{\epsilon <!--\; \epsilon \; -->}}_n\end{array}\right)$$\varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\...\\\varepsilon _{n}\\\end{pmatrix}}$  — вектор случайных ошибок.

Тогда модель линейной регрессии можно представить в матричной форме:

$y=Xb+\mathrm{\epsilon <!--\; \epsilon \; -->}$$y=Xb+\varepsilon$ 

Классическая линейная регрессияПравить

В классической линейной регрессии предполагается, что наряду со стандартным условием $E({\mathrm{\epsilon <!--\; \epsilon \; -->}}_t)=0$$E(\varepsilon _{t})=0$  выполнены также следующие предположения (условия Гаусса-Маркова):

1. Гомоскедастичность (постоянная или одинаковая дисперсия) или отсутствие гетероскедастичности случайных ошибок модели: $V({\mathrm{\epsilon <!--\; \epsilon \; -->}}_t)={\mathrm{\sigma <!--\; \sigma \; -->}}^2=const$$V(\varepsilon _{t})=\sigma ^{2}=const$ 
2. Отсутствие автокорреляции случайных ошибок: $\mathrm{\forall <!--\; \forall \; -->}i,j,i\ne jcov({\mathrm{\epsilon <!--\; \epsilon \; -->}}_i,{\mathrm{\epsilon <!--\; \epsilon \; -->}}_j)=0$$\forall i,j,~ i \not = j ~~cov(\varepsilon_i,\varepsilon_j)=0$ 

Данные предположения в матричном представлении модели формулируются в виде одного предположения о структуре ковариационной матрицы вектора случайных ошибок: $V(\mathrm{\epsilon <!--\; \epsilon \; -->})={\mathrm{\sigma <!--\; \sigma \; -->}}^2{I}_n$$V(\varepsilon)=\sigma^2 I_n$ 

Помимо указанных предположений, в классической модели факторы предполагаются детерминированными (нестохастическими). Кроме того, формально требуется, чтобы матрица $X$$X$  имела полный ранг ($k$$k$ ), то есть предполагается, что отсутствует полная коллинеарность факторов.

При выполнении классических предположений обычный метод наименьших квадратов позволяет получить достаточно качественные оценки параметров модели, а именно: они являются несмещёнными, состоятельными и наиболее эффективными оценками.

Методы оценкиПравить

• Метод наименьших квадратов
• Обобщенный метод наименьших квадратов
• Метод инструментальных переменных
• Метод максимального правдоподобия
• Метод моментов
• Обобщенный метод моментов
• Квантильная регрессия

См. такжеПравить

• Регрессионный анализ

ЛитератураПравить

• Е.З. Демиденко. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981. — 302 с.
• Дж. Себер. Линейный регрессионный анализ. — М.: Мир, 1980. — 456 с. — 13 700 экз.