Дилемма смещения–дисперсии

Компромисс отклонение-дисперсия в статистике и в машинном обучении — это свойство набора моделей предсказания, когда модели с меньшим отклонением от имеющихся данных имеют более высокую дисперсию на новых данных (то есть подвержены переобучению), и наоборот. Компромисс отклонение-дисперсия — конфликт при попытке одновременно минимизировать эти два источника ошибки^[en], которые мешают алгоритмам обучения с учителем делать обобщение за пределами тренировочного набора.

• Смещение — это погрешность оценки, возникающая в результате ошибочного предположения в алгоритме обучения. В результате большого смещения алгоритм может пропустить связь между признаками и выводом (недообучение).
• Дисперсия — это ошибка чувствительности к малым отклонениям в тренировочном наборе. При высокой дисперсии алгоритм может как-то трактовать случайный шум^[en] в тренировочном наборе, а не желаемый результат (переобучение).

Функция и данные с шумом.

разброс = 5

разброс = 1

разброс = 0.1

Функция (красный цвет) аппроксимирована с помощью радиально-базисных функций (РБФ) (синий цвет). На каждом графике показано несколько испытаний. Для каждого испытания в качестве тренировочного набора использовались некоторые точки из выборки с шумом (верхний график). При широком разбросе (график 2) смещение высоко, РБФ не могут полностью аппроксимировать функцию (особенно центральную яму), но дисперсия между испытаниями мала. По мере увеличения разброса (графики 3 и 4) смещение возрастает, синяя кривая ближе аппроксимирует красную кривую. Однако дисперсия между испытаниями растёт. На нижнем графике приближённое значение в точке x=0 сильно зависят от расположения точек выборки.

Разложение смещения-дисперсии — это способ анализа ожидаемой ошибки обобщения^[en] алгоритма обучения для частной задачи сведением к сумме трёх членов — смещения, дисперсии и величины, называемой неустранимой погрешностью, которая является результатом шума в самой задаче.

Дилемма возникает во всех формах обучения с учителем — в классификации, регрессии (аппроксимация функции) и структурное прогнозирование. Дилемма также используется для объяснения эффективности эвристики при обучении людей.

Побудительные причиныПравить

Дилемма смещения-дисперсии является центральной проблемой в обучении с учителем. Выбираемая модель должна, с одной стороны, точно уловить все закономерности в обучающих данных, а с другой стороны — обобщить закономерности на неизвестные данные. К сожалению, обычно это невозможно сделать одновременно. Методы обучения с высокой дисперсией могут хорошо представлять тренировочный набор, но имеют риск быть переобученными для данных с шумом или непрезентативных данных. В отличие от них, алгоритмы с низкой дисперсией обычно дают более простые модели, не склонно к переобучению, но может оказаться недообученным, что приводит к пропуску важных свойств.

Модели с малым смещением обычно более сложны (например, в них регрессионные многочлены имеют более высокий порядок), что позволяет им представлять тренировочное множество более точно. Однако они могут иметь большую компоненту шума^[en] тренировочного набора, что делает предсказание менее точным вопреки добавленной сложности. Для контраста, модели с высоким смещением относительно более просты (имеют многочлены меньшего порядка или даже линейные), но могут давать низкую дисперсию предсказаний, если применяются вне тренировочного набора.

Разложение смещения-дисперсии квадратичной ошибкиПравить

Предположим, что у нас есть тренировочное множество, состоящее из набора точек $x_1,\dots <!--\; \dots \; -->,x_n$$x_{1},\dots ,x_{n}$  и вещественных значений $y_i$$y_{i}$ , связанных с каждой из этих точек $x_i$$x_{i}$ . Мы предполагаем, что есть функция с шумом $y=f(x)+\mathrm{\epsilon <!--\; \epsilon \; -->}$$y=f(x)+\varepsilon$ , где шум $\mathrm{\epsilon <!--\; \epsilon \; -->}$$\varepsilon$  имеет нулевое среднее и дисперсию ${\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\sigma ^{2}$ .

Мы хотим найти функцию $\stackrel{^<!--\; ^\; -->}{f}(x)$${\hat {f}}(x)$ , которая аппроксимирует истинную функцию $f(x)$$f(x)$  настолько хорошо, насколько возможно, в смысле некоторого алгоритма обучения. Мы делаем понятие «настолько хорошо, насколько возможно» точным путём измерения среденквадратичной ошибки^[en] между $y$$y$  и $\stackrel{^<!--\; ^\; -->}{f}(x)$${\hat {f}}(x)$  — мы хотим, чтобы значение $(y-<!--\; -\; -->\stackrel{^<!--\; ^\; -->}{f}(x){)}^2$$(y-{\hat {f}}(x))^{2}$  было минимальным как для точек $x_1,\dots <!--\; \dots \; -->,x_n$$x_{1},\dots ,x_{n}$ , так и за пределами нашей выборки. Естественно, мы не можем сделать это идеально, поскольку $y_i$$y_{i}$  содержит шум $\mathrm{\epsilon <!--\; \epsilon \; -->}$$\varepsilon$ . Это означает, что мы должны быть готовы принять неустранимую ошибку в любой функции, с которой будем работать.

Поиск функции $\stackrel{^<!--\; ^\; -->}{f}$${\hat {f}}$ , которая обобщается для точек вне тренировочного набора, может быть осуществлён любым из несчётного числа алгоритмов, используемых для обучения с учителем. Оказывается, что какую бы функцию $\stackrel{^<!--\; ^\; -->}{f}$${\hat {f}}$  мы ни выбрали, мы можем разложить её ожидаемую ошибку на непросмотренном экземпляре данных $x$$x$  следующим образом:.

${\begin{aligned}\operatorname {E} {\Big [}{\big (}y-{\hat {f}}(x){\big )}^{2}{\Big ]}&={\Big (}\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}{\Big )}^{2}+\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}+\sigma ^{2}\\\end{aligned}}$ ,

где

$\begin{array}{r}\mathrm{Bias}<!--\; \; -->[\stackrel{^<!--\; ^\; -->}{f}(x)]=\mathrm{E}<!--\; \; -->[\stackrel{^<!--\; ^\; -->}{f}(x)-<!--\; -\; -->f(x)]\end{array}$${\begin{aligned}\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} {\big [}{\hat {f}}(x)-f(x){\big ]}\end{aligned}}$ 

и

$\begin{array}{r}\mathrm{Var}<!--\; \; -->[\stackrel{^<!--\; ^\; -->}{f}(x)]=\mathrm{E}<!--\; \; -->[\stackrel{^<!--\; ^\; -->}{f}(x{)}^2]-<!--\; -\; -->(\mathrm{E}<!--\; \; -->[\stackrel{^<!--\; ^\; -->}{f}(x)]{)}^2\end{array}$${\begin{aligned}\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} [{\hat {f}}(x)^{2}]-{\Big (}\operatorname {E} [{\hat {f}}(x)]{\Big )}^{2}\end{aligned}}$ 

Математические ожидания пробегают разные варианты выбора тренировочного набора $x_1,\dots <!--\; \dots \; -->,x_n,y_1,\dots <!--\; \dots \; -->,y_n$$x_{1},\dots ,x_{n},y_{1},\dots ,y_{n}$  из одного и того же совместного распределения $P(x,y)$$P(x,y)$ . Три члена представляют

• квадрат смещения метода обучения, который можно рассматривать как ошибку, вызванную упрощением предположений, принятых в методе. Например, когда применяется аппроксимация нелинейной функции $f(x)$$f(x)$  при использовании метода обучения для линейных моделей^[en], будет появляться ошибка в оценке $\stackrel{^<!--\; ^\; -->}{f}(x)$${\hat {f}}(x)$  как результат такого допущения;
• дисперсия метода обучения, или, интуитивно, как далеко метод обучения $\stackrel{^<!--\; ^\; -->}{f}(x)$${\hat {f}}(x)$  уведёт от среднего значения;
• неустранимая ошибка ${\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\sigma ^{2}$ . Поскольку все три величины неотрицательны, они формируют нижнюю границу ожидаемой ошибки на непросмотренных данных.

Чем более сложна модель $\stackrel{^<!--\; ^\; -->}{f}(x)$${\hat {f}}(x)$ , тем больше точек данных она захватывает и тем меньше будет смещение. Однако сложность приводит модель к захвату большего числа точек, а потому её дисперсия будет больше.

ВыводПравить

Вывод разложения смещения-дисперсии для среднеквадратичной ошибки приведён ниже. Для удобства введём обозначения $f=f(x)$$f=f(x)$  и $\stackrel{^<!--\; ^\; -->}{f}=\stackrel{^<!--\; ^\; -->}{f}(x)$${\hat {f}}={\hat {f}}(x)$ . Во-первых, вспомним, что по определению для любой случайной переменной $X$$X$  мы имеем

$\begin{array}{r}\mathrm{Var}<!--\; \; -->[X]=\mathrm{E}<!--\; \; -->[X^2]-<!--\; -\; -->(\mathrm{E}<!--\; \; -->[X]{)}^2\end{array}$${\begin{aligned}\operatorname {Var} [X]=\operatorname {E} [X^{2}]-{\Big (}\operatorname {E} [X]{\Big )}^{2}\end{aligned}}$ 

Переставив члены получим:

$\begin{array}{r}\mathrm{E}<!--\; \; -->[X^2]=\mathrm{Var}<!--\; \; -->[X]+(\mathrm{E}<!--\; \; -->[X]{)}^2\end{array}$${\begin{aligned}\operatorname {E} [X^{2}]=\operatorname {Var} [X]+{\Big (}\operatorname {E} [X]{\Big )}^{2}\end{aligned}}$ 

Поскольку $f$$f$  детерминирована,

$\begin{array}{r}\mathrm{E}<!--\; \; -->[f]=f\end{array}$${\begin{aligned}\operatorname {E} [f]=f\end{aligned}}$ .

Тогда из $y=f+\mathrm{\epsilon <!--\; \epsilon \; -->}$$y=f+\varepsilon$  и $\mathrm{E}<!--\; \; -->[\mathrm{\epsilon <!--\; \epsilon \; -->}]=0$$\operatorname {E} [\varepsilon ]=0$  вытекает, что $\mathrm{E}<!--\; \; -->[y]=\mathrm{E}<!--\; \; -->[f+\mathrm{\epsilon <!--\; \epsilon \; -->}]=\mathrm{E}<!--\; \; -->[f]=f$$\operatorname {E} [y]=\operatorname {E} [f+\varepsilon ]=\operatorname {E} [f]=f$ .

Но поскольку $\mathrm{Var}<!--\; \; -->[\mathrm{\epsilon <!--\; \epsilon \; -->}]={\mathrm{\sigma <!--\; \sigma \; -->}}^2,$$\operatorname {Var} [\varepsilon ]=\sigma ^{2},$ , получаем

$\begin{array}{r}\mathrm{Var}<!--\; \; -->[y]=\mathrm{E}<!--\; \; -->[(y-<!--\; -\; -->\mathrm{E}<!--\; \; -->[y]{)}^2]=\mathrm{E}<!--\; \; -->[(y-<!--\; -\; -->f{)}^2]=\mathrm{E}<!--\; \; -->[(f+\mathrm{\epsilon <!--\; \epsilon \; -->}-<!--\; -\; -->f{)}^2]=\mathrm{E}<!--\; \; -->[{\mathrm{\epsilon <!--\; \epsilon \; -->}}^2]=\mathrm{Var}<!--\; \; -->[\mathrm{\epsilon <!--\; \epsilon \; -->}]+(\mathrm{E}<!--\; \; -->[\mathrm{\epsilon <!--\; \epsilon \; -->}]{)}^2={\mathrm{\sigma <!--\; \sigma \; -->}}^2\end{array}$${\begin{aligned}\operatorname {Var} [y]=\operatorname {E} [(y-\operatorname {E} [y])^{2}]=\operatorname {E} [(y-f)^{2}]=\operatorname {E} [(f+\varepsilon -f)^{2}]=\operatorname {E} [\varepsilon ^{2}]=\operatorname {Var} [\varepsilon ]+{\Big (}\operatorname {E} [\varepsilon ]{\Big )}^{2}=\sigma ^{2}\end{aligned}}$ 

Так как $\mathrm{\epsilon <!--\; \epsilon \; -->}$$\varepsilon$  и $\stackrel{^<!--\; ^\; -->}{f}$${\hat {f}}$  независимы, мы можем записать

${\begin{aligned}\operatorname {E} {\big [}(y-{\hat {f}})^{2}{\big ]}&=\operatorname {E} [y^{2}+{\hat {f}}^{2}-2y{\hat {f}}]\\&=\operatorname {E} [y^{2}]+\operatorname {E} [{\hat {f}}^{2}]-\operatorname {E} [2y{\hat {f}}]\\&=\operatorname {Var} [y]+\operatorname {E} [y]^{2}+\operatorname {Var} [{\hat {f}}]+\operatorname {E} [{\hat {f}}]^{2}-2f\operatorname {E} [{\hat {f}}]\\&=\operatorname {Var} [y]+\operatorname {Var} [{\hat {f}}]+{\Big (}f^{2}-2f\operatorname {E} [{\hat {f}}]+\operatorname {E} [{\hat {f}}]^{2}{\Big )}\\&=\operatorname {Var} [y]+\operatorname {Var} [{\hat {f}}]+(f-\operatorname {E} [{\hat {f}}])^{2}\\&=\sigma ^{2}+\operatorname {Var} [{\hat {f}}]+\operatorname {Bias} [{\hat {f}}]^{2}\end{aligned}}$ 

Применение для регрессииПравить

Разложение смещения-дисперсии образует концептуальный базис для методов регуляризации регрессии, таких как Lasso^[en] и гребневая регрессия. Методы регуляризации вносят смещение в решение регрессии, которое может значительно уменьшить дисперсию по сравнению с обычным методом наименьших квадратов^[en] (ОМНК, англ. Ordinary Least Squares, OLS). Хотя решение ОМНК даёт несмещённую оценку регрессии, решения с меньшей дисперсией, полученные путём регуляризации, обеспечивают превосходную среднеквадратичную ошибку.

Применение для классификацииПравить

Разложение смещение-дисперсия первоначально было сформулировано для линейной регрессии методом наименьших квадратов. Для случая классификации с 0-1 функцией потерь (доля неправильно классифицированных), можно найти похожее разложение. Альтернативно, если задача классификации может быть сформулирована как вероятностная классификация^[en], ожидание квадрата ошибки предсказанных вероятностей по отношению к истинным вероятностям может быть разложено как и ранее.

ПодходыПравить

Снижение размерности и отбор признаков могут уменьшить дисперсию путём упрощения моделей. Аналогично, больше тренировочное множество приводит к уменьшению дисперсии. Добавление признаков (предсказателей) ведёт к уменьшению смещения за счёт увеличения дисперсии. Алгоритмы обучения обычно имеют некоторые настраиваемые параметры, которые контролируют смещение и дисперсию. Например,

• (Обобщённые) линейные модели могут быть регуляризованы для уменьшения дисперсии за счёт увеличения смещения .
• в искусственных нейронных сетях дисперсия увеличивается и смещение уменьшается с увеличением числа скрытых единиц. Подобно обобщённым линейным моделям для них тоже обычно применяется регуляризация.
• В моделях k-ближайших соседей большое значение k ведёт к большому смещению и низкой дисперсии (см. ниже).
• В обучении на примерах, регуляризация может быть получена путём смешения прототипов и примеров.
• В деревьях решений глубина дерев определяет дисперсию. Деревья решений обычно обрезаются для контроля дисперсии.

Один из способов разрешения дилеммы — использование смешенных моделей^[en] и композиционного обучения^[en]. Например, форсирование^[en] комбинирует несколько «слабых» (с высоким смещением) моделей в сборку, которая имеет более низкое смещение, чем каждая из индивидуальных моделей, в то время как бэггинг комбинирует «строгое» обучение так, что уменьшается дисперсия.

k-ближайших соседейПравить

В случае регрессии k-ближайших соседей существует выражение в замкнутой форме^[en], связывающее разложение смещение-дисперсия с параметром k:

$\mathrm{E}<!--\; \; -->[(y-<!--\; -\; -->\stackrel{^<!--\; ^\; -->}{f}(x){)}^2\mid <!--\; \mid \; -->X=x]={\left(f(x)-<!--\; -\; -->\frac{1}{k}\underset{i=1}{\overset{k}{\sum <!--\; \sum \; -->}}f(N_i(x))\right)}^2+\frac{{\mathrm{\sigma <!--\; \sigma \; -->}}^2}{k}+{\mathrm{\sigma <!--\; \sigma \; -->}}^2$$\operatorname {E} [(y-{\hat {f}}(x))^{2}\mid X=x]=\left(f(x)-{\frac {1}{k}}\sum _{i=1}^{k}f(N_{i}(x))\right)^{2}+{\frac {\sigma ^{2}}{k}}+\sigma ^{2}$ 

где $N_1(x),\dots <!--\; \dots \; -->,N_k(x)$$N_{1}(x),\dots ,N_{k}(x)$  являются k ближайшими соседями x в тренировочном наборе. Смещение (первый член) является монотонно возрастающей функцией от k, в то время как дисперсия (второй член) убывает по мере роста k. Фактически, при «разумных предположениях» оценщика смещения ближайшего соседа (1-NN) полностью обращается в нуль, когда размер тренировочного множества стремится к бесконечности.

Применение для обучения людейПравить

В то время как дилемма смещения-дисперсии широко обсуждается в контексте машинного обучения, она была проверена в контексте когнитивных способностей человека, прежде всего Гердом Гигеренцером с соавторами. Они утверждают, что (см. ссылки ниже) человеческий мозг решает дилемму в случае разреженных плохо описанных тренировочных наборов, полученных в результате личного опыта, путём использования эвристики высокого смещения/низкой дисперсия. Это отражает факт, что подход с нулевым смещением имеет плохую обобщаемость к новым ситуациям, а также беспричинно предполагает точное знание состояния мира. Получающаяся эвристика относительно проста, но даёт лучшее соответствие широкому разнообразию ситуаций.

Гиман и др. возражают, что из дилеммы смещения-дисперсии следует, что такие возможности, как распознавание общих объектов, не может быть получено с нуля, а требует определённого «жёсткого монтажа», который затем превращается в опыт. Именно поэтому подходы к заключениям без модели требуют неоправданно больших наборов тренировочных наборов, если нужно избежать высокой дисперсии.

См. такжеПравить

• Точность
• Несмещённая оценка
• Теорема Гаусса — Маркова
• Оптимизация гиперпараметров
• Несмещённая оценка минимальной дисперсии^[en]
• Выбор модели
• Валидация регрессионной модели^[en]
• Обучение с учителем

• Метод максимального правдоподобия