Метод главных компонент

Метод главных компонент (англ. principal component analysis, PCA) — один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Изобретён Карлом Пирсоном в 1901 году. Применяется во многих областях, в том числе в эконометрике, биоинформатике, обработке изображений, для сжатия данных, в общественных науках^[⇨].

Вычисление главных компонент может быть сведено к вычислению сингулярного разложения матрицы данных^[⇨] или к вычислению собственных векторов и собственных значений ковариационной матрицы исходных данных^[⇨]. Иногда метод главных компонент называют преобразованием Кархунена — Лоэва или преобразованием Хотеллинга (англ. Hotelling transform).

Формальная постановка задачиПравить

Задача анализа главных компонент имеет, как минимум, четыре базовые версии:

• аппроксимировать данные линейными многообразиями меньшей размерности;
• найти подпространства меньшей размерности, в ортогональной проекции на которые разброс данных (то есть среднеквадратичное отклонение от среднего значения) максимален;
• найти подпространства меньшей размерности, в ортогональной проекции на которые среднеквадратичное расстояние между точками максимально;
• для данной многомерной случайной величины построить такое ортогональное преобразование координат, в результате которого корреляции между отдельными координатами обратятся в нуль.

Первые три версии оперируют конечными множествами данных. Они эквивалентны и не используют никакой гипотезы о статистическом порождении данных. Четвёртая версия оперирует случайными величинами. Конечные множества появляются здесь как выборки из данного распределения, а решение трёх первых задач — как приближение к разложению по теореме Кархунена — Лоэва («истинному преобразованию Кархунена — Лоэва»). При этом возникает дополнительный и не вполне тривиальный вопрос о точности этого приближения.

Аппроксимация данных линейными многообразиямиПравить

 

Иллюстрация к знаменитой работе Пирсона (1901): даны точки $P_i$$P_i$  на плоскости, $p_i$$p_i$  — расстояние от $P_i$$P_i$  до прямой $AB$$AB$ . Ищется прямая $AB$$AB$ , минимизирующая сумму $\underset{i}{\sum <!--\; \sum \; -->}{p}_i^2$$\sum_i p_i^2$ 

Метод главных компонент начинался с задачи наилучшей аппроксимации конечного множества точек прямыми и плоскостями (Пирсон, 1901). Дано конечное множество векторов $x_1,x_2,\dots <!--\; \dots \; -->,x_m\in <!--\; \in \; -->{\mathbb{R}}^n$$x_1, x_2, \dots, x_m \in\mathbb{R}^n$ , для каждого $k=0,1,\dots <!--\; \dots \; -->,n-<!--\; -\; -->1$$k = 0,1, \dots, n-1$  среди всех $k$$k$ -мерных линейных многообразий в ${\mathbb{R}}^n$$\mathbb{R}^n$  найти такое $L_k\subset <!--\; \subset \; -->{\mathbb{R}}^n$$L_k \subset \mathbb{R}^n$ , что сумма квадратов уклонений $x_i$$x_i$  от $L_k$$L_k$  минимальна:

$\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{\mathrm{dist}}^2<!--\; \; -->(x_i,L_k)\to <!--\; \to \; -->min$$\sum_{i=1}^m \operatorname{dist}^2(x_i, L_k) \to \min$ ,

где $\mathrm{dist}<!--\; \; -->(x_i,L_k)$$\operatorname{dist}(x_i, L_k)$  — евклидово расстояние от точки до линейного многообразия. Всякое $k$$k$ -мерное линейное многообразие в ${\mathbb{R}}^n$$\mathbb{R}^n$  может быть задано как множество линейных комбинаций $L_k=\{a_0+{\mathrm{\beta <!--\; \beta \; -->}}_1{a}_1+\cdots <!--\; \cdots \; -->+{\mathrm{\beta <!--\; \beta \; -->}}_k{a}_k|{\mathrm{\beta <!--\; \beta \; -->}}_i\in <!--\; \in \; -->\mathbb{R}\}$$L_k = \{ a_0 +\beta_1 a_1 + \dots + \beta_k a_k | \beta_i \in \mathbb{R} \}$ , где параметры ${\mathrm{\beta <!--\; \beta \; -->}}_i$$\beta_i$  пробегают вещественную прямую $\mathbb{R}$$\mathbb {R}$ , $a_0\in <!--\; \in \; -->{\mathbb{R}}^n$$a_0 \in \mathbb{R}^n$  а $\left\{a_1,\dots <!--\; \dots \; -->,a_k\right\}\subset <!--\; \subset \; -->{\mathbb{R}}^n$$\left\{a_1, \dots , a_k \right\} \subset \mathbb{R}^n$  — ортонормированный набор векторов

${\mathrm{dist}}^2<!--\; \; -->(x_i,L_k)=\Vert <!--\; \Vert \; -->x_i-<!--\; -\; -->a_0-<!--\; -\; -->\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{a}_j(a_j,x_i-<!--\; -\; -->a_0){\Vert <!--\; \Vert \; -->}^2$$\operatorname{dist}^2(x_i, L_k) = \Vert x_i - a_0 - \sum_{j=1}^k a_j (a_j, x_i - a_0) \Vert ^2$ ,

где $\Vert <!--\; \Vert \; -->\cdot <!--\; \cdot \; -->\Vert <!--\; \Vert \; -->$$\Vert \cdot \Vert$  евклидова норма, $\left(a_j,x_i\right)$$\left(a_j, x_i\right)$  — евклидово скалярное произведение, или в координатной форме:

${\mathrm{dist}}^2<!--\; \; -->(x_i,L_k)=\underset{l=1}{\overset{n}{\sum <!--\; \sum \; -->}}{\left(x_{il}-<!--\; -\; -->a_{0l}-<!--\; -\; -->\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{a}_{jl}\underset{q=1}{\overset{n}{\sum <!--\; \sum \; -->}}{a}_{jq}(x_{iq}-<!--\; -\; -->a_{0q})\right)}^2$$\operatorname{dist}^2(x_i, L_k) = \sum_{l=1}^n \left(x_{il} - a_{0l}- \sum_{j=1}^k a_{jl} \sum_{q=1}^n a_{jq}(x_{iq} - a_{0q}) \right)^2$ .

Решение задачи аппроксимации для $k=0,1,\dots <!--\; \dots \; -->,n-<!--\; -\; -->1$$k = 0,1, \dots , n-1$  даётся набором вложенных линейных многообразий $L_0\subset <!--\; \subset \; -->L_1\subset <!--\; \subset \; -->\dots <!--\; \dots \; -->L_{n-<!--\; -\; -->1}$$L_0 \subset L_1 \subset \dots L_{n-1}$ , $L_k=\{a_0+{\mathrm{\beta <!--\; \beta \; -->}}_1{a}_1+\dots <!--\; \dots \; -->+{\mathrm{\beta <!--\; \beta \; -->}}_k{a}_k|{\mathrm{\beta <!--\; \beta \; -->}}_i\in <!--\; \in \; -->\mathbb{R}\}$$L_{k}=\{a_{0}+\beta _{1}a_{1}+\ldots +\beta _{k}a_{k}|\beta _{i}\in \mathbb {R} \}$ . Эти линейные многообразия определяются ортонормированным набором векторов $\left\{a_1,...,a_{n-<!--\; -\; -->1}\right\}$$\left\{a_1,..., a_{n-1} \right\}$  (векторами главных компонент) и вектором $a_0$$a_0$ . Вектор $a_0$$a_{0}$  ищется как решение задачи минимизации для $L_0$$L_0$ :

$a_0=\underset{a_0\in <!--\; \in \; -->{\mathbb{R}}^n}{\mathrm{argmin}}\left(\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{\mathrm{dist}}^2<!--\; \; -->(x_i,L_0)\right)$$a_0 = \underset{a_0\in\mathbb{R}^n}{\operatorname{argmin}} \left(\sum_{i=1}^m \operatorname{dist}^2(x_i, L_0)\right)$ ,

то есть

$a_0=\underset{a_0\in <!--\; \in \; -->{\mathbb{R}}^n}{\mathrm{argmin}}\left(\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\Vert <!--\; \Vert \; -->x_i-<!--\; -\; -->a_0{\Vert <!--\; \Vert \; -->}^2\right)$$a_0 = \underset{a_0\in\mathbb{R}^n}{\operatorname{argmin}} \left (\sum_{i=1}^m \Vert x_i - a_0\Vert ^2\right)$ .

Это — выборочное среднее: $a_0=\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{x}_i=\stackrel{¯<!--\; ¯\; -->}{X}$$a_0 = \frac{1}{m} \sum_{i=1}^m x_i = \overline{X}$ .

Фреше в 1948 году обратил внимание, что вариационное определение среднего (как точки, минимизирующей сумму квадратов расстояний до точек данных) очень удобно для построения статистики в произвольном метрическом пространстве, и построил обобщение классической статистики для общих пространств (обобщённый метод наименьших квадратов).

Векторы главных компонент могут быть найдены как решения однотипных задач оптимизации:

1. Централизуются данные (вычитанием среднего): $x_i:=x_i-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X}$$x_i := x_i - \overline{X}$ . Теперь $\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{x}_i=0$$\sum_{i=1}^m x_i =0$ ;
2. Отыскивается первая главная компонента как решение задачи:

   $a_1=\underset{\Vert <!--\; \Vert \; -->a_1\Vert <!--\; \Vert \; -->=1}{\mathrm{argmin}}\left(\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\Vert <!--\; \Vert \; -->x_i-<!--\; -\; -->a_1(a_1,x_i){\Vert <!--\; \Vert \; -->}^2\right)$$a_1 = \underset{\Vert a_1 \Vert =1}{\operatorname{argmin}} \left( \sum_{i=1}^m \Vert x_i - a_1 (a_1,x_i)\Vert ^2\right)$ .

   если решение не единственно, то осуществляется выбор одного из них.

3. Из данных вычитается проекция на первую главную компоненту:

   $x_i:=x_i-<!--\; -\; -->a_1\left(a_1,x_i\right)$$x_i := x_i - a_1 \left(a_1,x_i\right)$ ;

4. Отыскивается вторая главная компонента как решение задачи:

   $a_2=\underset{\Vert <!--\; \Vert \; -->a_2\Vert <!--\; \Vert \; -->=1}{\mathrm{argmin}}\left(\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\Vert <!--\; \Vert \; -->x_i-<!--\; -\; -->a_2(a_2,x_i){\Vert <!--\; \Vert \; -->}^2\right)$$a_2 = \underset{\Vert a_2 \Vert =1}{\operatorname{argmin}} \left( \sum_{i=1}^m \Vert x_i - a_2 (a_2,x_i)\Vert ^2\right)$ .

   Если решение не единственно, то выбирается одно из них.

Далее процесс продолжается, то есть на шаге $2k-<!--\; -\; -->1$$2k-1$  вычитается проекция на $(k-<!--\; -\; -->1)$$(k-1)$ -ю главную компоненту (к этому моменту проекции на предшествующие $(k-<!--\; -\; -->2)$$(k-2)$  главные компоненты уже вычтены):

$x_i:=x_i-<!--\; -\; -->a_{k-<!--\; -\; -->1}\left(a_{k-<!--\; -\; -->1},x_i\right)$$x_i := x_i - a_{k-1} \left(a_{k-1},x_i\right)$ ;

и на шаге $2k$$2k$  определяется $k$$k$ -я главная компонента как решение задачи:

$a_k=\underset{\Vert <!--\; \Vert \; -->a_k\Vert <!--\; \Vert \; -->=1}{\mathrm{argmin}}\left(\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\Vert <!--\; \Vert \; -->x_i-<!--\; -\; -->a_k(a_k,x_i){\Vert <!--\; \Vert \; -->}^2\right)$$a_k = \underset{\Vert a_k \Vert =1}{\operatorname{argmin}} \left( \sum_{i=1}^m \Vert x_i - a_k (a_k,x_i)\Vert ^2\right)$  (если решение не единственно, то выбирается одно из них).

На каждом подготовительном шаге $(2k-<!--\; -\; -->1)$$(2k-1)$  вычитается проекция на предшествующую главную компоненту. Найденные векторы $\left\{a_1,...,a_{n-<!--\; -\; -->1}\right\}$$\left\{a_1,..., a_{ n -1} \right\}$  ортонормированы просто в результате решения описанной задачи оптимизации, однако чтобы не дать ошибкам вычисления нарушить взаимную ортогональность векторов главных компонент, можно включать $a_k\mathrm{\perp <!--\; \perp \; -->}\{a_1,...,a_{k-<!--\; -\; -->1}\}$$a_k \bot \{a_1,..., a_{k -1} \}$  в условия задачи оптимизации.

Неединственность в определении $a_k$$a_k$  помимо тривиального произвола в выборе знака ($a_k$$a_k$  и $-<!--\; -\; -->a_k$$-a_k$  решают ту же задачу) может быть более существенной и происходить, например, из условий симметрии данных. Последняя главная компонента $a_n$$a_n$  — единичный вектор, ортогональный всем предыдущим $a_k$$a_k$ .

Поиск ортогональных проекций с наибольшим рассеяниемПравить

 

Первая главная компонента максимизирует выборочную дисперсию проекции данных

Пусть нам дан центрированный набор векторов данных $x_i\in <!--\; \in \; -->{\mathbb{R}}^n(i=1,...,m)$$x_i\in\mathbb{R}^n \; (i=1,...,m)$  (среднее арифметическое значение $x_i$$x_i$  равно нулю). Задача — найти такое ортогональное преобразование в новую систему координат, для которого были бы верны следующие условия:

• Выборочная дисперсия данных вдоль первой координаты максимальна (эту координату называют первой главной компонентой);
• Выборочная дисперсия данных вдоль второй координаты максимальна при условии ортогональности первой координате (вторая главная компонента);
• …
• Выборочная дисперсия данных вдоль значений $k$$k$ -ой координаты максимальна при условии ортогональности первым $k-<!--\; -\; -->1$$k-1$  координатам;
• …

Выборочная дисперсия данных вдоль направления, заданного нормированным вектором $a_k$$a_k$ , это

$S_m^2\left[(X,a_k)\right]=\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}(a_k,x_i{)}^2=\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{\left(\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}{x}_{ij}{a}_{kj}\right)}^2$$S^2_m \left[ (X, a_k) \right ] = \frac{1}{m} \sum\limits_{i=1}^m (a_k,x_i)^2 = \frac{1}{m} \sum\limits_{i=1}^m \left(\sum\limits_{j=1}^n x_{ij}a_{kj} \right)^2$ 

(поскольку данные центрированы, выборочная дисперсия здесь совпадает со средним квадратом уклонения от нуля).

Решение задачи о наилучшей аппроксимации даёт то же множество главных компонент $\left\{a_i\right\}$$\left\{a_i\right\}$ , что и поиск ортогональных проекций с наибольшим рассеянием, по очень простой причине: $\Vert <!--\; \Vert \; -->x_i-<!--\; -\; -->a_k(a_k,x_i){\Vert <!--\; \Vert \; -->}^2=\Vert <!--\; \Vert \; -->x_i{\Vert <!--\; \Vert \; -->}^2-<!--\; -\; -->(a_k,x_i{)}^2,$$\Vert x_i - a_k (a_k,x_i)\Vert ^2 = \Vert x_i\Vert ^2 - (a_k,x_i)^2,$  и первое слагаемое не зависит от $a_k$$a_k$ .

Поиск ортогональных проекций с наибольшим среднеквадратичным расстоянием между точкамиПравить

Ещё одна эквивалентная формулировка следует из очевидного тождества, верного для любых $m$$m$  векторов $x_i$$x_i$ :

$\frac{1}{m(m-<!--\; -\; -->1)}\underset{i,j=1}{\overset{m}{\sum <!--\; \sum \; -->}}(x_i-<!--\; -\; -->x_j{)}^2=\frac{2m^2}{m(m-<!--\; -\; -->1)}\left[\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{x}_i^2-<!--\; -\; -->{\left(\frac{1}{m}\underset{i}{\overset{m}{\sum <!--\; \sum \; -->}}{x}_i\right)}^2\right].$$\frac{1}{m(m-1)}\sum_{i,j=1}^m (x_i-x_j)^2 =\frac{2m^2}{m(m-1)}\left[\frac{1}{m}\sum_{i=1}^m x_i^2 - \left(\frac{1}{m}\sum_{i}^m x_i \right)^2\right].$ 

В левой части этого тождества стоит среднеквадратичное расстояние между точками, а в квадратных скобках справа — выборочная дисперсия. Таким образом, в методе главных компонент ищутся подпространства, в проекции на которые среднеквадратичное расстояние между точками максимально (или, что то же самое, его искажение в результате проекции минимально). Такая переформулировка позволяет строить обобщения с взвешиванием различных парных расстояний (а не только точек).

Аннулирование корреляций между координатамиПравить

Для заданной $n$$n$ -мерной случайной величины $X$$X$  найти такой ортонормированный базис, $\left\{a_1,...,a_n\right\}$$\left\{a_1,..., a_n \right\}$ , в котором коэффициент ковариации между различными координатами равен нулю. После преобразования к этому базису

$\mathrm{cov}<!--\; \; -->(X_i,X_j)=0$$\operatorname{cov}(X_i,X_j)=0$  для $i\ne <!--\; \ne \; -->j$$i \neq j$ .

Здесь $\mathrm{cov}<!--\; \; -->(X_i,X_j)=\mathrm{E}<!--\; \; -->[(X_i-<!--\; -\; -->\mathrm{E}<!--\; \; -->[X_i])(X_j-<!--\; -\; -->\mathrm{E}<!--\; \; -->[X_j])]$$\operatorname {cov} (X_{i},X_{j})=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]$  — коэффициент ковариации, где $\mathrm{E}$$\operatorname{E}$  — математическое ожидание.

Диагонализация ковариационной матрицыПравить

Все задачи о главных компонентах приводят к задаче диагонализации ковариационной матрицы или выборочной ковариационной матрицы. Эмпирическая или выборочная ковариационная матрица, это

$C=[c_{ij}],c_{ij}=\frac{1}{m-<!--\; -\; -->1}\underset{l=1}{\overset{m}{\sum <!--\; \sum \; -->}}(x_{li}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_i})(x_{lj}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_j}).$$C = [c_{ij}],\ c_{ij} = \frac{1}{m-1} \sum_{l=1}^m (x_{li}-\overline{X_{i}})(x_{lj}-\overline{X_{j}}).$ 

Ковариационная матрица многомерной случайной величины $X$$X$ , это

$\mathrm{\Sigma <!--\; \Sigma \; -->}=[{\mathrm{\sigma <!--\; \sigma \; -->}}_{ij}],{\mathrm{\sigma <!--\; \sigma \; -->}}_{ij}=\mathrm{cov}<!--\; \; -->(X_i,X_j)=\mathrm{E}<!--\; \; -->[(X_i-<!--\; -\; -->\mathrm{E}<!--\; \; -->[X_i])(X_j-<!--\; -\; -->\mathrm{E}<!--\; \; -->[X_j])].$$\Sigma =[\sigma _{ij}],\ \sigma _{ij}=\operatorname {cov} (X_{i},X_{j})=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])].$ 

Векторы главных компонент для задач о наилучшей аппроксимации и о поиске ортогональных проекций с наибольшим рассеянием — это ортонормированный набор $\left\{a_1,...,a_n\right\}$$\left\{a_1,..., a_n \right\}$  собственных векторов эмпирической ковариационной матрицы $C$$C$ , расположенных в порядке убывания собственных значений $\mathrm{\lambda <!--\; \lambda \; -->}:{\mathrm{\lambda <!--\; \lambda \; -->}}_1\ge <!--\; \ge \; -->{\mathrm{\lambda <!--\; \lambda \; -->}}_2\ge <!--\; \ge \; -->\dots <!--\; \dots \; -->\ge <!--\; \ge \; -->{\mathrm{\lambda <!--\; \lambda \; -->}}_n\ge <!--\; \ge \; -->0.$$\lambda :\lambda _{1}\geq \lambda _{2}\geq \ldots \geq \lambda _{n}\geq 0.$  Эти векторы служат оценкой для собственных векторов ковариационной матрицы $\mathrm{cov}<!--\; \; -->(X_i,X_j)$$\operatorname{cov}(X_i,X_j)$ . В базисе из собственных векторов ковариационной матрицы она, естественно, диагональна, и в этом базисе коэффициент ковариации между различными координатами равен нулю.

Если спектр ковариационной матрицы вырожден, то выбирают произвольный ортонормированный базис собственных векторов. Он существует всегда, а собственные числа ковариационной матрицы всегда вещественны и неотрицательны.

Сингулярное разложение матрицы данныхПравить

Основная статья: Сингулярное разложение

Идея сингулярного разложенияПравить

Математическое содержание метода главных компонент — это спектральное разложение ковариационной матрицы $C$$C$ , то есть представление пространства данных в виде суммы взаимно ортогональных собственных подпространств $C$$C$ , а самой матрицы $C$$C$  — в виде линейной комбинации ортогональных проекторов на эти подпространства с коэффициентами ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda_i$ . Если $\mathrm{X}={\left\{x_1,...,x_m\right\}}^T$$\operatorname{X}=\left\{x_1,..., x_m \right\}^T$  — матрица, составленная из векторов-строк (размерности $n$$n$ ) центрированных данных, то $C=\frac{1}{m-<!--\; -\; -->1}{\mathrm{X}}^T<!--\; \; -->\mathrm{X}$$C =\frac{1}{m-1} \operatorname{X}^T\operatorname{X}$  и задача о спектральном разложении ковариационной матрицы $C$$C$  превращается в задачу о сингулярном разложении матрицы данных $\mathrm{X}$$\operatorname{X}$ .

Число $\mathrm{\sigma <!--\; \sigma \; -->}\ge <!--\; \ge \; -->0$$\sigma \geq 0$  называется сингулярным числом матрицы $\mathrm{X}$$\operatorname{X}$  тогда и только тогда, когда существуют правый и левый сингулярные векторы: такие $m$$m$ -мерный вектор-строка $b_{\mathrm{\sigma <!--\; \sigma \; -->}}$$b_{\sigma}$  и $n$$n$ -мерный вектор-столбец $a_{\mathrm{\sigma <!--\; \sigma \; -->}}$$a_{\sigma}$  (оба единичной длины), что выполнено два равенства:

$\mathrm{X}<!--\; \; -->a_{\mathrm{\sigma <!--\; \sigma \; -->}}=\mathrm{\sigma <!--\; \sigma \; -->}{b}_{\mathrm{\sigma <!--\; \sigma \; -->}}^T;b_{\mathrm{\sigma <!--\; \sigma \; -->}}\mathrm{X}=\mathrm{\sigma <!--\; \sigma \; -->}{a}_{\mathrm{\sigma <!--\; \sigma \; -->}}^T.$$\operatorname{X} a_{\sigma} = \sigma b_{\sigma}^T ;\, \, b_{\sigma} \operatorname{X}= \sigma a_{\sigma}^T.$ 

Пусть $p=\mathrm{rang}<!--\; \; -->\mathrm{X}\le <!--\; \le \; -->min\{n,m\}$$p= \operatorname{rang} \operatorname{X} \leq \min\{n,m\}$  — ранг матрицы данных. Сингулярное разложение матрицы данных $\mathrm{X}$$\operatorname{X}$  — это её представление в виде

$\mathrm{X}=\underset{l=1}{\overset{p}{\sum <!--\; \sum \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}_l{b}_l^T{a}_l^T;{\mathrm{X}}^T=\underset{l=1}{\overset{p}{\sum <!--\; \sum \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}_l{a}_l{b}_l\left(x_{ij}=\underset{l=1}{\overset{p}{\sum <!--\; \sum \; -->}}{\mathrm{\sigma <!--\; \sigma \; -->}}_l{b}_{li}{a}_{lj}\right),$$\operatorname{X}= \sum_{l=1}^p \sigma_l b_l^T a_l^T ; \;\operatorname{X}^T= \sum_{l=1}^p \sigma_l a_l b_l \; \left(x_{ij}=\sum_{l=1}^p \sigma_l b_{li}a_{lj}\right),$ 

где ${\mathrm{\sigma <!--\; \sigma \; -->}}_l>0$$\sigma_l > 0$  — сингулярное число, $a_l=(a_{lj}),j=1,...n$$a_{l}=(a_{{lj}}),\,j=1,...n$  — соответствующий правый сингулярный вектор-столбец, а $b_l=(b_{li}),i=1,...m$$b_l=(b_{li}), \, i=1,... m$  — соответствующий левый сингулярный вектор-строка ($l=1,...p$$l=1,...p$ ). Правые сингулярные векторы-столбцы $a_l$$a_l$ , участвующие в этом разложении, являются векторами главных компонент и собственными векторами эмпирической ковариационной матрицы $C=\frac{1}{m-<!--\; -\; -->1}{\mathrm{X}}^T<!--\; \; -->\mathrm{X}$$C =\frac{1}{m-1}\operatorname{X} ^T \operatorname{X}$ , отвечающими положительным собственным числам ${\mathrm{\lambda <!--\; \lambda \; -->}}_l=\frac{1}{m-<!--\; -\; -->1}{\mathrm{\sigma <!--\; \sigma \; -->}}_l^2>0$$\lambda_l=\frac{1}{m-1}\sigma_l^2 > 0$ .

Хотя формально задачи сингулярного разложения матрицы данных и спектрального разложения ковариационной матрицы совпадают, алгоритмы вычисления сингулярного разложения напрямую, без вычисления ковариационной матрицы и её спектра, более эффективны и устойчивы.

Теория сингулярного разложения была создана Джеймсом Джозефом Сильвестром в 1889 году и изложена во всех подробных руководствах по теории матриц.

Простой итерационный алгоритм сингулярного разложенияПравить

Основная процедура — поиск наилучшего приближения произвольной $m\times <!--\; \times \; -->n$$m\times n$  матрицы $X=(x_{ij})$$X=(x_{{ij}})$  матрицей вида $b\otimes <!--\; \otimes \; -->a=(b_i{a}_j)$$b \otimes a = (b_i a_j)$  (где $b$$b$  — $m$$m$ -мерный вектор, а $a$$a$  — $n$$n$ -мерный вектор) методом наименьших квадратов:

$F(b,a)=\frac{1}{2}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}(x_{ij}-<!--\; -\; -->b_i{a}_j{)}^2\to <!--\; \to \; -->min$$F(b, a) = \frac{1}{2}\sum_{i=1}^m \sum_{j=1}^n (x_{ij} - b_i a_j )^2 \to \min$ 

Решение этой задачи даётся последовательными итерациями по явным формулам. При фиксированном векторе $a=(a_j)$$a=(a_j)$  значения $b=(b_i)$$b=(b_i)$ , доставляющие минимум форме $F(b,a)$$F(b, a)$ , однозначно и явно определяются из равенств $\mathrm{\partial <!--\; \partial \; -->}F/\mathrm{\partial <!--\; \partial \; -->}{b}_i=0$$\partial F/ \partial b_i = 0$  :

$\frac{\mathrm{\partial <!--\; \partial \; -->}F}{\mathrm{\partial <!--\; \partial \; -->}{b}_i}=-<!--\; -\; -->\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}(x_{ij}-<!--\; -\; -->b_i{a}_j)a_j=0;b_i=\frac{\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}{x}_{ij}{a}_j}{\underset{j=1}{\overset{n}{\sum <!--\; \sum \; -->}}{a}_j^2}.$$\frac{\partial F}{\partial b_i} = - \sum_{j=1}^n (x_{ij} - b_i a_j )a_j = 0; \;\; b_i = \frac{\sum_{j=1}^n x_{ij} a_j}{\sum_{j=1}^n a_j^2 }\, .$ 

Аналогично, при фиксированном векторе $b=(b_i)$$b =(b_ i)$  определяются значения $a=(a_j)$$a=(a_j)$ :

$a_j=\frac{\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{b}_i{x}_{ij}}{\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{b}_i^2}.$$a_j = \frac{\sum_{i=1}^m b_i x_{ij} }{\sum_{i =1}^m b_i ^2 }\, .$ 

B качестве начального приближения вектора $a$$a$  берётся случайный вектор единичной длины, вычисляем вектор $b$$b$ , далее для этого вектора $b$$b$  вычисляем вектор $a$$a$  и т. д. Каждый шаг уменьшает значение $F(b,a)$$F(b, a)$ . В качестве критерия остановки используется малость относительного уменьшения значения минимизируемого функционала $F(b,a)$$F(b, a)$  за шаг итерации ($\mathrm{\Delta <!--\; \Delta \; -->}F/F$$\Delta F / F$ ) или малость самого значения $F$$F$ .

В результате для матрицы $X=(x_{ij})$$X=(x_{{ij}})$  получается наилучшее приближение матрицей $P_1$$P_1$  вида $b^1\otimes <!--\; \otimes \; -->a^1=(b_i^1{a}_j^1)$$b^1 \otimes a^1 = (b_i^1 a_j^1)$  (здесь верхним индексом обозначен номер приближения). Далее, из матрицы $X$$X$  вычитается полученная матрицу $P_1$$P_1$ , и для полученной матрицы уклонений $X_1=X-<!--\; -\; -->P_1$$X_1=X-P_1$  вновь ищется наилучшее приближение $P_2$$P_2$  этого же вида и т. д., пока, например, норма $X_k$$X_{k}$  не станет достаточно малой. В результате получили итерационную процедуру разложения матрицы $X$$X$  в виде суммы матриц ранга 1, то есть $X=P_1+P_2+\dots <!--\; \dots \; -->+P_q(P_l=b^l\otimes <!--\; \otimes \; -->a^l)$$X=P_{1}+P_{2}+\ldots +P_{q}\;(P_{l}=b^{l}\otimes a^{l})$  . Полагаем ${\mathrm{\sigma <!--\; \sigma \; -->}}_l=\Vert <!--\; \Vert \; -->a^l\Vert <!--\; \Vert \; -->\Vert <!--\; \Vert \; -->b^l\Vert <!--\; \Vert \; -->$$\sigma_l = \|a^l\| \|b^l\|$  и нормируем векторы $a^l,b^l$$a^l \, , \, b^l$ : $a^l:=a^l/\Vert <!--\; \Vert \; -->a^l\Vert <!--\; \Vert \; -->;b^l:=b^l/\Vert <!--\; \Vert \; -->b^l\Vert <!--\; \Vert \; -->.$$a^l:= a^l/ \| a^l\|; \, \, b^l:= b^l/ \| b^l\|.$  В результате получена аппроксимация сингулярных чисел ${\mathrm{\sigma <!--\; \sigma \; -->}}_l$$\sigma_l$  и сингулярных векторов (правых — $a^l$$a^l$  и левых — $b^l$$b^l$ ).

К достоинствам этого алгоритма относится его исключительная простота и возможность почти без изменений перенести его на данные с пробелами, а также взвешенные данные.

Существуют различные модификации базового алгоритма, улучшающие точность и устойчивость. Например, векторы главных компонент $a^l$$a^l$  при разных $l$$l$  должны быть ортогональны «по построению», однако при большом числе итерации (большая размерность, много компонент) малые отклонения от ортогональности накапливаются, и может потребоваться специальная коррекция $a^l$$a^l$  на каждом шаге, обеспечивающая его ортогональность ранее найденным главным компонентам.

Для квадратных симметричных положительно определённых матриц описанный алгоритм превращается в метод прямых итераций для поиска собственных векторов (см. статью Собственные векторы, значения и пространства).

Сингулярное разложение тензоров и тензорный метод главных компонентПравить

Часто вектор данных имеет дополнительную структуру прямоугольной таблицы (например, плоское изображение) или даже многомерной таблицы — то есть тензора: $x_{i_1{i}_2...i_q}$$x_{i_{1}i_{2}...i_{q}}$ , $1\le <!--\; \le \; -->i_j\le <!--\; \le \; -->n_j$$1 \leq i_{j} \leq n_j$ . В этом случае также эффективно применять сингулярное разложение. Определение, основные формулы и алгоритмы переносятся практически без изменений: вместо матрицы данных имеем $q+1$$q+1$ -индексную величину $\mathrm{X}=(x_{i_0{i}_1{i}_2...i_q})$$\operatorname{X}=(x_{i_{0}i_{1}i_{2}...i_{q}})$ , где первый индекс $i_0$$i_{0}$ -номер точки (тензора) данных.

Основная процедура — поиск наилучшего приближения тензора $x_{i_0{i}_1{i}_2...i_q}$$x_{i_{0}i_{1}i_{2}...i_{q}}$  тензором вида $a_{i_0}^0{a}_{i_1}^1{a}_{i_2}^2...a_{i_q}^q$$a^0_{i_{0}} a^1_{i_{1}}a^2_{i_{2}}...a^q_{i_{q}}$  (где $a^0=(a_{i_0}^0)$$a^0=(a^0_{i_{0}})$  — $m$$m$ -мерный вектор ($m$$m$  — число точек данных), $a^l=(a_{i_l}^l)$$a^l=(a^l_{i_{l}})$  — вектор размерности $n_l$$n_l$  при $l>0$$l>0$ ) методом наименьших квадратов:

$F=\frac{1}{2}\underset{i_0=1}{\overset{m}{\sum <!--\; \sum \; -->}}\underset{i_1=1}{\overset{n_1}{\sum <!--\; \sum \; -->}}...\underset{i_q=1}{\overset{n_q}{\sum <!--\; \sum \; -->}}(x_{i_0{i}_1...i_q}-<!--\; -\; -->a_{i_0}^0{a}_{i_1}^1...a_{i_q}^q{)}^2\to <!--\; \to \; -->min$$F= \frac{1}{2}\sum_{i_{0}=1}^m \sum_{i_{1}=1}^{n_1}...\sum_{i_{q}=1}^{n_q} (x_{i_{0}i_{1}...i_{q}} - a^0_{i_{0}} a^1_{i_{1}}...a^q_{i_{q}})^2 \to \min$ 

Решение этой задачи даётся последовательными итерациями по явным формулам. Если заданы все векторы-сомножители кроме одного $a_{i_k}^k$$a^k_{i_{k}}$ , то этот оставшийся определяется явно из достаточных условий минимума.

$a_{i_k}^k=\frac{\underset{i_0=1}{\overset{m}{\sum <!--\; \sum \; -->}}\underset{i_1=1}{\overset{n_1}{\sum <!--\; \sum \; -->}}...\underset{i_{k-<!--\; -\; -->1}=1}{\overset{n_{k-<!--\; -\; -->1}}{\sum <!--\; \sum \; -->}}\underset{i_{k+1}=1}{\overset{n_{k+1}}{\sum <!--\; \sum \; -->}}...\underset{i_q=1}{\overset{n_q}{\sum <!--\; \sum \; -->}}{x}_{i_0{i}_1...i_{k-<!--\; -\; -->1}{i}_k{i}_{k+1}...i_q}{a}_{i_0}^0{a}_{i_{k-<!--\; -\; -->1}}^{k-<!--\; -\; -->1}{a}_{i_{k+1}}^{k+1}...a_{i_q}^q}{\underset{j\ne <!--\; \ne \; -->k}{\prod <!--\; \prod \; -->}\Vert <!--\; \Vert \; -->a^j{\Vert <!--\; \Vert \; -->}^2}.$$a^k_{i_{k}}= \frac{\sum_{i_{0}=1}^m \sum_{i_{1}=1}^{n_1}...\sum_{i_{k-1}=1}^{n_{k-1}}\sum_{i_{k+1}=1}^{n_{k+1}}...\sum_{i_{q}=1}^{n_{q}} x_{i_{0}i_{1}...i_{k-1}i_{k}i_{k+1}...i_{q}} a^0_{i_{0}} a^{k-1}_{i_{k-1}}a^{k+1}_{i_{k+1}}...a^q_{i_{q}}}{\prod_{j\neq k} \|a^j\|^2 }\, .$ 

B качестве начального приближения векторов $a^l=(a_{i_l}^l)$$a^l=(a^l_{i_{l}})$  ($l>0$$l>0$ ) берутся случайные векторы единичной длины, вычислим вектор $a^0$$a^0$ , далее для этого вектора $a^0$$a^0$  и данных векторов $a^2,a^3,...$$a^2 , a^3, ...$  вычисляется вектор $a^1$$a^1$  и так далее (циклически перебирая индексы). Каждый шаг уменьшает значение $F(b,a)$$F(b, a)$ . Алгоритм, очевидно, сходится. В качестве критерия остановки используется малость относительного уменьшения значения минимизируемого функционала $F$$F$  за цикл или малость самого значения $F$$F$ . Далее, из тензора $\mathrm{X}$$\operatorname {X}$  вычитается полученное приближение $a_{i_0}^0{a}_{i_1}^1{a}_{i_2}^2...a_{i_q}^q$$a^0_{i_{0}} a^1_{i_{1}}a^2_{i_{2}}...a^q_{i_{q}}$  и для остатка вновь ищется наилучшее приближение этого же вида и т. д., пока, например, норма очередного остатка не станет достаточно малой.

Это многокомпонентное сингулярное разложение (тензорный метод главных компонент) успешно применяется при обработке изображений, видеосигналов, и, шире, любых данных, имеющих табличную или тензорную структуру.

Матрица преобразования к главным компонентамПравить

Матрица $A$$A$  преобразования данных к главным компонентам состоит из векторов главных компонент, расположенных в порядке убывания собственных значений:

$A={\left\{a_1,...,a_n\right\}}^T$$A=\left \{a_1,...,a_n \right \}^T$  (${}^T$${\,}^T$  означает транспонирование),

причём

$A{A}^T=1.$$A A^T=1.$ 

То есть матрица $A$$A$  является ортогональной.

Большая часть вариации данных будет сосредоточена в первых координатах, что позволяет перейти к пространству меньшей размерности.

Остаточная дисперсияПравить

Пусть данные центрированы, $\stackrel{¯<!--\; ¯\; -->}{X}=0$$\overline{ X}=0$ . При замене векторов данных $x_i$$x_i$  на их проекцию на первые $k$$k$  главных компонент $x_i\mapsto <!--\; \mapsto \; -->\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{a}_j(a_j,x_i)$$x_i \mapsto \sum_{j=1}^k a_j (a_j, x_i)$  вносится средний квадрат ошибки в расчёте на один вектор данных:

$\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{\Vert x_i-<!--\; -\; -->\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{a}_j(a_j,x_i)\Vert }^2=\underset{l=k+1}{\overset{n}{\sum <!--\; \sum \; -->}}{\mathrm{\lambda <!--\; \lambda \; -->}}_l,$$\frac{1}{m} \sum_{i=1}^m \left\Vert x_i - \sum_{j=1}^k a_j (a_j, x_i) \right \Vert ^2=\sum_{l=k+1}^n \lambda_l,$ 

где ${\mathrm{\lambda <!--\; \lambda \; -->}}_1\ge <!--\; \ge \; -->{\mathrm{\lambda <!--\; \lambda \; -->}}_2\ge <!--\; \ge \; -->\dots <!--\; \dots \; -->\ge <!--\; \ge \; -->{\mathrm{\lambda <!--\; \lambda \; -->}}_n\ge <!--\; \ge \; -->0$$\lambda _{1}\geq \lambda _{2}\geq \ldots \geq \lambda _{n}\geq 0$  собственные значения эмпирической ковариационной матрицы $C$$C$ , расположенные в порядке убывания, с учётом кратности.

Эта величина называется остаточной дисперсией. Величина

$\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}{\Vert \underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}{a}_j(a_j,x_i)\Vert }^2=\frac{1}{m}\underset{i=1}{\overset{m}{\sum <!--\; \sum \; -->}}\underset{j=1}{\overset{k}{\sum <!--\; \sum \; -->}}(a_j,x_i{)}^2=\underset{l=1}{\overset{k}{\sum <!--\; \sum \; -->}}{\mathrm{\lambda <!--\; \lambda \; -->}}_l$$\frac{1}{m} \sum_{i=1}^m \left\Vert \sum_{j=1}^k a_j (a_j, x_i) \right \Vert ^2= \frac{1}{m} \sum_{i=1}^m \sum_{j=1}^k (a_j, x_i)^2=\sum_{l=1}^k \lambda_l$ 

называется объяснённой дисперсией. Их сумма равна выборочной дисперсии. Соответствующий квадрат относительной ошибки — это отношение остаточной дисперсии к выборочной дисперсии (то есть доля необъяснённой дисперсии):

${\mathrm{\delta <!--\; \delta \; -->}}_k^2=\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_{k+1}+{\mathrm{\lambda <!--\; \lambda \; -->}}_{k+2}+\dots <!--\; \dots \; -->+{\mathrm{\lambda <!--\; \lambda \; -->}}_n}{{\mathrm{\lambda <!--\; \lambda \; -->}}_1+{\mathrm{\lambda <!--\; \lambda \; -->}}_2+\dots <!--\; \dots \; -->+{\mathrm{\lambda <!--\; \lambda \; -->}}_n}.$$\delta _{k}^{2}={\frac {\lambda _{k+1}+\lambda _{k+2}+\ldots +\lambda _{n}}{\lambda _{1}+\lambda _{2}+\ldots +\lambda _{n}}}.$ 

По относительной ошибке ${\mathrm{\delta <!--\; \delta \; -->}}_k$$\delta_k$  оценивается применимость метода главных компонент с проецированием на первые $k$$k$  компонент.

Замечание: в большинстве вычислительных алгоритмов собственные числа ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda _{i}$  с соответствующими собственными векторами — главными компонентами $a_i$$a_i$  вычисляются в порядке «от больших ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda _{i}$  — к меньшим». Для вычисления ${\mathrm{\delta <!--\; \delta \; -->}}_k$$\delta_k$  достаточно вычислить первые $k$$k$  собственных чисел и след эмпирической ковариационной матрицы $C$$C$ , $\mathrm{tr}<!--\; \; -->C$$\operatorname{tr} C$  (сумму диагональных элементов $C$$C$ , то есть дисперсий по осям). Тогда

${\mathrm{\delta <!--\; \delta \; -->}}_k^2=\frac{1}{\mathrm{tr}<!--\; \; -->C}\left(\mathrm{tr}<!--\; \; -->C-<!--\; -\; -->\underset{i=1}{\overset{k}{\sum <!--\; \sum \; -->}}{\mathrm{\lambda <!--\; \lambda \; -->}}_i\right).$$\delta^2_k=\frac{1}{\operatorname{tr} C}\left(\operatorname{tr} C -\sum_{i=1}^k \lambda_{i}\right).$ 

Отбор главных компонент по правилу КайзераПравить

Целевой подход к оценке числа главных компонент по необходимой доле объяснённой дисперсии формально применим всегда, однако неявно он предполагает, что нет разделения на «сигнал» и «шум», и любая заранее заданная точность имеет смысл. Поэтому часто более продуктивна иная эвристика, основывающаяся на гипотезе о наличии «сигнала» (сравнительно малая размерность, относительно большая амплитуда) и «шума» (большая размерность, относительно малая амплитуда). С этой точки зрения метод главных компонент работает как фильтр: сигнал содержится в основном в проекции на первые главные компоненты, а в остальных компонентах пропорция шума намного выше.

Вопрос: как оценить число необходимых главных компонент, если отношение «сигнал/шум» заранее неизвестно?

Простейший и старейший метод отбора главных компонент даёт правило Кайзера (англ. Kaiser's rule): значимы те главные компоненты, для которых

${\mathrm{\lambda <!--\; \lambda \; -->}}_i>\frac{1}{n}\mathrm{tr}<!--\; \; -->C,$$\lambda_i > \frac{1}{n} \operatorname{tr} C ,$ 

то есть ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda _{i}$  превосходит среднее значение $\mathrm{\lambda <!--\; \lambda \; -->}$$\lambda$  (среднюю выборочную дисперсию координат вектора данных). Правило Кайзера хорошо работает в простых случаях, когда есть несколько главных компонент с ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda _{i}$ , намного превосходящими среднее значение, а остальные собственные числа меньше него. В более сложных случаях оно может давать слишком много значимых главных компонент. Если данные нормированы на единичную выборочную дисперсию по осям, то правило Кайзера приобретает особо простой вид: значимы только те главные компоненты, для которых ${\mathrm{\lambda <!--\; \lambda \; -->}}_i>1.$$\lambda_i > 1 .$ 

Оценка числа главных компонент по правилу сломанной тростиПравить

 

Пример: оценка числа главных компонент по правилу сломанной трости в размерности 5. На графике ${\mathrm{\lambda <!--\; \lambda \; -->}}_1>l_1,{\mathrm{\lambda <!--\; \lambda \; -->}}_2>l_2,$$\lambda _{1}>l_{1},\lambda _{2}>l_{2},$  но $\lambda _{3}<l_{3}$ . Число необходимых главных компонент равно 2.

Одним из наиболее популярных эвристических подходов к оценке числа необходимых главных компонент является правило сломанной трости (англ. Broken stick model). Набор нормированных на единичную сумму собственных чисел (${\mathrm{\lambda <!--\; \lambda \; -->}}_i/\mathrm{tr}<!--\; \; -->C$$\lambda_i / \operatorname{tr} C$ , $i=1,...n$$i=1,...n$ ) сравнивается с распределением длин обломков трости единичной длины, сломанной в $n-<!--\; -\; -->1$$n-1$ -й случайно выбранной точке (точки разлома выбираются независимо и равнораспределены по длине трости). Пусть $L_i$$L_i$  ($i=1,...n$$i=1,...n$ ) — длины полученных кусков трости, занумерованные в порядке убывания длины: $L_1\ge <!--\; \ge \; -->L_2\ge <!--\; \ge \; -->...L_n$$L_1 \geq L_2 \geq... L_n$ . Нетрудно найти математическое ожидание $L_i$$L_i$ :

$l_i=\mathrm{E}<!--\; \; -->(L_i)=\frac{1}{n}\underset{j=i}{\overset{n}{\sum <!--\; \sum \; -->}}\frac{1}{j}.$$l_i=\operatorname{E}(L_i)=\frac{1}{n}\sum_{j=i}^{n} \frac{1}{j}.$ 

По правилу сломанной трости $k$$k$ -й собственный вектор (в порядке убывания собственных чисел ${\mathrm{\lambda <!--\; \lambda \; -->}}_i$$\lambda _{i}$ ) сохраняется в списке главных компонент, если

$\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_1}{\mathrm{tr}<!--\; \; -->C}>l_{1}and\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_2}{\mathrm{tr}<!--\; \; -->C}>l_{2}and...\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_k}{\mathrm{tr}<!--\; \; -->C}>l_k.$$\frac{\lambda_1}{\operatorname{tr} C}>l_1 \; and \; \frac{\lambda_2}{\operatorname{tr} C}>l_2 \; and \; ... \frac{\lambda_k}{\operatorname{tr} C}>l_k .$ 

На Рис. приведён пример для 5-мерного случая:

$l_1$$l_{1}$ =(1+1/2+1/3+1/4+1/5)/5; $l_2$$l_{2}$ =(1/2+1/3+1/4+1/5)/5; $l_3$$l_3$ =(1/3+1/4+1/5)/5; $l_4$$l_4$ =(1/4+1/5)/5; $l_5$$l_5$ =(1/5)/5.

Для примера выбрано

$\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_1}{\mathrm{tr}<!--\; \; -->C}$$\frac{\lambda_1}{\operatorname{tr} C}$ =0.5; $\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_2}{\mathrm{tr}<!--\; \; -->C}$$\frac{\lambda_2}{\operatorname{tr} C}$ =0.3; $\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_3}{\mathrm{tr}<!--\; \; -->C}$$\frac{\lambda_3}{\operatorname{tr} C}$ =0.1; $\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_4}{\mathrm{tr}<!--\; \; -->C}$$\frac{\lambda_4}{\operatorname{tr} C}$ =0.06; $\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_5}{\mathrm{tr}<!--\; \; -->C}$$\frac{\lambda_5}{\operatorname{tr} C}$ =0.04.

По правилу сломанной трости в этом примере следует оставлять 2 главных компоненты:

$\frac{\lambda_1}{\operatorname{tr} C}>l_1 \;; \; \frac{\lambda_2}{\operatorname{tr} C}>l_2 \;; \;\frac{\lambda_3}{\operatorname{tr} C}<l_3\;.$ 

По оценкам пользователей, правило сломанной трости имеет тенденцию занижать количество значимых главных компонент.

Оценка числа главных компонент по числу обусловленностиПравить

И правило Кайзера, и правило сломанной трости весьма чувствительны к наличию иррелевантных атрибутов. Это легко демонстрируется на примере удвоения атрибутов. В работе Миркеса с соавторами был предложен простой тест на устойчивость оценки размерности: если просто продублировать атрибуты в базе данных, то оценка размерности увеличиться не должна. Ни правило Кайзера, ни правило сломанной трости этот тест не проходят из-за того, что «шлейф» компоненты с малыми собственными числами сдвигает оценку и пропрорционально увеличивает размерность. Этим недостатком не обладает оценка по числу обусловленности. Число обусловленности корреляционной матрицы, это отношение ее максимального собственного числа, ${\mathrm{\lambda <!--\; \lambda \; -->}}_1$$\lambda _{1}$  к минимальному ${\mathrm{\lambda <!--\; \lambda \; -->}}_n$$\lambda_n$ : $\mathrm{\kappa <!--\; \kappa \; -->}={\mathrm{\lambda <!--\; \lambda \; -->}}_1/{\mathrm{\lambda <!--\; \lambda \; -->}}_n$$\kappa =\lambda _{1}/\lambda _{n}$ . Большое значение $\mathrm{\kappa <!--\; \kappa \; -->}$$\kappa$  означает плохую обусловленность и мультиколлинеарность. Для определение числа оставляемых компонент выбирается некоторое значение порога мультиколлинеарности ${\mathrm{\kappa <!--\; \kappa \; -->}}_0>1$$\kappa _{0}>1$  и оставляются те компоненты, для которых ${\mathrm{\lambda <!--\; \lambda \; -->}}_i>\frac{{\mathrm{\lambda <!--\; \lambda \; -->}}_n}{{\mathrm{\kappa <!--\; \kappa \; -->}}_0}$$\lambda _{i}>{\frac {\lambda _{n}}{\kappa _{0}}}$ . Таким образом, в оставшихся компонентах мультиколлинеарность отсутствует. Размерность данных оценивается как число собственных значений ковариационной матрицы, превышающее фиксированную долю ($1/{\mathrm{\kappa <!--\; \kappa \; -->}}_0$$1/{\kappa _{0}}$ ) от ее наибольшего собственного значения. Выбор порога ${\mathrm{\kappa <!--\; \kappa \; -->}}_0$$\kappa _{0}$  определяется спецификой задачи. Многочисленные численные эксперименты показывают, что выбор ${\mathrm{\kappa <!--\; \kappa \; -->}}_0=10$$\kappa _{0}=10$  соответствует диапазону от малой до «умеренной» мультиколлинеарности в сохраняемых компонентах и приемлем для многих задач обработки данных.

НормировкаПравить

Нормировка после приведения к главным компонентамПравить

После проецирования на первые $k$$k$  главных компонент с ${\mathrm{\lambda <!--\; \lambda \; -->}}_1\ge <!--\; \ge \; -->{\mathrm{\lambda <!--\; \lambda \; -->}}_2\ge <!--\; \ge \; -->\dots <!--\; \dots \; -->\ge <!--\; \ge \; -->{\mathrm{\lambda <!--\; \lambda \; -->}}_k>0$$\lambda _{1}\geq \lambda _{2}\geq \ldots \geq \lambda _{k}>0$  удобно произвести нормировку на единичную (выборочную) дисперсию по осям. Дисперсия вдоль $i$$i$ й главной компоненты равна ${\mathrm{\lambda <!--\; \lambda \; -->}}_i>0(1\le <!--\; \le \; -->i\le <!--\; \le \; -->k$$\lambda_i > 0 \; (1 \le i \le k$ ), поэтому для нормировки надо разделить соответствующую координату на $\sqrt{{\mathrm{\lambda <!--\; \lambda \; -->}}_i}$$\sqrt{ \lambda_i}$ . Это преобразование не является ортогональным и не сохраняет скалярного произведения. Ковариационная матрица проекции данных после нормировки становится единичной, проекции на любые два ортогональных направления становятся независимыми величинами, а любой ортонормированный базис становится базисом главных компонент (напомним, что покоординатная нормировка меняет отношение ортогональности векторов). Отображение из пространства исходных данных на первые $k$$k$  главных компонент вместе с нормировкой задаётся матрицей

$K={\left\{\frac{a_1}{\sqrt{{\mathrm{\lambda <!--\; \lambda \; -->}}_1}},\frac{a_2}{\sqrt{{\mathrm{\lambda <!--\; \lambda \; -->}}_2}},...,\frac{a_k}{\sqrt{{\mathrm{\lambda <!--\; \lambda \; -->}}_k}}\right\}}^T$$K=\left \{\frac{a_1}{\sqrt{ \lambda_1}},\frac{a_2}{\sqrt{ \lambda_2}},...,\frac{a_k}{\sqrt{ \lambda_k}} \right \}^T$ .

Именно это преобразование чаще всего называется преобразованием Кархунена — Лоэва. Здесь $a_i$$a_i$  — векторы-столбцы, а верхний индекс $T$$T$  означает транспонирование.

Нормировка до вычисления главных компонентПравить

Предупреждение: не следует путать нормировку, проводимую после преобразования к главным компонентам, с нормировкой и «обезразмериванием» при предобработке данных, проводимой до вычисления главных компонент. Предварительная нормировка нужна для обоснованного выбора метрики, в которой будет вычисляться наилучшая аппроксимация данных, или будут искаться направления наибольшего разброса (что эквивалентно). Например, если данные представляют собой трёхмерные векторы из «метров, литров и килограммов», то при использовании стандартного евклидового расстояния разница в 1 метр по первой координате будет вносить тот же вклад, что разница в 1 литр по второй, или в 1 кг по третьей. Обычно системы единиц, в которых представлены исходные данные, недостаточно точно отображают наши представления о естественных масштабах по осям, и проводится «обезразмеривание»: каждая координата делится на некоторый масштаб, определяемый данными, целями их обработки и процессами измерения и сбора данных.

Есть три существенно различных стандартных подхода к такой нормировке: на единичную дисперсию по осям (масштабы по осям равны средним квадратичным уклонениям — после этого преобразования ковариационная матрица совпадает с матрицей коэффициентов корреляции), на равную точность измерения (масштаб по оси пропорционален точности измерения данной величины) и на равные требования в задаче (масштаб по оси определяется требуемой точностью прогноза данной величины или допустимым её искажением — уровнем толерантности). На выбор предобработки влияют содержательная постановка задачи, а также условия сбора данных (например, если коллекция данных принципиально не завершена и данные будут ещё поступать, то нерационально выбирать нормировку строго на единичную дисперсию, даже если это соответствует смыслу задачи, поскольку это предполагает перенормировку всех данных после получения новой порции; разумнее выбрать некоторый масштаб, грубо оценивающий стандартное отклонение, и далее его не менять).

Предварительная нормировка на единичную дисперсию по осям разрушается поворотом системы координат, если оси не являются главными компонентами, и нормировка при предобработке данных не заменяет нормировку после приведения к главным компонентам.

Механическая аналогия и метод главных компонент для взвешенных данныхПравить

Если сопоставить каждому вектору данных единичную массу, то эмпирическая ковариационная матрица $C$$C$  совпадёт с тензором инерции этой системы точечных масс (делённым на полную массу $m$$m$ ), а задача о главных компонентах — с задачей приведения тензора инерции к главным осям. Можно использовать дополнительную свободу в выборе значений масс для учёта важности точек данных или надёжности их значений (важным данным или данным из более надёжных источников приписываются бо́льшие массы). Если вектору данных $x_l$$x_l$  придаётся масса $w_l$$w_l$ , то вместо эмпирической ковариационной матрицы $C$$C$  получим

$C^w=[c_{ij}^w],c_{ij}^w=\frac{1}{\underset{l}{\sum <!--\; \sum \; -->}{w}_l}\underset{l=1}{\overset{m}{\sum <!--\; \sum \; -->}}{w}_l(x_{li}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_i})(x_{lj}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_j}).$$C^w = [c^w_{ij}],\ c^w_{ij} = \frac{1}{\sum_{l} w_l} \sum_{l=1}^m w_l(x_{li}-\overline{X_{i}})(x_{lj}-\overline{X_{j}}).$ 

Все дальнейшие операции по приведению к главным компонентам производятся так же, как и в основной версии метода: ищется ортонормированный собственный базис $C^w$$C^w$ , упорядочивается по убыванию собственных значений, оценивается средневзвешенная ошибка аппроксимации данных первыми $k$$k$  компонентами (по суммам собственных чисел $C^w$$C^w$ ), проводится нормировка и так далее.

Более общий способ взвешивания даёт максимизация взвешенной суммы попарных расстояний между проекциями. Для каждых двух точек данных, $x_l,x_q$$x_l , \ x_q$  вводится вес $d_{lq}$$d_{lq}$ ; $d_{lq}=d_{ql}$$d_{lq}=d_{ql}$  и $d_l=\underset{q=1}{\overset{m}{\sum <!--\; \sum \; -->}}{d}_{lq}$$d_{l}=\sum_{q=1}^m d_{lq}$ . Вместо эмпирической ковариационной матрицы $C$$C$  используется

$C^d=[c_{ij}^d],c_{ij}^d=\underset{l=1}{\overset{m}{\sum <!--\; \sum \; -->}}{d}_l(x_{li}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_i})(x_{lj}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_j})-<!--\; -\; -->\underset{l\ne <!--\; \ne \; -->q,l,q=1}{\overset{m}{\sum <!--\; \sum \; -->}}{d}_{lq}(x_{li}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_i})(x_{qj}-<!--\; -\; -->\stackrel{¯<!--\; ¯\; -->}{X_j}).$$C^d = [c^d_{ij}],\ c^d_{ij} =\sum_{l=1}^m d_l (x_{li}-\overline{X_{i}})(x_{lj}-\overline{X_{j}}) -\sum_{l \neq q, \ l,q=1}^m d_{lq}(x_{li} - \overline{X_{i}})(x_{qj}- \overline{X_{j}}).$ 

При $d_{lq}>0$$d_{lq}>0$  симметричная матрица $C^d$$C^d$  положительно определена, поскольку положительна квадратичная форма:

$\underset{ij}{\sum <!--\; \sum \; -->}{c}_{ij}^d{a}_i{a}_j=\frac{1}{2}\underset{lq}{\sum <!--\; \sum \; -->}{d}_{lq}{\left(\underset{i}{\sum <!--\; \sum \; -->}{a}_i(x_{li}-<!--\; -\; -->x_{qi})\right)}^2.$$\sum_{ij} c^d_{ij}a_i a_j = \frac{1}{2}\sum_{lq}d_{lq}\left(\sum_ia_i(x_{li}-x_{qi})\right)^2.$ 

Далее ищем ортонормированный собственный базис $C^d$$C^d$ , упорядочиваем его по убыванию собственных значений, оцениваем средневзвешенную ошибку аппроксимации данных первыми $k$$k$  компонентами и т. д. — в точности так же, как и в основном алгоритме.

Этот способ применяется при наличии классов: для $x_l,x_q$$x_l , \ x_q$  из разных классов вес $d_{lq}$$d_{lq}$  вес выбирается бо́льшим, чем для точек одного класса. В результате, в проекции на взвешенные главные компоненты различные классы «раздвигаются» на большее расстояние.

Другое применение — снижение влияния больших уклонений, так называемых аутлайеров (en.:outlier), которые могут искажать картину из-за использования среднеквадратичного расстояния: если выбрать $d_{lq}=1/\Vert <!--\; \Vert \; -->x_l-<!--\; -\; -->x_q\Vert <!--\; \Vert \; -->$$d_{lq}=1/ \| x_l -x_q \|$ , то влияние больших уклонений будет уменьшено. Таким образом, описанная модификация метода главных компонент является более робастной, чем классическая.

Специальная терминологияПравить

В статистике при использовании метода главных компонент используют несколько специальных терминов.

• Матрица данных — $\mathbf{X}=\{x_1,...x_m{\}}^T$$\mathbf{X}=\{x_1,... x_m\}^T$ ; каждая строка — вектор предобработанных данных (центрированных и правильно нормированных), число строк — $m$$m$  (количество векторов данных), число столбцов — $n$$n$  (размерность пространства данных);
• Матрица нагрузок (англ. loadings) — $\mathbf{P}=\{a_1,...a_k\}$$\mathbf{P}=\{a_1,... a_k\}$ ; каждый столбец — вектор главных компонент, число строк — $n$$n$  (размерность пространства данных), число столбцов — $k$$k$  (количество векторов главных компонент, выбранных для проецирования);
• Матрица счетов (англ. scores) — $\mathbf{T}=[t_{ij}];t_{ij}=(x_i,a_j)$$\mathbf{T}=[t_{ij}]; \; t_{ij}=(x_i,a_j)$ ; каждая строка — проекция вектора данных на $k$$k$  главных компонент; число строк — $m$$m$  (количество векторов данных), число столбцов — $k$$k$  (количество векторов главных компонент, выбранных для проецирования);
• Матрица $Z$$Z$ -счетов (англ. $Z$$Z$ -scores) — $\mathbf{Z}=[z_{ij}];z_{ij}=\frac{(x_i,a_j)}{\sqrt{{\mathrm{\lambda <!--\; \lambda \; -->}}_j}}$$\mathbf{Z}=[z_{ij}]; \; z_{ij}=\frac{(x_i,a_j)}{\sqrt{ \lambda_j}}$ ; каждая строка — проекция вектора данных на $k$$k$  главных компонент, нормированная на единичную выборочную дисперсию; число строк — $m$$m$  (количество векторов данных), число столбцов — $k$$k$  (количество векторов главных компонент, выбранных для проецирования);
• Матрица ошибок (или остатков) (англ. errors или residuals) — $\mathbf{E}=\mathbf{X}-<!--\; -\; -->\mathbf{T}{\mathbf{P}}^T$$\mathbf{E}=\mathbf{X}-\mathbf{T}\mathbf{P}^T$ .
• Основная формула: $\mathbf{X}=\mathbf{T}{\mathbf{P}}^T+\mathbf{E}$$\mathbf{X}=\mathbf{T}\mathbf{P}^T+\mathbf{E}$ .

Границы применимости и ограничения эффективности методаПравить

 

Построение ветвящихся главных компонент методом топологических грамматик. Крестики — точки данных, красное дерево с жёлтыми узлами — аппроксимирующий дендрит.

Метод главных компонент применим всегда. Распространённое утверждение о том, что он применим только к нормально распределённым данным (или для распределений, близких к нормальным), неверно: в исходной формулировке Пирсона ставится задача об аппроксимации конечного множества данных и отсутствует даже гипотеза об их статистическом порождении, не говоря уж о распределении.

Однако метод не всегда эффективно снижает размерность при заданных ограничениях на точность ${\mathrm{\delta <!--\; \delta \; -->}}_k$$\delta_k$ . Прямые и плоскости не всегда обеспечивают хорошую аппроксимацию. Например, данные могут с хорошей точностью следовать какой-нибудь кривой, а эта кривая может быть сложно расположена в пространстве данных. В этом случае метод главных компонент для приемлемой точности потребует нескольких компонент (вместо одной) или вообще не даст снижения размерности при приемлемой точности. Для работы с такими «кривыми» главными компонентами изобретён метод главных многообразий и различные версии нелинейного метода главных компонент. Больше неприятностей могут доставить данные сложной топологии. Для их аппроксимации также изобретены различные методы, например, самоорганизующиеся карты Кохонена, нейронный газ или топологические грамматики. Если данные статистически порождены с распределением, сильно отличающимся от нормального, то для аппроксимации распределения полезно перейти от главных компонент к независимым компонентам, которые уже не ортогональны в исходном скалярном произведении. Наконец, для изотропного распределения (даже нормального) вместо эллипсоида рассеяния получаем шар, и уменьшить размерность методами аппроксимации невозможно.

Примеры использованияПравить

Визуализация данныхПравить

Визуализация данных — представление в наглядной форме данных эксперимента или результатов теоретического исследования.

Первым выбором в визуализации множества данных является ортогональное проецирование на плоскость первых двух главных компонент (или 3-мерное пространство первых трёх главных компонент). Плоскость проецирования является по сути плоским двумерным «экраном», расположенным таким образом, чтобы обеспечить «картинку» данных с наименьшими искажениями. Такая проекция будет оптимальна (среди всех ортогональных проекций на разные двумерные экраны) в трёх отношениях:

1. Минимальна сумма квадратов расстояний от точек данных до проекций на плоскость первых главных компонент, то есть экран расположен максимально близко по отношению к облаку точек.
2. Минимальна сумма искажений квадратов расстояний между всеми парами точек из облака данных после проецирования точек на плоскость. (Это означает, что максимальна сумма квадратов расстояний между проекциями.)
3. Минимальна сумма искажений квадратов расстояний между всеми точками данных и их «центром тяжести». (Это означает, что максимальна сумма квадратов расстояний между проекциями и их центром тяжести.)

Визуализация данных является одним из наиболее широко используемых приложений метода главных компонент и его нелинейных обобщений.

Компрессия изображений и видеоПравить

Для уменьшения пространственной избыточности пикселей при кодировании изображений и видео используется линейное преобразование блоков пикселей. Последующие квантования полученных коэффициентов и кодирование без потерь позволяют получить значительные коэффициенты сжатия. Использование преобразования PCA в качестве линейного преобразования является для некоторых типов данных оптимальным с точки зрения размера полученных данных при одинаковом искажении. На данный момент этот метод активно не используется, в основном из-за большой вычислительной сложности. Также сжатия данных можно достичь, отбрасывая последние коэффициенты преобразования.

Подавление шума на изображенияхПравить

Основная суть метода — при удалении шума из блока пикселей представить окрестность этого блока в виде набора точек в многомерном пространстве, применить к нему PCA и оставить только первые компоненты преобразования. При этом предполагается, что в первых компонентах содержится основная полезная информация, оставшиеся же компоненты содержат ненужный шум. Применив обратное преобразование после редукции базиса главных компонент, мы получим изображение без шума.

Индексация видеоПравить

Основная идея — представить при помощи PCA каждый кадр видео несколькими значениями, которые в дальнейшем будут использоваться при построении базы данных и запросам к ней. Столь существенная редукция данных позволяет значительно увеличить скорость работы и устойчивость к ряду искажений в видео.

БиоинформатикаПравить

 

Рис. А. Проекция ДНК-блуждания на первые 2 главные компоненты для генома бактерии Streptomyces coelicolor

 

Рис. Б. Проекция ДНК-блуждания на первые 3 главные компоненты для генома бактерии Streptomyces coelicolor. Вращение применяется для визуализации трёхмерной конфигурации

Метод главных компонент интенсивно используется в биоинформатике для сокращения размерности описания, выделения значимой информации, визуализации данных и др. Один из распространённых вариантов использования — анализ соответствий. На иллюстрациях (Рис. А, Б) генетический текст представлен как множество точек в 64-мерном пространстве частот триплетов. Каждая точка соответствует фрагменту ДНК в скользящем окне длиной 300 нуклеотидов (ДНК-блуждание). Этот фрагмент разбивается на неперекрывающиеся триплеты, начиная с первой позиции. Относительные частоты этих триплетов во фрагменте и составляют 64-мерный вектор. На Рис. А представлена проекция на первые 2 главные компоненты для генома бактерии Streptomyces coelicolor. На Рис. Б представлена проекция на первые 3 главные компоненты. Оттенками красного и коричневого выделены фрагменты кодирующих последовательностей в прямой цепи ДНК, а оттенками зелёного выделены фрагменты кодирующих последовательностей в обратной цепи ДНК. Чёрным помечены фрагменты, принадлежащие некодирующей части. Анализ методом главных компонент большинства известных бактериальных геномов представлен на специализированном сайте.

ХемометрикаПравить

Метод главных компонент — один из основных методов в хемометрике. Позволяет разделить матрицу исходных данных X на две части: «содержательную» и «шум».

ПсиходиагностикаПравить

Психодиагностика является одной из наиболее разработанных областей приложения метода главных компонент. Стратегия использования основывается на гипотезе об автоинформативности экспериментальных данных, которая подразумевает, что диагностическую модель можно создать путём аппроксимации геометрической структуры множества объектов в пространстве исходных признаков. Хорошую линейную диагностическую модель удаётся построить, когда значительная часть исходных признаков внутренне согласованна. Если эта внутренняя согласованность отражает искомый психологический конструкт, то параметры линейной диагностической модели (веса признаков) даёт метод главных компонент.

ЭконометрикаПравить

Метод главных компонент — один из ключевых инструментов эконометрики, он применяется для наглядного представления данных, обеспечения лаконизма моделей, упрощения счёта и интерпретации, сжатия объёмов хранимой информации. Метод обеспечивает максимальную информативность и минимальное искажение геометрической структуры исходных данных.

СоциологияПравить

В социологии метод необходим для решения первых двух основных задач:

1. анализ данных (описание результатов опросов или других исследований, представленных в виде массивов числовых данных);
2. описание социальных явлений (построение моделей явлений, в том числе и математических моделей).

ПолитологияПравить

В политологии метод главных компонент был основным инструментом проекта «Политический атлас современности» для линейного и нелинейного анализа рейтингов 192 стран мира по пяти специально разработанным интегральным индексам (уровня жизни, международного влияния, угроз, государственности и демократии). Для картографии результатов этого анализа разработана специальная геоинформационная система, объединяющая географическое пространство с пространством признаков. Также созданы карты данных политического атласа, использующие в качестве подложки двумерные главные многообразия в пятимерном пространстве стран. Отличие карты данных от географической карты заключается в том, что на географической карте рядом оказываются объекты, которые имеют сходные географические координаты, в то время как на карте данных рядом оказываются объекты (страны) с похожими признаками (индексами).

Сокращение размерности динамических моделейПравить

Проклятие размерности затрудняет моделирование сложных систем. Сокращение размерности модели — необходимое условие успеха моделирования. Для достижения этой цели создана разветвлённая математическая технология. Метод главных компонент также используется в этих задачах (часто под названием истинное или собственное ортогональное разложение — англ. proper orthogonal decomposition (POD)). Например, при описании динамики турбулентности динамические переменные — поле скоростей — принадлежат бесконечномерному пространству (или, если представлять поле его значениями на достаточно мелкой сетке, — конечномерному пространству большой размерности). Можно набрать большую коллекцию мгновенных значений полей и применить к этому множеству многомерных «векторов данных» метод главных компонент. Эти главные компоненты называются также эмпирические собственные векторы. В некоторых случаях (структурная турбулентность) метод даёт впечатляющее сокращение размерности. Другие области применения этой техники сокращения динамических моделей чрезвычайно разнообразны — от теоретических основ химической технологии до океанологии и климатологии.

Сенсорная оценка пищевых продуктовПравить

Своё применение метод главных компонент получил при проведении сенсорной (органолептической) оценки свойств пищевых продуктов. Метод главных компонент позволяет проводить классификации пищевых продуктов в тех случаях, когда для характеристики их свойств используется одновременно большое число дескрипторов, например при оценке свойств вина, мармелада, экструдированных пищевых продуктов, сыра, и других.

Альтернативы и обобщенияПравить

Метод главных компонент — наиболее распространённый подход к снижению размерности, однако существуют и другие способы, в частности, метод независимых компонент, многомерное шкалирование, а также многочисленные нелинейные обобщения: метод главных кривых и многообразий, метод упругих карт, поиск наилучшей проекции (англ. Projection Pursuit), нейросетевые методы «узкого горлышка», самоорганизующиеся карты Кохонена.

См. такжеПравить

• SSA (метод)

ЛитератураПравить

Классические работы

• Pearson K., On lines and planes of closest fit to systems of points in space, Philosophical Magazine, (1901) 2, 559—572; а также на сайте PCA.
• Sylvester J.J., On the reduction of a bilinear quantic of the nth order to the form of a sum of n products by a double orthogonal substitution, Messenger of Mathematics, 19 (1889), 42—46; а также на сайте PCA.
• Frećhet M. Les élements aléatoires de nature quelconque dans un espace distancié. Ann. Inst. H. Poincaré, 10 (1948), 215—310.

Основные руководства

• Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика. Классификация и снижение размерности.— М.: Финансы и статистика, 1989.— 607 с.
• Jolliffe I.T. Principal Component Analysis, Series: Springer Series in Statistics, 2nd ed., Springer, NY, 2002, XXIX, 487 p. 28 illus. ISBN 978-0-387-95442-4

Современные обзоры

• Gorban A. N., Kegl B., Wunsch D., Zinovyev A. Y. (Eds.), Principal Manifolds for Data Visualisation and Dimension Reduction, Series: Lecture Notes in Computational Science and Engineering 58, Springer, Berlin — Heidelberg — New York, 2007, XXIV, 340 p. 82 illus. ISBN 978-3-540-73749-0 (а также онлайн).

Учебное программное обеспечение

• Java-апплет «Метод главных компонент и самоорганизующиеся карты» (E.M. Mirkes, Principal Component Analysis and Self-Organizing Maps: applet. University of Leicester, 2011). Свободно распространяемая программа с моделями метода главных компонент, самоорганизуюшихся карт (SOM) и растущих самоорганизующихся карт (Growing Self-Organized Maps, GSOM). Дано описание алгоритмов (англ.), приведены руководства и некоторые публикации. Используется для выполнения небольших студенческих исследовательских работ по сравнению различных алгоритмов аппроксимации данных.

СсылкиПравить

• Курс «Анализ лингвистических данных: квантитативные методы и визуализация»
• A tutorial on Principal Components Analysis, Jonathon Shlens, 22, 2009; Version 3.01.
• Нелинейный метод главных компонент (сайт-библиотека)
• Онлайн руководство «Метод Главных Компонент (PCA)» c примерами, выполненными в рабочей книге Excel, Алексей Померанцев.