Расстояние Кульбака — Лейблера

Расстояние (расхождение, дивергенция) Ку́льбака — Ле́йблера (англ. Kullback–Leibler divergence), РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия (англ. relative entropy) — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений, определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике.

Определение и интерпретацииПравить

Расхождение Кульбака — Лейблера распределения $Q$$Q$  относительно $P$$P$  (или, условно говоря, «расстояние от $P$$P$  до $Q$$Q$ ») обозначается $D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)$$D_{\mathrm {KL} }(P\parallel Q)$ . Первый аргумент функционала (распределение $P$$P$ ) обычно интерпретируется как истинное или постулируемое априори распределение, второй (распределение $Q$$Q$ ) — как предполагаемое (проверяемое). Распределение $Q$$Q$  часто служит приближением распределения $P$$P$ . Значение функционала можно понимать как количество неучтённой информации распределения $P$$P$ , если $Q$$Q$  было использовано для приближения $P$$P$ . Данная мера расстояния в теории информации также интерпретируется как величина потерь информации при замене истинного распределения $P$$P$  на распределение $Q$$Q$ .

В общем случае, если $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  — любая мера на $X$$X$ , для которой существуют абсолютно непрерывные относительно $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  функции $p=\frac{\mathrm{d}P}{\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}}$$p={\frac {{\rm {d}}P}{{\rm {d}}\mu }}$  и $q=\frac{\mathrm{d}Q}{\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}}$$q={\frac {{\rm {d}}Q}{{\rm {d}}\mu }}$ , тогда расхождение Кульбака — Лейблера распределения $Q$$Q$  относительно $P$$P$  определяется как

$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{X}p\log <!--\; \; -->\frac{p}{q}\mathrm{d}\mathrm{\mu <!--\; \mu \; -->}$$D_{\mathrm {KL} }(P\parallel Q)=\int _{X}p\,\log {\frac {p}{q}}\,{\rm {d}}\mu$ .

Основание логарифма в этой формуле существенной роли не играет. Его выбор позволяет зафиксировать конкретный вид функционала из семейства эквивалентных функционалов и равносилен выбору единицы измерения расхождения Кульбака — Лейблера (подобно ситуации с вычислением энтропии), поэтому возможно применение логарифма с любым основанием, большим единицы. Другими словами, функционал определён с точностью до положительного постоянного сомножителя. Наиболее употребительными являются натуральный логарифм (по соображениям удобства), а также двоичный логарифм — для измерения расхождения в битах (обычно используется в теории информации). Расхождение Кульбака — Лейблера является безразмерной величиной независимо от размерности исходных случайных величин.

Хотя расстояние Кульбака — Лейблера (РКЛ) часто рассматривается как способ измерения расстояния между вероятностными распределениями, данный функционал не является метрикой в пространстве распределений, поскольку не удовлетворяет неравенству треугольника и не удовлетворяет аксиоме симметричности: $D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)\ne <!--\; \ne \; -->D_{\mathrm{K}\mathrm{L}}(Q\parallel <!--\; \parallel \; -->P)$$D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$ . Тем не менее, его инфинитезимальная форма, особенно его гессиан, даёт метрический тензор, который известен как информационная метрика Фишера.

Расстояние Кульбака — Лейблера — это частный случай более общего класса расхождений, которые называются f-расхождения, а также частный случай класса расхождений Брэгмана. РКЛ — это единственное расхождение вероятностей, которое принадлежит и тому и другому классу.

РКЛ изначально было представлено Соломоном Кульбаком и Ричардом Лейблером в 1951 году как направленное расхождение между двумя распределениями. Это обсуждается в тексте Кульбака «Информационная теория и статистика».

Расстояние Кульбака — Лейблера $D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)$$D_{\mathrm {KL} }(P\parallel Q)$  иногда также интерпретируют как информационный выигрыш, достигнутый, если $P$$P$  использовано вместо $Q$$Q$ . Иногда для РКЛ используют вносящие путаницу названия относительная энтропия $P$$P$  относительно $Q$$Q$  (обозначается $H(P\mid <!--\; \mid \; -->Q)$$H(P\mid Q)$ ) или перекрёстная энтропия.

Существуют различные соглашения относительно того, как читать обозначение$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)$$D_{\mathrm {KL} }(P\parallel Q)$ . Часто его называют просто расхождением или расстоянием между $P$$P$  и $Q$$Q$ , однако это не позволяет передать фундаментальную асимметрию в соотношении. Иногда говорят «расхождение $P$$P$  из (относительно) $Q$$Q$ » или, условно говоря, «расстояние из $Q$$Q$  в $P$$P$ » (обычно в контексте относительной энтропии или информационного выигрыша). При этом распределение $Q$$Q$  интерпретируется как истинное.

Частные определения и определения через производную Радона—НикодимаПравить

Для дискретных вероятностных распределений $P$$P$  и $Q$$Q$  с числом элементарных событий $n$$n$  расхождение Кульбака — Лейблера распределения $Q$$Q$  относительно распределения $P$$P$  (или «расстояние от $P$$P$  до $Q$$Q$ ») определяется как:

$D_{KL}(P\parallel <!--\; \parallel \; -->Q)=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{p}_i\log <!--\; \; -->\frac{p_i}{q_i}$$D_{KL}(P\parallel Q)=\sum \limits _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}$ .

Другими словами, это математическое ожидание логарифмической разности между вероятностями $p$$p$  и $q$$q$ , где математическое ожидание берётся по распределению $P$$P$ . РКЛ определено, только если $q_i=0\Rightarrow <!--\; \Rightarrow \; -->p_i=0$$q_{i}=0\Rightarrow p_{i}=0$ , для всех $i=1,...,n$$i=1,...,n$  (абсолютная непрерывность). Всякий раз, когда $p_i=0$$p_{i}=0$ , вклад $i$$i$ -го члена интерпретируется как ноль, потому что $\underset{x\to <!--\; \to \; -->0}{lim}x\log <!--\; \; -->(x)=0$$\lim _{x\to 0}x\log(x)=0$ .

Для $k$$k$ -мерных абсолютно непрерывных распределений $P$$P$  и $Q$$Q$  расстояние Кульбака — Лейблера задаётся выражением

$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{X}p(x)\log <!--\; \; -->\frac{p(x)}{q(x)}\mathrm{d}x$$D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\,p(x)\log {\frac {p(x)}{q(x)}}\,{\rm {d}}x$ ,

где $p(x)$$p(x)$  и $q(x)$$q(x)$  — функции плотности распределений $P$$P$  и $Q$$Q$  соответственно, определённые на интервале $X\subseteq <!--\; \subseteq \; -->R^k$$X\subseteq R^{k}$ .

В более общем смысле, если $P$$P$  и $Q$$Q$  — вероятностные меры на множестве $X$$X$ , и $P$$P$  абсолютно непрерывна относительно $Q$$Q$ , тогда РКЛ от $P$$P$  до $Q$$Q$  определено как

$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_X\log <!--\; \; -->\frac{\mathrm{d}P}{\mathrm{d}Q}\mathrm{d}P$$D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log {\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}P$ ,

где $\frac{\mathrm{d}P}{\mathrm{d}Q}$${\frac {{\rm {d}}P}{{\rm {d}}Q}}$  — это производная Радона — Никодима $P$$P$  относительно $Q$$Q$ , и при условии, что выражение справа существует. Эквивалентно это может быть записано как

$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_X\log \left(\frac{\mathrm{d}P}{\mathrm{d}Q}\right)\frac{\mathrm{d}P}{\mathrm{d}Q}\mathrm{d}Q$$D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log \!\left({\frac {{\rm {d}}P}{{\rm {d}}Q}}\right){\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}Q$ .

Следует заметить, что использование производной Радона — Никодима служит формальным средством записи данных выражений, однако не раскрывает их содержательный смысл.

Функционал дивергенции Кульбака — Лейблера является безразмерным, однако его значения могут иметь различные единицы измерения. Так, если логарифмы в этих формулах берутся по основанию 2, то дивергенция (она же — информация, с точки зрения теории информации) измеряется в битах; если по основанию e (с натуральным основанием), то дивергенция (информация) измеряется в натах. Большинство формул, содержащих РКЛ, сохраняют смысл независимо от основания логарифма.

ХарактеризацияПравить

Артур Хобсон доказал, что расстояние Кульбака — Лейблера — это единственная мера разницы между вероятностными распределениями, которая удовлетворяет некоторым желательным свойствам, являющимся каноническими расширениями для появляющихся в часто используемых характеризациях энтропии. Следовательно, взаимная информация — это единственная мера взаимной зависимости, которая подчиняется некоторым связанным условиям, так как она может быть определена в терминах РКЛ.

Существует также Байесовская характеризация расстояния Кульбака — Лейблера.

МотивацияПравить

В теории информации теорема Крафта — Макмиллана устанавливает, что любую непосредственно декодируемую схему кодирования для кодировки сообщения для идентификации одного значения $x_i\subset <!--\; \subset \; -->X$$x_{i}\subset X$ , можно рассматривать как представление неявного распределения вероятностей $q(x_i)=2^{-<!--\; -\; -->I_i}$$q(x_{i})=2^{-I_{i}}$  над $X$$X$ , где $I_i$$I_i$  — длина кода для $x_i$$x_{i}$  в битах. Поэтому РКЛ может быть интерпретировано как ожидаемая дополнительная длина сообщения с нулевой отметки, которая должна быть передана, если код, который является оптимальным для данного (неправильного) распределения $Q$$Q$ , используется по сравнению с использованием кода на основе истинного распределения $P$$P$ .

$\begin{array}{c}{D}_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)=-<!--\; -\; -->\underset{x}{\sum <!--\; \sum \; -->}p(x)\log <!--\; \; -->q(x)+\underset{x}{\sum <!--\; \sum \; -->}p(x)\log <!--\; \; -->p(x)=H(P,Q)-<!--\; -\; -->H(P)\end{array}$${\textstyle {\begin{matrix}D_{\mathrm {KL} }(P\parallel Q)=-\sum _{x}p(x)\log q(x)+\sum _{x}p(x)\log p(x)=H(P,Q)-H(P)\,\!\end{matrix}}}$ , где $H(P,Q)$$H(P,Q)$  — перекрестная энтропия $P$$P$  и $Q$$Q$ , $H(P)$$H(P)$  — энтропия $P$$P$ .

Также можно отметить, что существует связь между РКЛ и «функцией скорости» в теории больших отклонений.

СвойстваПравить

• Расстояние Кульбака — Лейблера всегда неотрицательно, $D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)\ge <!--\; \ge \; -->0,$$D_{\mathrm {KL} }(P\parallel Q)\geq 0,$  — это результат, который известен как неравенство Гиббса, $D_{KL}(P\parallel <!--\; \parallel \; -->Q)=0⟺<!--\; ⟺\; -->P=Q$$D_{KL}(P\parallel Q)=0\iff P=Q$  почти всюду. Энтропия $H(P)$$H(P)$ , таким образом, задаёт минимальное значение перекрестной энтропии $H(P,Q)$$H(P,Q)$ , ожидаемое число дополнительных битов, требуемых, когда используется код, основанный на $Q$$Q$ , а не на $P$$P$ . Поэтому РКЛ представляет собой ожидаемое число дополнительных битов, которые должны быть переданы, чтобы определить значение $x\subset <!--\; \subset \; -->X$$x\subset X$ , если используется код, соответствующий распределению вероятностей $Q$$Q$ , а не «истинному» распределению $P$$P$ .
• Расстояние Кульбака — Лейблера не симметрично: $D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)\ne <!--\; \ne \; -->D_{\mathrm{K}\mathrm{L}}(Q\parallel <!--\; \parallel \; -->P)$$D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$ .
• Расстояние Кульбака — Лейблера остается строго определённым для непрерывных распределений и, кроме того, инвариантно относительно замены переменных. Например, если сделана замена переменной $x$$x$  на переменную $y(x)$$y(x)$ , тогда, поскольку $P(x)dx=P(y)dy$$P(x)dx=P(y)dy$  и $Q(x)dx=Q(y)$$Q(x)dx=Q(y)$ , РКЛ может быть переписано в виде:

$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{x_a}^{x_b}P(x)\log <!--\; \; -->\left(\frac{P(x)}{Q(x)}\right)dx={\int <!--\; \int \; -->}_{y_a}^{y_b}P(y)\log <!--\; \; -->\left(\frac{P(y)dy/dx}{Q(y)dy/dx}\right)dy={\int <!--\; \int \; -->}_{y_a}^{y_b}P(y)\log <!--\; \; -->\left(\frac{P(y)}{Q(y)}\right)dy$${\textstyle D_{\mathrm {KL} }(P\parallel Q)=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right)\,dx=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)dy/dx}{Q(y)dy/dx}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)}{Q(y)}}\right)\,dy}$ ,

где $y_a=y(x_a)$$y_{a}=y(x_{a})$  и $y_b=y(x_b)$$y_{b}=y(x_{b})$ . Несмотря на предположение, что преобразование было непрерывным, это не необходимо в данном случае. Это также показывает, что РКЛ задаёт величину согласованную с размерностью, так как если $x$$x$  — размерная переменная, то $P(x)$$P(x)$  и $Q(x)$$Q(x)$  также имеют размерность, так как $P(x)dx$$P(x)dx$  является безразмерной величиной. Тем не менее, выражение под логарифмом остаётся безразмерным, как и должно. Поэтому расстояние Кульбака — Лейблера можно рассматривать, в некотором смысле, как более фундаментальную величину, чем некоторые другие свойства в теории информации (такие как собственная информация или энтропия Шеннона), которые могут стать неопределёнными или отрицательными для недискретных вероятностей.

• РКЛ аддитивна для независимых распределений во многом таким же образом, как энтропия Шеннона. Если $P_1,P_2$$P_{1},P_{2}$  являются независимыми распределениями с совместным распределением $P(x,y)=P_1(x)P_2(y)$$P(x,y)=P_{1}(x)P_{2}(y)$  и, аналогично, $Q(x,y)=Q_1(x)Q_2(y)$$Q(x,y)=Q_{1}(x)Q_{2}(y)$ , то $D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)=D_{\mathrm{K}\mathrm{L}}(P_1\parallel <!--\; \parallel \; -->Q_1)+D_{\mathrm{K}\mathrm{L}}(P_2\parallel <!--\; \parallel \; -->Q_2).$$D_{\mathrm {KL} }(P\parallel Q)=D_{\mathrm {KL} }(P_{1}\parallel Q_{1})+D_{\mathrm {KL} }(P_{2}\parallel Q_{2}).$ 

Расстояние Кульбака — Лейблера для многомерного нормального распределенияПравить

Допустим, что мы имеем два многомерных нормальных распределения, со средними ${\mathrm{\mu <!--\; \mu \; -->}}_0,{\mathrm{\mu <!--\; \mu \; -->}}_1$$\mu _{0},\mu _{1}$  и с (обратимыми) матрицами ковариаций ${\mathrm{\Sigma <!--\; \Sigma \; -->}}_0,{\mathrm{\Sigma <!--\; \Sigma \; -->}}_1$$\Sigma _{0},\Sigma _{1}$ . Если два распределения имеют одинаковую размерность k, то РКЛ между распределениями следующее:

$D_{\text{KL}}({\mathcal{N}}_0\parallel <!--\; \parallel \; -->{\mathcal{N}}_1)=\frac{1}{2}\left(\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma <!--\; \Sigma \; -->}}_1^{-<!--\; -\; -->1}{\mathrm{\Sigma <!--\; \Sigma \; -->}}_0\right)+{\left({\mathrm{\mu <!--\; \mu \; -->}}_1-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_0\right)}^{\mathrm{\top <!--\; \top \; -->}}{\mathrm{\Sigma <!--\; \Sigma \; -->}}_1^{-<!--\; -\; -->1}({\mathrm{\mu <!--\; \mu \; -->}}_1-<!--\; -\; -->{\mathrm{\mu <!--\; \mu \; -->}}_0)-<!--\; -\; -->k+\ln <!--\; \; -->\left(\frac{det{\mathrm{\Sigma <!--\; \Sigma \; -->}}_1}{det{\mathrm{\Sigma <!--\; \Sigma \; -->}}_0}\right)\right).$$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left(\mathrm {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\top }\Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-k+\ln \left({\det \Sigma _{1} \over \det \Sigma _{0}}\right)\right).$ 

Логарифм в последнем члене должен быть взят по основанию e, так как все члены, кроме последнего, являются натуральными логарифмами выражений, которые являются либо любыми множителями функции плотности, либо, в противном случае, возникают естественным образом. Поэтому уравнение дает результат, измеряемый в натах. Целиком разделив это выражение на log_e2, получим распределение в битах.

Отношение к метрикамПравить

Можно было бы назвать РКЛ «метрикой» в пространстве вероятностных распределений, но это было бы некорректно, так как оно не симметрично$D_{\mathrm{K}\mathrm{L}}(P\parallel <!--\; \parallel \; -->Q)\ne <!--\; \ne \; -->D_{\mathrm{K}\mathrm{L}}(Q\parallel <!--\; \parallel \; -->P)$$D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$ , и не удовлетворяет неравенству треугольника. Все-таки, будучи предварительной метрикой, она порождает топологию в пространстве вероятностных распределений. Более конкретно, если $\{P_1,P_2,\cdots <!--\; \cdots \; -->\}$$\{P_{1},P_{2},\cdots \}$ - это последовательность распределений такая, что $\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}{D}_{\mathrm{K}\mathrm{L}}(P_n\parallel <!--\; \parallel \; -->Q)=0$$\lim _{n\rightarrow \infty }D_{\mathrm {KL} }(P_{n}\parallel Q)=0$ , тогда говорят, что $P_n\stackrel{D}{\to }Q$$P_{n}{\xrightarrow {D}}Q$ . Из неравенства Пинскера следует, что — $P_n\stackrel{\mathrm{D}}{\to }P\Rightarrow <!--\; \Rightarrow \; -->P_n\stackrel{\mathrm{T}\mathrm{V}}{\to }P$$P_{n}{\xrightarrow {\mathrm {D} }}P\Rightarrow P_{n}{\xrightarrow {\mathrm {TV} }}P$ , где последнее нужно для сходимости по вариации.

Согласно Альфреду Реньи (1970, 1961).

Информационная метрика ФишераПравить

Однако, расстояние Кульбака — Лейблера и напрямую связано с метрикой, а именно с информационной метрикой Фишера. Предположим, что у нас имеются вероятностные распределения P и Q, они оба параметризованы одинаковым (возможно многомерным) параметром $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ . Рассмотрим теперь два близких значения $P=P(\mathrm{\theta <!--\; \theta \; -->})$$P=P(\theta )$  и $Q=P({\mathrm{\theta <!--\; \theta \; -->}}_0)$$Q=P(\theta _{0})$ , таких что параметр $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  отличается только на небольшое число от параметра ${\mathrm{\theta <!--\; \theta \; -->}}_0$$\theta _{0}$ . А именно, разлагая в ряд Тейлора вплоть до первого порядка, имеем (используя соглашение Эйнштейна)

$P(\mathrm{\theta <!--\; \theta \; -->})=P({\mathrm{\theta <!--\; \theta \; -->}}_0)+\mathrm{\Delta <!--\; \Delta \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^j{P}_j({\mathrm{\theta <!--\; \theta \; -->}}_0)+\cdots <!--\; \cdots \; -->$$P(\theta )=P(\theta _{0})+\Delta \theta ^{j}P_{j}(\theta _{0})+\cdots$ ,

где $\mathrm{\Delta <!--\; \Delta \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^j=(\mathrm{\theta <!--\; \theta \; -->}-<!--\; -\; -->{\mathrm{\theta <!--\; \theta \; -->}}_0{)}^j$$\Delta \theta ^{j}=(\theta -\theta _{0})^{j}$  — малое изменение $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  в j-м направлении, а $P_j({\mathrm{\theta <!--\; \theta \; -->}}_0)=\frac{\mathrm{\partial <!--\; \partial \; -->}P}{\mathrm{\partial <!--\; \partial \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^j}({\mathrm{\theta <!--\; \theta \; -->}}_0)$$P_{j}(\theta _{0})={\frac {\partial P}{\partial \theta ^{j}}}(\theta _{0})$  соответствующая скорость изменения распределения вероятностей. Так как РКЛ имеет абсолютный минимум, равный 0, при P=Q, то есть $\mathrm{\theta <!--\; \theta \; -->}={\mathrm{\theta <!--\; \theta \; -->}}_0$$\theta =\theta _{0}$  то РКЛ имеет второй порядок малости по параметрам $\mathrm{\Delta <!--\; \Delta \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^j$$\Delta \theta ^{j}$ . Более формально, как и для любого минимума, первая производная расхождения обращается в ноль ${\frac{\mathrm{\partial <!--\; \partial \; -->}}{\mathrm{\partial <!--\; \partial \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^j}|}_{\mathrm{\theta <!--\; \theta \; -->}={\mathrm{\theta <!--\; \theta \; -->}}_0}{D}_{KL}(P(\mathrm{\theta <!--\; \theta \; -->})\parallel <!--\; \parallel \; -->P({\mathrm{\theta <!--\; \theta \; -->}}_0))=0,$$\left.{\frac {\partial }{\partial \theta ^{j}}}\right|_{\theta =\theta _{0}}D_{KL}(P(\theta )\parallel P(\theta _{0}))=0,$ 

и разложение Тейлора начинается со второго порядка малости

$D_{\mathrm{K}\mathrm{L}}(P(\mathrm{\theta <!--\; \theta \; -->})\parallel <!--\; \parallel \; -->P({\mathrm{\theta <!--\; \theta \; -->}}_0))=\frac{1}{2}\mathrm{\Delta <!--\; \Delta \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^j\mathrm{\Delta <!--\; \Delta \; -->}{\mathrm{\theta <!--\; \theta \; -->}}^k{g}_{jk}({\mathrm{\theta <!--\; \theta \; -->}}_0)+\cdots <!--\; \cdots \; -->$$D_{\mathrm {KL} }(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2}}\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\cdots$ ,

где Гессиан $g_{jk}(\mathrm{\theta <!--\; \theta \; -->})$$g_{jk}(\theta )$  должен быть неотрицательным. Если позволить ${\mathrm{\theta <!--\; \theta \; -->}}_0$$\theta _{0}$  изменяться (и опуская подиндекс 0), то Гессиан $g_{jk}(\mathrm{\theta <!--\; \theta \; -->})$$g_{jk}(\theta )$  определяет (возможно, вырожденную) метрику Римана в пространстве параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ , называемую информационной метрикой Фишера.

Отношение к другим величинам информационной теорииПравить

Многие другие величины информационной теории могут быть интерпретированы как применение расстояния Кульбака — Лейблера к частным случаям.

Собственная информация $D_{\mathrm{K}\mathrm{L}}({\mathrm{\delta <!--\; \delta \; -->}}_{im}\parallel <!--\; \parallel \; -->\{p_i\})$$D_{\mathrm {KL} }(\delta _{im}\parallel \{p_{i}\})$  является РКЛ вероятностного распределения $P(i)$$P(i)$  из символа Кронекера, представляющего определённость в том, что $i=m$$i=m$  — то есть число дополнительных бит, которые должны быть переданы для определения $i$$i$ , если только вероятностное распределение $P(i)$$P(i)$  доступно для получателя, не факт, что $i=m$$i=m$ .

Взаимная информация -

${\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\parallel P(X)P(Y))\\&=\operatorname {E} _{X}\{D_{\mathrm {KL} }(P(Y\mid X)\parallel P(Y))\}\\&=\operatorname {E} _{Y}\{D_{\mathrm {KL} }(P(X\mid Y)\parallel P(X))\}\end{aligned}}$ 

является РКЛ произведения $P(X)P(Y)$$P(X)P(Y)$  двух маргинальных вероятностных распределений из совместного вероятностного распределения $P(X,Y)$$P(X,Y)$  — то есть ожидаемое число дополнительных битов, которые должны быть посланы, чтобы определить $X$$X$  и $Y$$Y$ , если они закодированы, используя только их маргинальное распределение вместо совместного распределения. Эквивалентно, если совместная вероятность $P(X,Y)$$P(X,Y)$  известна, это ожидаемое число дополнительных битов, которые должны быть в среднем отправлены для определения $Y$$Y$ , если значение $X$$X$  уже не известны получателю.

Энтропия Шеннона -

${\begin{aligned}\mathrm {H} (X)&=\operatorname {E} [\operatorname {I} _{X}(x)]\\&=\log(N)-D_{\text{KL}}(P(X)\parallel P_{U}(X))\end{aligned}}$ 

это число битов, которые должны быть переданы для идентификации $X$$X$  из $N$$N$  одинаково вероятных исходов, это меньше, чем РКЛ равномерного распределения $P_U(X)$$P_{U}(X)$  из истинного распределения $P(X)$$P(X)$  — то есть меньше ожидаемого числа сохраненных битов, которые должны быть отправлены, если значение $X$$X$  закодировано согласно с равномерным распределением $P_U(X)$$P_{U}(X)$ , а не истинным распределение $P(X)$$P(X)$ .

Условная энтропия -

${\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P_{U}(X)P(Y))\\&=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\&=\log(N)-\operatorname {E} _{Y}{\bigl [}D_{\text{KL}}(P(X\mid Y)\parallel P_{U}(X)){\bigr ]}\end{aligned}}$ 

это число битов, которые должны быть переданы для идентификации $X$$X$  из $N$$N$  одинаково вероятных исходов, это меньше, чем РКЛ произведения распределений $P_U(X)$$P_{U}(X)$  из истинного совместного распределения $P(X,Y)$$P(X,Y)$  — то есть меньше ожидаемого числа сохраненных битов, которые должны быть отправлены, если значение $X$$X$  закодировано согласно с равномерным распределением $P_U(X)$$P_{U}(X)$ , а не с условным распределением $P(X\mid <!--\; \mid \; -->Y)$$P(X\mid Y)$  данных $X$$X$  и $Y$$Y$ .

Перекрестная энтропия между двумя вероятностными распределениями измеряет среднее число битов, необходимых для определения события из множества возможных, если использована схема кодирования, основанная на данном распределении вероятности $Q$$Q$ , а не «истинного» распределения $P$$P$ . Перекрестная энтропия для двух распределений $P$$P$  и $Q$$Q$  над тем же вероятностным пространством определяется так: $H(p,q)={\mathrm{E}}_p<!--\; \; -->[-<!--\; -\; -->\log <!--\; \; -->q]=H(p)+D_{\mathrm{K}\mathrm{L}}(p\parallel <!--\; \parallel \; -->q).$$H(p,q)=\operatorname {E} _{p}[-\log q]=H(p)+D_{\mathrm {KL} }(p\parallel q).$ 

Расстояние Кульбака — Лейблера и Байесовская модификацияПравить

В Байесовской статистике Расстояние Кульбака — Лейблера может быть использовано как мера информационного выигрыша при переходе от априорного к апостериорному вероятностному распределению. Если обнаружен некоторый новый факт $Y=y$$Y=y$ , оно может быть использовано для модификации (априорного) распределения вероятностей $p(x\mid <!--\; \mid \; -->I)$$p(x\mid I)$  для $X$$X$  в новое (апостериорное) распределение вероятностей $p(x\mid <!--\; \mid \; -->y,I)$$p(x\mid y,I)$  используя Теорему Байеса:

$p(x\mid <!--\; \mid \; -->y,I)=\frac{p(y\mid <!--\; \mid \; -->x,I)p(x\mid <!--\; \mid \; -->I)}{p(y\mid <!--\; \mid \; -->I)}.$$p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}.$ 

Это распределение имеет новую энтропию

$H(p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->y,I))=-<!--\; -\; -->\underset{x}{\sum <!--\; \sum \; -->}p(x\mid <!--\; \mid \; -->y,I)\log <!--\; \; -->p(x\mid <!--\; \mid \; -->y,I),$$H{\big (}p(\cdot \mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),$ 

которая может быть меньше или больше, чем изначальная энтропия $H(p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->I))$$H{\big (}p(\cdot \mid I){\big )}$ . Однако, с точки зрения нового распределения вероятностей можно оценить, что использование исходного кода, основанного на $p(x\mid <!--\; \mid \; -->I)$$p(x\mid I)$  вместо нового кода, основанного на $p(x\mid <!--\; \mid \; -->y,I)$$p(x\mid y,I)$ , добавило бы ожидаемое число битов — $D_{\mathrm{K}\mathrm{L}}(p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->y,I)\mid <!--\; \mid \; -->p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->I))=\underset{x}{\sum <!--\; \sum \; -->}p(x\mid <!--\; \mid \; -->y,I)\log <!--\; \; -->\frac{p(x\mid <!--\; \mid \; -->y,I)}{p(x\mid <!--\; \mid \; -->I)}$$D_{\mathrm {KL} }{\big (}p(\cdot \mid y,I)\mid p(\cdot \mid I){\big )}=\sum _{x}p(x\mid y,I)\log {\frac {p(x\mid y,I)}{p(x\mid I)}}$  к длине сообщения. Это, таким образом, представляет собой количество полезной информации, или информационного выигрыша, касательно $X$$X$ , которое было получено при обнаружении, что $Y=y$$Y=y$ .

Если впоследствии приходит еще один фрагмент данных, $Y_2=y_2$$Y_{2}=y_{2}$ , то вероятностное распределение для x может быть обновлено далее, чтобы дать новое лучшее предположение $p(x\mid <!--\; \mid \; -->y_1,y_2,I)$$p(x\mid y_{1},y_{2},I)$ . Если исследовать заново информационный выигрыш для использования $p(x\mid <!--\; \mid \; -->y_1,I)$$p(x\mid y_{1},I)$ , а не $p(x\mid <!--\; \mid \; -->I)$$p(x\mid I)$ , оказывается, что это может быть больше или меньше, чем предполагалось ранее: $\underset{x}{\sum <!--\; \sum \; -->}p(x\mid <!--\; \mid \; -->y_1,y_2,I)\log <!--\; \; -->\frac{p(x\mid <!--\; \mid \; -->y_1,y_2,I)}{p(x\mid <!--\; \mid \; -->I)}$$\sum _{x}p(x\mid y_{1},y_{2},I)\log {\frac {p(x\mid y_{1},y_{2},I)}{p(x\mid I)}}$ , может быть $\le <!--\; \le \; -->$$\leq$  или $>$$>$ , чем $\underset{x}{\sum <!--\; \sum \; -->}p(x\mid <!--\; \mid \; -->y_1,I)\log <!--\; \; -->\frac{p(x\mid <!--\; \mid \; -->y_1,I)}{p(x\mid <!--\; \mid \; -->I)}$$\displaystyle \sum _{x}p(x\mid y_{1},I)\log {\frac {p(x\mid y_{1},I)}{p(x\mid I)}}$ , и поэтому общий информационный выигрыш не выполняет неравенство треугольника:

$D_{\mathrm{K}\mathrm{L}}(p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->y_1,y_2,I)\parallel <!--\; \parallel \; -->p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->I))$$D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid I){\big )}$ , может быть больше, меньше или равно $D_{\mathrm{K}\mathrm{L}}(p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->y_1,y_2,I)\parallel <!--\; \parallel \; -->p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->y_1,I))+D_{\mathrm{K}\mathrm{L}}(p(\cdot <!--\; \cdot \; -->\mid <!--\; \mid \; -->y_1,I)\parallel <!--\; \parallel \; -->p(x\mid <!--\; \mid \; -->I)).$$D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid y_{1},I){\big )}+D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},I)\parallel p(x\mid I){\big )}.$ 

Все, что можно сказать, что в среднем, беря среднее, используя $p(y_2\mid <!--\; \mid \; -->y_1,x,I)$$p(y_{2}\mid y_{1},x,I)$ , обе стороны будут давать среднее значение.

Экспериментальная модель БайесаПравить

Широко распространённая цель в экспериментальной модели Байеса — максимизировать ожидаемое РКЛ между априорным и апостериорным распределениями. Когда апостериорное приближено к Гауссовому распределению, модель, максимизирующая ожидаемое РКЛ, называется Байеса d-оптимальное.

Различающая информацияПравить

Расстояние Кульбака — Лейблера $D_{\mathrm{K}\mathrm{L}}(p(x\mid <!--\; \mid \; -->H_1)\parallel <!--\; \parallel \; -->p(x\mid <!--\; \mid \; -->H_0))$$D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\mid H_{0}))$  может также быть интерпретировано как ожидаемая различающая информация для $H_1$$H_{1}$ над $H_0$$H_{0}$ : средняя информация на одну выборку для различия в пользу гипотезы $H_1$$H_{1}$ , против гипотезы $H_0$$H_{0}$ , когда гипотеза $H_1$$H_{1}$  верна. Еще одно имя для этой величины, данное Ирвингом Джоном Гудом, это ожидаемая масса доказательства для $H_1$$H_{1}$ над $H_0$$H_{0}$ , ожидаемая из каждой выборки.

Ожидаемая масса доказательства для $H_1$$H_{1}$ над $H_0$$H_{0}$  это не то же что информационный выигрыш, ожидаемый, например, для вероятностного распределения p(H) гипотезы, $D_{\mathrm{K}\mathrm{L}}(p(x\mid <!--\; \mid \; -->H_1)\parallel <!--\; \parallel \; -->p(x\mid <!--\; \mid \; -->H_0))\ne <!--\; \ne \; -->IG=D_{\mathrm{K}\mathrm{L}}(p(H\mid <!--\; \mid \; -->x)\parallel <!--\; \parallel \; -->p(H\mid <!--\; \mid \; -->I)).$$D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\mathrm {KL} }(p(H\mid x)\parallel p(H\mid I)).$ .

Любая из двух величин может быть использована как функция полезности в Байесовской экспериментальной форме, для выбора оптимального следующего вопроса для исследования, но вообще они приведут скорее к разным экспериментальным стратегиям.

В шкале энтропии информационного выигрыша очень маленькая разница между почти уверенностью и полной уверенностью — кодирование с почти полной уверенностью вряд ли потребует больше битов, чем кодирование с полной уверенностью. С другой стороны, в logit шкале подразумевается вес доказательств, и разница между двумя огромна, едва ли не бесконечна. Это может отражать разницу между почти уверенностью (на вероятностном уровне), скажем, в том, что Гипотеза Римана верна, и с полной уверенностью, что она верна, потому что имеется математическое доказательство. Две разные шкалы функции потерь для неопределенности обе являются полезными, согласно с тем, насколько хорошо каждая отражает конкретные обстоятельства рассматриваемой проблемы в задаче.

Принцип минимальной различающей информацииПравить

Идея РКЛ как различающей информации привела Кульбака к предположению Принципа Минимальной различающей информации (англ. Minimum Discrimination Information, MDI): учитывая новые факты, новое распределение $f$$f$  следует выбрать, из тех, которые трудно отличить от первоначального распределения $f_0$$f_{0}$ ; потому что новые данные производят так мало информационного выигрыша $D_{KL}(f\parallel <!--\; \parallel \; -->f_0)$$D_{KL}(f\parallel f_{0})$  как только возможно.

Например, если мы имеем априорное распределение $p(x,a)$$p(x,a)$  над $x$$x$  и $a$$a$ , и потом изучим истинное распределение $a$$a$  и $u(a)$$u(a)$ . РКЛ между новым совместным распределением для $x$$x$  и $a$$a$ , $q(x\mid <!--\; \mid \; -->a)u(a)$$q(x\mid a)u(a)$ , и прежнего априорного распределения было бы: $D_{\mathrm{K}\mathrm{L}}(q(x\mid <!--\; \mid \; -->a)u(a)\parallel <!--\; \parallel \; -->p(x,a))={\mathrm{E}}_{u(a)}<!--\; \; -->\{D_{\mathrm{K}\mathrm{L}}(q(x\mid <!--\; \mid \; -->a)\parallel <!--\; \parallel \; -->p(x\mid <!--\; \mid \; -->a))\}+D_{\mathrm{K}\mathrm{L}}(u(a)\parallel <!--\; \parallel \; -->p(a)),$$D_{\mathrm {KL} }(q(x\mid a)u(a)\parallel p(x,a))=\operatorname {E} _{u(a)}\{D_{\mathrm {KL} }(q(x\mid a)\parallel p(x\mid a))\}+D_{\mathrm {KL} }(u(a)\parallel p(a)),$ 

то есть сумма РКЛ $p(a)$$p(a)$  априорного распределения для $a$$a$  из обновленного распределения $u(a)$$u(a)$ , плюс ожидаемое значение (используемое вероятностное распределение $u(a)$$u(a)$ ) РКЛ априорного условного распределения $p(x\mid <!--\; \mid \; -->a)$$p(x\mid a)$  из нового распределения $p(x\mid <!--\; \mid \; -->a)$$p(x\mid a)$ . (Заметьте что часто позднее ожидаемое значение называется условное РКЛ (или условная относительная энтропия) и обозначается $D_{KL}(q(x\mid <!--\; \mid \; -->a)\parallel <!--\; \parallel \; -->p(x\mid <!--\; \mid \; -->a))$$D_{KL}(q(x\mid a)\parallel p(x\mid a))$ . Это минимизирует, если $q(x\mid <!--\; \mid \; -->a)=p(x\mid <!--\; \mid \; -->a)$$q(x\mid a)=p(x\mid a)$  над общим содержанием $u(a)$$u(a)$ . И мы замечаем что этот результат объединяет теорему Байеса, если новое распределение $u(a)$$u(a)$  это по факту функция, уверенно представляющая, что $a$$a$  имеет одно частное значение.

Минимальная различающая информация может быть рассмотрена как расширение Принципа безразличия Лапласа (другое его название — принцип недостаточного основания) и Принципа максимума энтропии Джейнса. В частности, это естественное расширение принципа максимума энтропии из дискретного до непрерывного распределения, для которого энтропия Шеннона становится не очень удобной (см. дифференциальная энтропия), но РКЛ продолжает быть столь же актуальной.

В инженерной литературе, MDI иногда называется принципом минимума перекрестной энтропии. Минимизация РКЛ $m$$m$  из $p$$p$  в отношении $m$$m$  эквивалентна минимизации перекрестной энтропии $p$$p$  и $m$$m$ , так $H(p,m)=H(p)+D_{\mathrm{K}\mathrm{L}}(p\parallel <!--\; \parallel \; -->m),$$H(p,m)=H(p)+D_{\mathrm {KL} }(p\parallel m),$  который подходит, если попытаться выбрать точное приближенное значение до $p$$p$ .

Пример использованияПравить

Пусть по выборке $x_1,x_2,\dots <!--\; \dots \; -->,x_n$$x_{1},x_{2},\dotsc ,x_{n}$  из распределения некоторой случайной величины требуется восстановить плотность её распределения, заданную в виде параметрического семейства $f(x,\mathrm{\theta <!--\; \theta \; -->})$$f(x,\theta )$ , где $x\in <!--\; \in \; -->X\subseteq <!--\; \subseteq \; -->R$$x\in X\subseteq R$  — аргумент функции, $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  — неизвестный параметр. Оценка параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  может быть найдена как решение задачи минимизации расстояния Кульбака — Лейблера между плотностью $f(x,\mathrm{\theta <!--\; \theta \; -->})$$f(x,\theta )$  и эмпирической плотностью распределения, считающейся «истинной»,

$\stackrel{^<!--\; ^\; -->}{f}(x)=\frac{1}{n}\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\mathrm{\delta <!--\; \delta \; -->}(x-<!--\; -\; -->x_i)$${\hat {f}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {\delta } (x-x_{i})$ ,

где $\mathrm{\delta <!--\; \delta \; -->}$$\delta$  — функция Дирака:

$\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}=\arg <!--\; \; -->\underset{\mathrm{\theta <!--\; \theta \; -->}}{\min }{D}_{KL}(\stackrel{^<!--\; ^\; -->}{f}(x),f(x,\mathrm{\theta <!--\; \theta \; -->}))=\arg <!--\; \; -->\underset{\mathrm{\theta <!--\; \theta \; -->}}{\max }\underset{X}{\overset{}{\int <!--\; \int \; -->}}\stackrel{^<!--\; ^\; -->}{f}(x)\ln <!--\; \; -->f(x,\mathrm{\theta <!--\; \theta \; -->})dx=\arg <!--\; \; -->\underset{\mathrm{\theta <!--\; \theta \; -->}}{\max }\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}\ln f(x_i,\mathrm{\theta <!--\; \theta \; -->})$${\hat {\theta }}=\operatorname {arg} {\underset {\theta }{\operatorname {min} }}D_{KL}({\hat {f}}(x),f(x,\theta ))=\operatorname {arg} {\underset {\theta }{\operatorname {max} }}\int \limits _{X}^{}{\hat {f}}(x)\ln f(x,\theta )\,dx=\operatorname {arg} {\underset {\theta }{\operatorname {max} }}\sum \limits _{i=1}^{n}\mathbf {\ln } f(x_{i},\theta )$ .

Нетрудно видеть, что решение этой задачи приводит к оценке максимального правдоподобия для параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$ . В случае если фактическая плотность распределения случайной величины не принадлежит семейству $f(x,\mathrm{\theta <!--\; \theta \; -->})$$f(x,\theta )$ , найденная оценка $\stackrel{^<!--\; ^\; -->}{\mathrm{\theta <!--\; \theta \; -->}}$${\hat {\theta }}$  параметра $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  называется квазиправдоподобной и обеспечивает наилучшую аппроксимацию фактического распределения, представленного выборкой, среди распределений с плотностями $f(x,\mathrm{\theta <!--\; \theta \; -->})$$f(x,\theta )$  с точки зрения расстояния Кульбака — Лейблера.