f-дивергенция

f-дивергенцией (f-расхождением) называется класс функционалов $D_f(P\parallel <!--\; \parallel \; -->Q)$$D_{f}(P\parallel Q)$, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей $P$$P$ и $Q$$Q$. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией $f(t)$$f(t)$, удовлетворяющей определённым условиям.

Данный класс дивергенций был введён и изучался независимо друг от друга учёными Csiszár (1963), Morimoto (1963) и Ali & Silvey (1966). Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.

ОпределениеПравить

Пусть $P$$P$  и $Q$$Q$  — распределения вероятностей, заданные на множестве $\mathrm{\Omega <!--\; \Omega \; -->}$$\Omega$ , такие что $P$$P$  абсолютно непрерывно по отношению к $Q$$Q$ . Пусть функция $f(t)$$f(t)$  выпукла при $t\ge <!--\; \ge \; -->0$$t\geq 0$  и $f(1)=0$$f(1)=0$ . Тогда функция $f$$f$  задаёт f-дивергенцию $P$$P$  относительно $Q$$Q$  следующим образом:

$D_f(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}f\left(\frac{dP}{dQ}\right)dQ={\mathrm{E}}_Q<!--\; \; -->f\left(\frac{dP}{dQ}\right).$$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {dP}{dQ}}\right)dQ=\operatorname {E} _{Q}f\left({\frac {dP}{dQ}}\right).$ 

Если $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  — любая мера на $\mathrm{\Omega <!--\; \Omega \; -->}$$\Omega$ , и оба распределения $P$$P$  и $Q$$Q$  непрерывны относительно $\mathrm{\mu <!--\; \mu \; -->}$$\mu$ , т.е. существуют функции $p=\frac{dP}{d\mathrm{\mu <!--\; \mu \; -->}}$$p={\frac {dP}{d\mu }}$  и $q=\frac{dQ}{d\mathrm{\mu <!--\; \mu \; -->}}$$q={\frac {dQ}{d\mu }}$ , тогда f-дивергенция может быть записана как

$D_f(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}f\left(\frac{p}{q}\right)qd\mathrm{\mu <!--\; \mu \; -->}.$$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q}}\right)q\,d\mu .$ 

В случае лебеговой меры $\mathrm{\mu <!--\; \mu \; -->}=x$$\mu =x$  распределения имеют плотности $p(x)$$p(x)$  и $q(x)$$q(x)$ , тогда f-дивергенция принимает вид

$D_f(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}f\left(\frac{p(x)}{q(x)}\right)q(x)dx.$$D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)}}\right)q(x)\,dx.$ 

Для дискретных распределений $P=\{p_i\}$$P=\{p_{i}\}$  и $Q=\{q_i\}$$Q=\{q_{i}\}$ , где $i=1,...,N$$i=1,...,N$ ,

$D_f(P\parallel <!--\; \parallel \; -->Q)=\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}f\left(\frac{p_i}{q_i}\right)q_i.$$D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_{i}.$ 

Нужно заметить, что функция $f(t)$$f(t)$  определена с точностью до слагаемого $c(t-<!--\; -\; -->1)$$c(t-1)$ , где $c$$c$  — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора $c$$c$ , поскольку слагаемое $c(t-<!--\; -\; -->1)$$c(t-1)$  функции $f(t)$$f(t)$  даёт нулевой вклад в значение интеграла. Кроме того, функция $f(t)$$f(t)$  может содержать положительную мультипликативную константу $k$$k$ , которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, Basseville (2010)) указывают дополнительные ограничения, налагаемые на функцию $f(t)$$f(t)$ :

$f^{\prime }(1)=0,$$f'(1)=0,$ 

$f^{″}(1)=1.$$f''(1)=1.$ 

Первое из этих ограничений фиксирует константу $c$$c$ , второе — константу $k$$k$ . Условие $f^{\prime }(1)=0$$f'(1)=0$  может быть полезно тем, что в этом случае $f(t)\ge <!--\; \ge \; -->0$$f(t)\geq 0$  с минимумом в точке $t=1$$t=1$  (см. Liese & Vajda (2006)), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию $f(t)$$f(t)$  не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы $c$$c$ .

f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Nielsen & Nock (2013)).

Частные случаи f-дивергенцииПравить

Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции $f(t)$$f(t)$ . В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция $f(t)$$f(t)$  (см. Liese & Vajda (2006)).

Дивергенция	Порождающая функция $f(t)$$f(t)$
Дивергенция Кульбака—Лейблера	$t\ln <!--\; \; -->t$$t\ln t$
Обратная Дивергенция Кульбака—Лейблера	$-<!--\; -\; -->\ln <!--\; \; -->t$$-\ln t$
Квадрат расстояния Хеллингера	$\frac{1}{2}(\sqrt{t}-<!--\; -\; -->1{)}^2,1-<!--\; -\; -->\sqrt{t},t-<!--\; -\; -->\sqrt{t}$${\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t}}$
Расстояние полной вариации	$\frac{1}{2}|t-<!--\; -\; -->1|$${\frac {1}{2}}|t-1|\,$
Расстояние ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  Пирсона	$(t-<!--\; -\; -->1{)}^2,t^2-<!--\; -\; -->1,t^2-<!--\; -\; -->t$$(t-1)^{2},\,t^{2}-1,\,t^{2}-t$
Расстояние ${\mathrm{\chi <!--\; \chi \; -->}}^2$$\chi ^{2}$  Неймана	$\frac{1}{t}-<!--\; -\; -->1,\frac{1}{t}-<!--\; -\; -->t$${\frac {1}{t}}-1,\,{\frac {1}{t}}-t$
Альфа-дивергенция	${\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}t-t^{(1+\alpha )/2}{\big )},&{\text{если}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =-1\end{cases}}$
Альфа-дивергенция (другие обозначения)	${\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1)}},&{\text{если}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =0\end{cases}}$

СвойстваПравить

• Неотрицательность: ƒ-дивергенция всегда неотрицательна, и равна нулю, только если распределения $P$$P$  и $Q$$Q$  совпадают. Это непосредственно следует из неравенства Йенсена:

  $D_f(P\parallel <!--\; \parallel \; -->Q)={\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}f(\frac{dP}{dQ})dQ\ge <!--\; \ge \; -->f({\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}\frac{dP}{dQ}dQ)=f(1)=0.$$D_{f}(P\!\parallel \!Q)=\int _{\Omega }\!f{\bigg (}{\frac {dP}{dQ}}{\bigg )}dQ\geq f{\bigg (}\int _{\Omega }{\frac {dP}{dQ}}dQ{\bigg )}=f(1)=0.$ 

• Монотонность: если $\mathrm{\kappa <!--\; \kappa \; -->}$$\kappa$  — произвольная переходная вероятность, которая переводит меры $P$$P$  и $Q$$Q$  соответственно в $P_{\mathrm{\kappa <!--\; \kappa \; -->}}$$P_{\kappa }$  и $Q_{\mathrm{\kappa <!--\; \kappa \; -->}}$$Q_{\kappa }$ , тогда
  $D_f(P\parallel <!--\; \parallel \; -->Q)\ge <!--\; \ge \; -->D_f(P_{\mathrm{\kappa <!--\; \kappa \; -->}}\parallel <!--\; \parallel \; -->Q_{\mathrm{\kappa <!--\; \kappa \; -->}}).$$D_{f}(P\!\parallel \!Q)\geq D_{f}(P_{\kappa }\!\parallel \!Q_{\kappa }).$ 
  Равенство здесь имеет место тогда и только тогда, когда переход порождается достаточной статистикой по отношению к $\{P,Q\}$$\{P,Q\}$ .
• Совместная выпуклость: для любого $0\le <!--\; \le \; -->\mathrm{\lambda <!--\; \lambda \; -->}\le <!--\; \le \; -->1$$0\leq \lambda \leq 1$ 

  $D_f(\mathrm{\lambda <!--\; \lambda \; -->}{P}_1+(1-<!--\; -\; -->\mathrm{\lambda <!--\; \lambda \; -->})P_2\parallel <!--\; \parallel \; -->\mathrm{\lambda <!--\; \lambda \; -->}{Q}_1+(1-<!--\; -\; -->\mathrm{\lambda <!--\; \lambda \; -->})Q_2)\le <!--\; \le \; -->\mathrm{\lambda <!--\; \lambda \; -->}{D}_f(P_1\parallel <!--\; \parallel \; -->Q_1)+(1-<!--\; -\; -->\mathrm{\lambda <!--\; \lambda \; -->})D_f(P_2\parallel <!--\; \parallel \; -->Q_2).$$D_{f}{\Big (}\lambda P_{1}+(1-\lambda )P_{2}\parallel \lambda Q_{1}+(1-\lambda )Q_{2}{\Big )}\leq \lambda D_{f}(P_{1}\!\parallel \!Q_{1})+(1-\lambda )D_{f}(P_{2}\!\parallel \!Q_{2}).$ 

  Это следует из выпуклости отображения $(p,q)\mapsto <!--\; \mapsto \; -->qf(p/q)$$(p,q)\mapsto qf(p/q)$  на ${\mathbb{R}}_{+}^2$$\mathbb {R} _{+}^{2}$ .
• Самодвойственность: если $D(P\parallel <!--\; \parallel \; -->Q)$$D(P\parallel Q)$  является f-дивергенцией, то $D(Q\parallel <!--\; \parallel \; -->P)$$D(Q\parallel P)$  тоже является f-дивергенцией, т.е. класс f-дивергенций содержит как прямые, так и обратные (двойственные) дивергенции. Действительно,

  ${D^{\ast <!--\; \ast \; -->}}_f(P\parallel <!--\; \parallel \; -->Q)\stackrel{\mathrm{d}\mathrm{f}}{=}{D}_f(Q\parallel <!--\; \parallel \; -->P)={\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}f\left(\frac{dQ}{dP}\right)dP={\int <!--\; \int \; -->}_{\mathrm{\Omega <!--\; \Omega \; -->}}{f}^{\ast <!--\; \ast \; -->}\left(\frac{dP}{dQ}\right)dQ=D_{f^{\ast <!--\; \ast \; -->}}(P\parallel <!--\; \parallel \; -->Q),$${D^{*}}_{f}(P\parallel Q){\stackrel {\mathrm {df} }{\;=\;}}D_{f}(Q\parallel P)=\int _{\Omega }f\left({\frac {dQ}{dP}}\right)dP=\int _{\Omega }f^{*}\left({\frac {dP}{dQ}}\right)dQ=D_{f^{*}}(P\parallel Q),$ 

  где $f^{\ast <!--\; \ast \; -->}(t)=tf(1/t)$$f^{*}(t)=tf(1/t)$  — двойственная порождающая функция. Нетрудно видеть, что $f^{\ast <!--\; \ast \; -->}(1)=f(1)=0$$f^{*}(1)=f(1)=0$ , $f^{\ast <!--\; \ast \; -->}(t)$$f^{*}(t)$  непрерывна (кроме, быть может, точки $t=0$$t = 0$ ) и ${f^{\ast <!--\; \ast \; -->}}^{″}(t)=\frac{1}{t^3}{f}^{″}(1/t)\ge <!--\; \ge \; -->0$${f^{*}}''(t)={\frac {1}{t^{3}}}f''(1/t)\geq 0$  почти всюду на $t\ge <!--\; \ge \; -->0$$t\geq 0$  в силу выпуклости $f$$f$ , т.е. функция $f^{\ast <!--\; \ast \; -->}(t)$$f^{*}(t)$  удовлетворяет условиям порождающей функции f-дивергенции.

С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как ${D^{\ast <!--\; \ast \; -->}}_f(P\parallel <!--\; \parallel \; -->Q)={\mathrm{E}}_P<!--\; \; -->f\left(\frac{dQ}{dP}\right)$${D^{*}}_{f}(P\parallel Q)=\operatorname {E} _{P}f\left({\frac {dQ}{dP}}\right)$ . Подобное определение встречается, например, у Zhang (2004). Таким образом, интерпретация распределения $Q$$Q$  как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы $P$$P$  и $Q$$Q$  концептуально равноправны.

Также стоит отметить, что f-дивергенция является безразмерной величиной независимо от размерности множества $\mathrm{\Omega <!--\; \Omega \; -->}$$\Omega$ .

Связанные понятияПравить

Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (Csiszár (1972)).