Перекрёстная энтропия

В теории информации перекрёстная энтропия между двумя распределениями вероятностей измеряет среднее число бит, необходимых для опознания события из набора возможностей, если используемая схема кодирования базируется на заданном распределении вероятностей $q$$q$, вместо «истинного» распределения $p$$p$.

Перекрестная энтропия для двух распределений $p$$p$ и $q$$q$ над одним и тем же вероятностным пространством определяется следующим образом:

$\mathrm{H}(p,q)\stackrel{\mathrm{d}\mathrm{f}}{=}{\mathrm{E}}_p[-<!--\; -\; -->\log <!--\; \; -->q]=\mathrm{H}(p)+D_{\mathrm{K}\mathrm{L}}(p\Vert <!--\; \Vert \; -->q)$$\mathrm {H} (p,q){\stackrel {\mathrm {df} }{\;=\;}}\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)$,

где $H(p)$$H(p)$ — энтропия $p$$p$, и $D_{\mathrm{K}\mathrm{L}}(p||q)$$D_{\mathrm {KL} }(p||q)$ — расстояние Кульбака—Лейблера от $p$$p$ до $q$$q$ (также известная как относительная энтропия).

Для дискретного $p$$p$ и $q$$q$ это означает

$\mathrm{H}(p,q)=-<!--\; -\; -->\underset{x}{\sum <!--\; \sum \; -->}p(x)\log <!--\; \; -->q(x).$$\mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x).$

Ситуация для непрерывного распределения аналогична:

$\mathrm{H}(p,q)=-<!--\; -\; -->\underset{X}{\int <!--\; \int \; -->}p(x)\log <!--\; \; -->q(x)dx.$$\mathrm {H} (p,q)=-\int \limits _{X}p(x)\,\log q(x)\,dx.$

Нужно учесть, что, несмотря на формальную аналогию функционалов для непрерывного и дискретного случаев, они обладают разными свойствами и имеют разный смысл. Непрерывный случай имеет ту же специфику, что и понятие дифференциальной энтропии.

NB: Запись $\mathrm{H}(p,q)$$\mathrm {H} (p,q)$ иногда используется как для перекрёстной энтропии, так и для совместной энтропии $p$$p$ и $q$$q$.

Минимизация перекрёстной энтропииПравить

Минимизация перекрёстной энтропии часто используется в оптимизации и для оценки вероятностей редких событий.

См. такжеПравить

• Информационная энтропия