Собственная информация

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины $X$$X$, имеющей конечное число значений:

$P_X(x_i)=p_i,p_i⩾<!--\; ⩾\; -->0,i=1,2,\dots <!--\; \dots \; -->,n,\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{p}_i=1$$P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots ,n,\quad \sum _{i=1}^{n}p_{i}=1$

собственная информация определяется как

$I(X)=-<!--\; -\; -->\log <!--\; \; -->P_X(X).$$I(X)=-\log P_{X}(X).$

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание логарифма	Единица измерения	Количество информации о падении монеты «орлом» вверх
2	бит	$-<!--\; -\; -->{\log }_2<!--\; \; -->(1/2)={\log }_2<!--\; \; -->2=1$$-\log _{2}(1/2)=\log _{2}2=1$ бит
e	нат	$-<!--\; -\; -->\ln <!--\; \; -->(1/2)=\ln <!--\; \; -->2\approx <!--\; \approx \; -->0,69$$-\ln(1/2)=\ln 2\approx 0,69$ ната
10	хартли	$-<!--\; -\; -->{\log }_{10}<!--\; \; -->(1/2)={\log }_{10}<!--\; \; -->2\approx <!--\; \approx \; -->0,30$$-\log _{10}(1/2)=\log _{10}2\approx 0,30$ хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информацииПравить

1. Неотрицательность: $I(x)⩾<!--\; ⩾\; -->0$$I(x)\geqslant 0$ . $I(x)=0$$I(x)=0$  при $p(x)=1$$p(x)=1$ , т. е. предопределённый факт никакой информации не несёт.
2. Монотонность: $I(x_1)>I(x_2)$$I(x_{1})>I(x_{2})$ , если $p(x_{1})<p(x_{2})$ .
3. Аддитивность: для независимых $x_1,\dots <!--\; \dots \; -->,x_n$$x_{1},\dots ,x_{n}$  справедливо $I(x_1,\dots <!--\; \dots \; -->,x_n)=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}I(x_i)$$I(x_{1},\dots ,x_{n})=\sum _{i=1}^{n}I(x_{i})$ .

См. такжеПравить

• Информационная энтропия
• Взаимная информация

ЛитератураПравить

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3