Энтропийная скорость

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость $H(X)$$H(X)$ является пределом совместной энтропии^[en] $n$$n$ членов процесса $X_k$$X_{k}$, поделённым на $n$$n$, при стремлении $n$$n$ к бесконечности:

$H(X)=\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}\frac{1}{n}H(X_1,X_2,\dots <!--\; \dots \; -->X_n)$$H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})$

если предел существует. Альтернативно, связанной величиной является:

$H^{\prime }(X)=\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim}H(X_n|X_{n-<!--\; -\; -->1},X_{n-<!--\; -\; -->2},\dots <!--\; \dots \; -->X_1)$$H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})$

Для сильно стационарных стохастических процессов $H(X)=H^{\prime }(X)$$H(X)=H'(X)$. Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности^[en]. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обучении.

Энтропийная скорость для марковских цепейПравить

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова $Y_k$$Y_{k}$ , определённом на счётном числе состояний, заданных матрицей переходов $P_{ij}$$P_{ij}$ , $H(Y)$$H(Y)$ , задаётся выражением:

$H(Y)=-<!--\; -\; -->\underset{ij}{\sum <!--\; \sum \; -->}{\mathrm{\mu <!--\; \mu \; -->}}_i{P}_{ij}\log <!--\; \; -->P_{ij}$$\displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}$ ,

где ${\mathrm{\mu <!--\; \mu \; -->}}_i$$\mu _{i}$  является асимптотическим распределением^[en] цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

См. такжеПравить

• Марковский источник информации
• свойство асимптотической равнораспределенности^[en]