Существенное состояние

Суще́ственное состоя́ние — это такое состояние цепи Маркова, покинув которое, она всегда может в него вернуться.

ОпределениеПравить

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n{\}}_{n\ge <!--\; \ge \; -->0}$$\{X_{n}\}_{n\geq 0}$  и дискретным пространством состояний $\{1,2,\dots <!--\; \dots \; -->\}$$\{1,2,\ldots \}$ . Тогда состояние $i$$i$  называется несуще́ственным, если существует состояние $j$$j$  и $n_{ij}\in <!--\; \in \; -->\mathbb{N}$$n_{ij}\in \mathbb {N}$ , такие что

$p_{ij}^{(n_{ij})}>0$$p_{ij}^{(n_{ij})}>0$ , но $p_{ji}^{(n)}=0,\mathrm{\forall <!--\; \forall \; -->}n\in <!--\; \in \; -->\mathbb{N}$$p_{ji}^{(n)}=0,\quad \forall n\in \mathbb {N}$ .

В противном случае состояние $i$$i$  называется суще́ственным.

ЗамечаниеПравить

Несущественные состояния не играют роли при изучении долговременного поведения цепи Маркова, а потому их чаще всего игнорируют.

ПримерПравить

Пусть пространство состояний цепи Маркова конечно: $\{1,2,3,4\}$$\{1,2,3,4\}$ , а матрица переходных вероятностей имеет вид:

$P=\left({\begin{matrix}0&1&0&0\\0&0&0.6&0.4\\0&0&0.5&0.5\\0&0&0.1&0.9\end{matrix}}\right)$ .

Тогда состояния $1$$1$  и $2$$2$  несущественны, а $3$$3$  и $4$$4$  — существенны.