Достижимое состояние

ОпределениеПравить

Пусть $\{X_n{\}}_{n\in <!--\; \in \; -->\mathbb{N}}$$\{X_{n}\}_{n\in \mathbb {N} }$  — однородная цепь Маркова с дискретным временем. Состояние $j$$j$  называется достижи́мым из состояния $i$$i$ , если существует $n=n(i,j)$$n=n(i,j)$  такое, что

$p_{ij}^{(n)}\equiv <!--\; \equiv \; -->\mathbb{P}(X_n=j\mid <!--\; \mid \; -->X_0=i)>0$$p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0$ .

Пишут $i\to <!--\; \to \; -->j$$i\rightarrow j$ .

Сообщающиеся состоянияПравить

• Состояния $i$$i$  и $j$$j$  называются сообща́ющимися, если $i\to <!--\; \to \; -->j$$i\rightarrow j$  и $j\to <!--\; \to \; -->i$$j\rightarrow i$ . Пишем: $i\leftrightarrow <!--\; \leftrightarrow \; -->j$$i \leftrightarrow j$ .
• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.
• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

ПримерыПравить

• Пусть $\{X_n{\}}_{n\ge <!--\; \ge \; -->0}$$\{X_{n}\}_{n\geq 0}$  — цепь Маркова с тремя состояниями $\{1,2,3\}$$\{1,2,3\}$ , и её матрица переходных вероятностей имеет вид

$P=\left({\begin{matrix}0.5&0.5&0\\0.1&0.9&0\\0&0&1\end{matrix}}\right).$ 

Состояния этой цепи образуют два неразложимых класса: $\{1,2\}$$\{1,2\}$  и $\{3\}$$\{3\}$ . В частности, $1\leftrightarrow <!--\; \leftrightarrow \; -->2$$1\leftrightarrow 2$ , но $1\nrightarrow 3$$1\not \rightarrow 3$  и $3\nrightarrow 1$$3\not \rightarrow 1$ .

• Цепь Маркова, задаваемая матрицей переходных вероятностей

$P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\right)$ ,

неразложима.