Возвратное состояние

Возвра́тное состоя́ние — это состояние марковской цепи, посещаемое ею бесконечное число раз.

ОпределениеПравить

Пусть дана однородная цепь Маркова с дискретным временем $\{X_n{\}}_{n\ge <!--\; \ge \; -->0}$$\{X_{n}\}_{n\geq 0}$ . Пусть

$f_{ii}^{(n)}=\mathbb{P}(X_n=i,X_k\ne i,k=1,\dots <!--\; \dots \; -->,n-<!--\; -\; -->1\mid <!--\; \mid \; -->X_0=i)$$f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1\mid X_{0}=i)$ 

— вероятность, выйдя из состояния $i$$i$ , вернуться в него ровно за $n$$n$  шагов. Тогда

$f_{ii}=\underset{n=1}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{f}_{ii}^{(n)}$$f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)}$ 

— вероятность, выйдя из состояния $i$$i$ , вернуться в него (за конечное или бесконечное время).

Состояние $i$$i$  называется возвра́тным (рекурре́нтным), если $f_{ii}=1$$f_{ii}=1$ . В противном случае состояние называется невозвра́тным (транзие́нтным).

Критерий возвратностиПравить

Состояние $i$$i$  является возвратным тогда и только тогда, когда выполнено любое из следующих условий:

1. $\underset{n=1}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}{p}_{ii}^{(n)}=\mathrm{\infty <!--\; \infty \; -->}$$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$ , где $p_{ii}^{(n)}=\mathbb{P}(X_n=i\mid <!--\; \mid \; -->X_0=i)$$p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$ .
2. $\mathbb{P}\left(\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim sup}\{X_n=i\}\mid <!--\; \mid \; -->X_0=i\right)=1$$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

Соответственно, состояние $i$$i$  невозвратно тогда и только тогда, когда выполнено любое из условий:

1. $\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
2. $\mathbb{P}\left(\underset{n\to <!--\; \to \; -->\mathrm{\infty <!--\; \infty \; -->}}{lim sup}\{X_n=i\}\mid <!--\; \mid \; -->X_0=i\right)=0$$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Время возвращенияПравить

Предположим, что $X_0=i$$X_{0}=i$  почти всюду, и определим случайную величину $T_i$$T_{i}$ , равную времени первого возвращения в состояние $i$$i$ , то есть

$T_i=inf\{n\ge <!--\; \ge \; -->1\mid <!--\; \mid \; -->X_n=i\}$$T_{i}=\inf\{n\geq 1\mid X_{n}=i\}$ .

Тогда $T_i$$T_{i}$  имеет дискретное распределение, задаваемое функцией вероятности

$\mathbb{P}(T_i=n)=f_{ii}^{(n)}$$\mathbb {P} (T_{i}=n)=f_{ii}^{(n)}$ .

Возвратное состояние $i$$i$  называется положи́тельным, если

$\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty$ ,

и нулевы́м, если

$\mathbb{E}[T_i]=\mathrm{\infty <!--\; \infty \; -->}$$\mathbb {E} [T_{i}]=\infty$ .

Возвратность неразложимого классаПравить

• Если состояния $i$$i$  и $j$$j$  сообщаются, и $i$$i$  — возвратно, то состояние $j$$j$  также возвратно.
• Более того если состояние $i$$i$  положительно, то и состояние $j$$j$  также положительно.

Таким образом возвратность и положительность — свойство неразложимого класса. Если Марковская цепь неразложима, то говорят о её возвратности и положительности.