Производящая функция вероятностей

В теории вероятностей, производящая функция вероятностей дискретной случайной величины представляет собой степенной ряд функции вероятности случайной величины. Производящие функции вероятностей часто используются для краткого описания их последовательности вероятностей P(X=i) для случайного величины Х, с возможностью применить теорию степенных рядов с неотрицательными коэффициентами.

ОпределениеПравить

Одномерный случайПравить

Если Х является дискретной случайной величиной, принимающей неотрицательные целочисленные значения {0,1, ...}, тогда производящая функция вероятностей от случайной величины Х определяется как

$G(z)=M(z^X)=\underset{x=0}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}p(x)z^x$$G(z)=M(z^{X})=\sum _{x=0}^{\infty }p(x)z^{x}$ 

где p – это функция вероятности от Х. Заметим, что индексы обозначения G_X и p_X часто используются, чтобы подчеркнуть, что они относятся к конкретной случайной величине Х и ее распределению. Степенной ряд абсолютно сходится, по крайней мере, для всех комплексных чисел z, |z| ≤ 1; во многих примерах радиус сходимости больше.,c

Многомерный случайПравить

Если X = (X₁,...,X_d) является дискретной случайной величиной, принимающей значения из d-мерной неотрицательной целочисленной решетки {0,1, ...}^d, тогда производящая функция вероятностей от Х определена как

$G(z)=G(z_1,...,z_d)=M(z_1^{X_1}...z_d^{X_d})=\underset{x_1,...,x_d=0}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}p(x_1,...,x_d)z_1^{x_1}...z_d^{x_d}$$G(z)=G(z_{1},...,z_{d})=M(z_{1}^{X_{1}}...z_{d}^{X_{d}})=\sum _{x_{1},...,x_{d}=0}^{\infty }p(x_{1},...,x_{d})z_{1}^{x_{1}}...z_{d}^{x_{d}}$ 

где p – это функция вероятности от Х. Степенной ряд абсолютно сходится по крайней мере для всех комплексных векторов z = (z₁,...,z_d ) ∈ ℂ^d с максимумом {|z₁|,...,|z_d |} ≤ 1.)

СвойстваПравить

Степенные рядыПравить

Производящие функции вероятностей подчиняются всем правилам степенных рядов с неотрицательными коэффициентами. В частности, G(1⁻) = 1, где G(1⁻) = lim_z→1G(z) снизу, поскольку сумма вероятностей должна равняться 1. Таким образом, радиус сходимости любой производящей функции вероятностей должен быть как минимум 1, по теореме Абеля для степенных рядов с неотрицательными коэффициентами.

Вероятности и ожиданияПравить

Следующие свойства позволяют сделать вывод о различных базовых величинах, связанных с $X$$X$ :

1. Функция вероятности от $X$$X$  восстанавливается взятием производной $G$$G$ 

$p(k)=P(X=k)=\frac{G^{(k)}(0)}{k!}$$p(k)=P(X=k)={\frac {G^{(k)}(0)}{k!}}$ 

2. Из свойства 1 следует, что если случайные величины $X$$X$  и $Y$$Y$  имеют равные производящие функции вероятностей ( $G_X$$G_{X}$  = $G_Y$$G_{Y}$ ), тогда $p_X(k)=p_Y(k)$$p_{X}(k)=p_{Y}(k)$ .То есть, если $X$$X$  и $Y$$Y$  имеют одинаковые производящие функции вероятностей, то они имеют также и одинаковые распределения.

3. Нормализация функции плотности может быть выражена в терминах производящей функции

$M(1)=G(1^{-<!--\; -\; -->})=\underset{i=0}{\overset{\mathrm{\infty <!--\; \infty \; -->}}{\sum <!--\; \sum \; -->}}p(i)=1$$M(1)=G(1^{-})=\sum _{i=0}^{\infty }p(i)=1$ 

Математическое ожидание X задается как

$M(X)=G^{\prime }(1^{-<!--\; -\; -->})$$M(X)=G'(1^{-})$ 

В более общем плане, k-ый факториальный момент,$E(X(X-<!--\; -\; -->1)...(X-<!--\; -\; -->k+1)))$$E(X(X-1)...(X-k+1)))$  от X задается как

$M\left(\frac{X!}{(X-<!--\; -\; -->k)!}\right)=G^{(k)}(1^{-<!--\; -\; -->}),k\ge <!--\; \ge \; -->0$$M\left({\frac {X!}{(X-k)!}}\right)=G^{(k)}(1^{-}),k\geq 0$ 

Таким образом, дисперсия Х задается как

$D(X)=G^{″}(1^{-<!--\; -\; -->})+G^{\prime }(1^{-<!--\; -\; -->})-<!--\; -\; -->[G^{\prime }(1^{-<!--\; -\; -->}){]}^2$$D(X)=G''(1^{-})+G'(1^{-})-[G'(1^{-})]^{2}$ 

4. $G_X(e^t)=M_X(t)$$G_{X}(e^{t})=M_{X}(t)$ , где $X$$X$  – это случайная величина. $G_X(t)$$G_{X}(t)$  - это производящая функция вероятностей и $M_X(t)$$M_{X}(t)$  – это производящая функция моментов.

Функции независимых случайных величинПравить

Производящие функции вероятностей полезны в частности для работы с функциями независимых случайных величин. Например:

• Если X₁, X₂, ..., X_n представляет собой последовательность независимых (и не обязательно одинаково распределенных) случайных величин, и

$S_n=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{a}_i{X}_i,$$S_{n}=\sum _{i=1}^{n}a_{i}X_{i},$ 

где a_i – константы, тогда производящая функция вероятностей определяется как

$G_{S_n}(z)=M(z^{S_n})=M(z^{\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{a}_i{X}_i})=G_{x_1}(z^{a_1})G_{x_2}(z^{a_2})...G_{x_n}(z^{a_n})$$G_{S_{n}}(z)=M(z^{S_{n}})=M(z^{\sum _{i=1}^{n}a_{i}X_{i}})=G_{x_{1}}(z^{a_{1}})G_{x_{2}}(z^{a_{2}})...G_{x_{n}}(z^{a_{n}})$ 

Например, если

$S_n=\underset{i=1}{\overset{n}{\sum <!--\; \sum \; -->}}{X}_i,$$S_{n}=\sum _{i=1}^{n}X_{i},$ 

тогда производящая функция вероятностей, G_Sn(z), определяется как

$G_{S_n}(z)=G_{x_1}(z)G_{x_2}(z)...G_{x_n}(z)$$G_{S_{n}}(z)=G_{x_{1}}(z)G_{x_{2}}(z)...G_{x_{n}}(z)$ 

Из этого также следует, что производящая функция разности двух независимых случайных переменных S = X₁ − X₂ определяется как

$G_S(z)=G_{X_1}(z)G_{X_2}(1/z)$$G_{S}(z)=G_{X_{1}}(z)G_{X_{2}}(1/z)$ 

• Предположим, что N также является независимой, дискретной случайной величиной, принимающая неотрицательные целочисленные значения, с производящей функцией вероятностей G_N. Если X₁, X₂, ..., X_N независимы и одинаково распределены с общей производящей функцией вероятностей G_X, тогда

$G_{S_N}(z)=G_N(G_X(z))$$G_{S_{N}}(z)=G_{N}(G_{X}(z))$ 

Это можно увидеть, используя закон полного математического ожидания следующим образом:

$G_{S_N}(z)=M(z^{S_N})=M(z^{\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{X}_i})=M(M(z^{\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{X}_i}|N))=M((G_X(z){)}^N)=G_N(G_X(z))$$G_{S_{N}}(z)=M(z^{S_{N}})=M(z^{\sum _{i=1}^{N}X_{i}})=M(M(z^{\sum _{i=1}^{N}X_{i}}|N))=M((G_{X}(z))^{N})=G_{N}(G_{X}(z))$ 

Этот последний факт полезен при изучении процессов Гальтона-Ватсона.

• Пусть снова N также является независимой, дискретной случайной величиной, принимающей неотрицательные целочисленные значения, с производящей функцией вероятностей G_N и плотностью вероятности f_i=P{N=i}. Если X₁, X₂, ..., X_n независимы, но неодинаково распределенные случайные величины, где G_Xi обозначает производящую функцию вероятностей от X_i, тогда

$G_{S_N}(z)=\underset{i\ge <!--\; \ge \; -->1}{\sum <!--\; \sum \; -->}{f}_i\underset{k=1}{\overset{i}{\prod <!--\; \prod \; -->}}{G}_{X_i}(z)$$G_{S_{N}}(z)=\sum _{i\geq 1}{f_{i}}\prod _{k=1}^{i}{G_{X_{i}}(z)}$ 

Для одинаково распределенных X_i это упрощает тождественность указанную ранее. В общем случае иногда полезно получить разложение S_N с помощью производящих функций вероятностей.

ПримерыПравить

• Производящая функция вероятностей для постоянной случайной величины принимающей одно значение c (P(X=c) = 1) есть

$G(z)=z^c$$G(z)=z^{c}$ 

• Производящая функция вероятностей для случайной величины с биномиальным распределением есть

$G(z)=[(1-<!--\; -\; -->p)+pz{]}^n$$G(z)=[(1-p)+pz]^{n}$ 

Очевидно, что это n-кратное произведение производящих функции случайной величины с распределением Бернулли с параметром p

Таким образом производящая функция случайной величины бросания честной монеты

$G(z)=1/2+z/2$$G(z)=1/2+z/2$ 

• Производящая функция вероятностей для случайной величины с отрицательным биномиальным распределением с вероятностью успеха p, проводимой до r-го успеха

$G(z)={\left(\frac{p}{1-<!--\; -\; -->(1-<!--\; -\; -->p)z}\right)}^r$$G(z)={\left({\frac {p}{1-(1-p)z}}\right)}^{r}$ 

(Сходится при $\left|z\right|<{\frac {1}{1-p}}$  )

Очевидно, что это r-кратное произведение производящих функции случайных величин с геометрическим распределением с параметром (1-p)

• Производящая функция вероятностей для случайной величины с распределением Пуассона с параметром λ есть

$G(z)=e^{\mathrm{\lambda <!--\; \lambda \; -->}(z-<!--\; -\; -->1)}$$G(z)=e^{\lambda {(z-1)}}$ 

СсылкиПравить

• Johnson, N.L.; Kotz, S.; Kemp, A.W. (1993) Univariate Discrete distributions (2nd edition). Wiley. ISBN 0-471-54897-9 (Section 1.B9)