Распределение Дирихле

В теории вероятностей и математической статистике распределение Дирихле (по имени Иоганна Петера Густава Лежён-Дирихлe), часто обозначаемое $\mathrm{D}\mathrm{i}\mathrm{r}(\mathrm{\alpha <!--\; \alpha \; -->})$$\mathrm {Dir} (\alpha )$— это семейство непрерывных многомерных вероятностных распределений параметризованных вектором α неотрицательных вещественных чисел. Распределение Дирихле является обобщением Бета-распределения на многомерный случай. То есть, его функция плотности вероятности возвращает доверительную вероятность того, что вероятность каждого из $K$$K$ взаимоисключающих событий равна $x_i$$x_{i}$ при условии, что каждое событие наблюдалось ${\mathrm{\alpha <!--\; \alpha \; -->}}_i-<!--\; -\; -->1$$\alpha _{i}-1$ раз.

Функция плотности вероятностиПравить

Функция плотности вероятности для распределения Дирихле порядка K есть:

$f(x_1,\dots <!--\; \dots \; -->,x_K;{\mathrm{\alpha <!--\; \alpha \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\alpha <!--\; \alpha \; -->}}_K)=\frac{1}{\mathrm{B}(\mathrm{\alpha <!--\; \alpha \; -->})}\underset{i=1}{\overset{K}{\prod <!--\; \prod \; -->}}{x}_i^{{\mathrm{\alpha <!--\; \alpha \; -->}}_i-<!--\; -\; -->1}$$f(x_{1},\dots ,x_{K};\alpha _{1},\dots ,\alpha _{K})={\frac {1}{\mathrm {B} (\alpha )}}\prod _{i=1}^{K}x_{i}^{\alpha _{i}-1}$ 

где $x_i\ge <!--\; \ge \; -->0$$x_{i}\geq 0$ , $\underset{i=1}{\overset{K}{\sum <!--\; \sum \; -->}}{x}_i=1$$\sum _{i=1}^{K}x_{i}=1$ , ${\mathrm{\alpha <!--\; \alpha \; -->}}_i>0$$\alpha _{i}>0$ , а $\mathrm{B}(\mathrm{\alpha <!--\; \alpha \; -->})=\frac{\underset{i=1}{\overset{K}{\prod <!--\; \prod \; -->}}\mathrm{\Gamma <!--\; \Gamma \; -->}({\mathrm{\alpha <!--\; \alpha \; -->}}_i)}{\mathrm{\Gamma <!--\; \Gamma \; -->}\left(\underset{i=1}{\overset{K}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i\right)}$${\mathrm {B} (\alpha )}={\frac {\prod \limits _{i=1}^{K}\Gamma (\alpha _{i})}{\Gamma \left(\sum \limits _{i=1}^{K}\alpha _{i}\right)}}$  — многомерная бета-функция, где $\mathrm{\alpha <!--\; \alpha \; -->}=({\mathrm{\alpha <!--\; \alpha \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\alpha <!--\; \alpha \; -->}}_K).$$\alpha =(\alpha _{1},\ldots ,\alpha _{K}).$ 

СвойстваПравить

Пусть $X=(X_1,\dots <!--\; \dots \; -->,X_K)\sim <!--\; \sim \; -->\mathrm{Dir}<!--\; \; -->(\mathrm{\alpha <!--\; \alpha \; -->})$$X=(X_{1},\ldots ,X_{K})\sim \operatorname {Dir} (\alpha )$  и ${\mathrm{\alpha <!--\; \alpha \; -->}}_0=\underset{i=1}{\overset{K}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i,$$\alpha _{0}=\sum _{i=1}^{K}\alpha _{i},$  тогда

$\mathrm{E}[X_i\mid <!--\; \mid \; -->\mathrm{\alpha <!--\; \alpha \; -->}]=\frac{{\mathrm{\alpha <!--\; \alpha \; -->}}_i}{{\mathrm{\alpha <!--\; \alpha \; -->}}_0},$$\mathrm {E} [X_{i}\mid \alpha ]={\frac {\alpha _{i}}{\alpha _{0}}},$ 

$\mathrm{V}\mathrm{a}\mathrm{r}[X_i\mid <!--\; \mid \; -->\mathrm{\alpha <!--\; \alpha \; -->}]=\frac{{\mathrm{\alpha <!--\; \alpha \; -->}}_i({\mathrm{\alpha <!--\; \alpha \; -->}}_0-<!--\; -\; -->{\mathrm{\alpha <!--\; \alpha \; -->}}_i)}{{\mathrm{\alpha <!--\; \alpha \; -->}}_0^2({\mathrm{\alpha <!--\; \alpha \; -->}}_0+1)},$$\mathrm {Var} [X_{i}\mid \alpha ]={\frac {\alpha _{i}(\alpha _{0}-\alpha _{i})}{\alpha _{0}^{2}(\alpha _{0}+1)}},$ 

$\mathrm{C}\mathrm{o}\mathrm{v}[X_i{X}_j\mid <!--\; \mid \; -->\mathrm{\alpha <!--\; \alpha \; -->}]=\frac{-<!--\; -\; -->{\mathrm{\alpha <!--\; \alpha \; -->}}_i{\mathrm{\alpha <!--\; \alpha \; -->}}_j}{{\mathrm{\alpha <!--\; \alpha \; -->}}_0^2({\mathrm{\alpha <!--\; \alpha \; -->}}_0+1)}.$$\mathrm {Cov} [X_{i}X_{j}\mid \alpha ]={\frac {-\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}(\alpha _{0}+1)}}.$ 

Модой распределения является вектор $x=(x_1,...,x_K)$$x=(x_{1},...,x_{K})$  с

$x_i=\frac{{\mathrm{\alpha <!--\; \alpha \; -->}}_i-<!--\; -\; -->1}{{\mathrm{\alpha <!--\; \alpha \; -->}}_0-<!--\; -\; -->K},{\mathrm{\alpha <!--\; \alpha \; -->}}_i>1.$$x_{i}={\frac {\alpha _{i}-1}{\alpha _{0}-K}},\quad \alpha _{i}>1.$ 

Распределение Дирихле является сопряжённым априорным распределением к мультиномиальному распределению, а именно: если

$\mathrm{\beta <!--\; \beta \; -->}\mid <!--\; \mid \; -->X=({\mathrm{\beta <!--\; \beta \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\beta <!--\; \beta \; -->}}_K)\mid <!--\; \mid \; -->X\sim <!--\; \sim \; -->\mathrm{Mult}<!--\; \; -->(X),$$\beta \mid X=(\beta _{1},\ldots ,\beta _{K})\mid X\sim \operatorname {Mult} (X),$ 

где β_i — число вхождений i в выборку из n точек дискретного распределения на {1, …, K} определенного через X, то

$X\mid <!--\; \mid \; -->\mathrm{\beta <!--\; \beta \; -->}\sim <!--\; \sim \; -->\mathrm{Dir}<!--\; \; -->(\mathrm{\alpha <!--\; \alpha \; -->}+\mathrm{\beta <!--\; \beta \; -->}).$$X\mid \beta \sim \operatorname {Dir} (\alpha +\beta ).$ 

Эта связь используется в Байесовской статистике для того, чтобы оценить скрытые параметры, X, дискретного вероятностного распределения, имея набор из n выборок. Очевидно, если априорное распределение обозначено как Dir(α), то Dir(α + β) есть апостериорное распределение после серии наблюдений с гистограммой β.

Связи с другими распределениямиПравить

Если для $i\in <!--\; \in \; -->\{1,2,\dots <!--\; \dots \; -->,K\},$$i\in \{1,2,\ldots ,K\},$ 

$Y_i\sim <!--\; \sim \; -->\mathrm{Gamma}<!--\; \; -->(\text{shape}={\mathrm{\alpha <!--\; \alpha \; -->}}_i,\text{scale}=1)$$Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\alpha _{i},{\textrm {scale}}=1)$  независимо, то

$V=\underset{i=1}{\overset{K}{\sum <!--\; \sum \; -->}}{Y}_i\sim <!--\; \sim \; -->\mathrm{Gamma}<!--\; \; -->(\text{shape}=\underset{i=1}{\overset{K}{\sum <!--\; \sum \; -->}}{\mathrm{\alpha <!--\; \alpha \; -->}}_i,\text{scale}=1),$$V=\sum _{i=1}^{K}Y_{i}\sim \operatorname {Gamma} ({\textrm {shape}}=\sum _{i=1}^{K}\alpha _{i},{\textrm {scale}}=1),$ 

и

$(X_1,\dots <!--\; \dots \; -->,X_K)=(Y_1/V,\dots <!--\; \dots \; -->,Y_K/V)\sim <!--\; \sim \; -->\mathrm{Dir}<!--\; \; -->({\mathrm{\alpha <!--\; \alpha \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\alpha <!--\; \alpha \; -->}}_K).$$(X_{1},\ldots ,X_{K})=(Y_{1}/V,\ldots ,Y_{K}/V)\sim \operatorname {Dir} (\alpha _{1},\ldots ,\alpha _{K}).$ 

Несмотря на то, что X_i не являются независимыми друг от друга, они могут быть сгенерированы из набора из $K$$K$  независимых гамма случайных величин. К несчастью, так как сумма $V$$V$  теряется в процессе формирования X = (X₁, …, X_K), становится невозможно восстановить начальные значения гамма случайных величин только по этим значениям. Тем не менее, благодаря тому, что работать с независимыми случайными величинами проще, это преобразование параметров может быть полезно при доказательстве свойств распределения Дирихле.

Генерация случайных чиселПравить

Метод построения случайного вектора $x=(x_1,\dots <!--\; \dots \; -->,x_K)$$x=(x_{1},\ldots ,x_{K})$  для распределения Дирихле размерности K с параметрами $({\mathrm{\alpha <!--\; \alpha \; -->}}_1,\dots <!--\; \dots \; -->,{\mathrm{\alpha <!--\; \alpha \; -->}}_K)$$(\alpha _{1},\ldots ,\alpha _{K})$  следует непосредственно из этой связи. Сначала получим K независимых случайных выборок $y_1,\dots <!--\; \dots \; -->,y_K$$y_{1},\ldots ,y_{K}$  из гамма-распределений, каждое из которых имеет плотность

$\frac{y_i^{{\mathrm{\alpha <!--\; \alpha \; -->}}_i-<!--\; -\; -->1}{e}^{-<!--\; -\; -->y_i}}{\mathrm{\Gamma <!--\; \Gamma \; -->}({\mathrm{\alpha <!--\; \alpha \; -->}}_i)},$${\frac {y_{i}^{\alpha _{i}-1}\;e^{-y_{i}}}{\Gamma (\alpha _{i})}},$ 

а затем положим

$x_i=y_i/\underset{j=1}{\overset{K}{\sum <!--\; \sum \; -->}}{y}_j.$$x_{i}=y_{i}\left/\sum _{j=1}^{K}y_{j}\right..$ 

Наглядная трактовка параметровПравить

В качестве примера использования распределения Дирихле можно предложить задачу, в которой требуется разрезать нитки (каждая начальной длины 1,0) на K частей с разными длинами так, чтобы все части имели заданную среднюю длину, но с возможностью некоторой вариации относительных длин частей. Значения α / α₀ определяют средние длины частей нитки, получившиеся из распределения. Дисперсия вокруг среднего значения обратно пропорциональна α₀.

См. такжеПравить

• Бета-распределение
• Биномиальное распределение
• Мультиномиальное распределение

ЛитератураПравить

• М. де Гроот^ru_en. Оптимальные статистические решения = Optimal Statistical Decisions. — М.: Мир, 1974. — 492 с.