Энтропия Цаллиса

В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведенияПравить

Пусть $P$$P$  — распределение вероятностей и $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  — любая мера на $X$$X$ , для которой существует абсолютно непрерывная относительно $\mathrm{\mu <!--\; \mu \; -->}$$\mu$  функция $p=\frac{dP}{d\mathrm{\mu <!--\; \mu \; -->}}$$p={\frac {dP}{d\mu }}$ . Тогда энтропия Цаллиса определяется как

$S_q(P)=\frac{k}{q-<!--\; -\; -->1}\left(1-<!--\; -\; -->\underset{X}{\overset{}{\int <!--\; \int \; -->}}{p}^{q}d\mathrm{\mu <!--\; \mu \; -->}\right).$$S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}}d\mu \right).$ 

В частности, для дискретной системы, находящейся в одном из $N$$N$  доступных состояний с распределением вероятностей $P=\{p_i|i=1,2,...,N\}$$P=\{p_{i}\,|\,i=1,2,...,N\}$ ,

$S_q(P)=\frac{k}{q-<!--\; -\; -->1}\left(1-<!--\; -\; -->\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{p}_i^q\right)$$S_{q}(P)={k \over q-1}\left(1-\sum _{i=1}^{N}p_{i}^{q}\right)$ .

В случае лебеговой меры $\mathrm{\mu <!--\; \mu \; -->}=x$$\mu =x$ , т.е. когда $P$$P$  — непрерывное распределение с плотностью $p(x)$$p(x)$ , заданной на множестве $X$$X$ ,

$S_q(P)=\frac{k}{q-<!--\; -\; -->1}\left(1-<!--\; -\; -->\underset{X}{\overset{}{\int <!--\; \int \; -->}}{p}^q(x)dx\right)$$S_{q}(P)={k \over q-1}\left(1-\int \limits _{X}^{}{p^{q}(x)}dx\right)$ .

В этих формулах $k$$k$  — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают $k=1$$k=1$ .

Параметр $q$$q$  — безразмерная величина ($q\in <!--\; \in \; -->R$$q\in R$ ), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при $q\to <!--\; \to \; -->1$$q\to 1$ , энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При $q>0$$q>0$  энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При $q<0$  функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при $q>0$$q>0$  энтропию Цаллиса нужно максимизировать, а при $q<0$  — минимизировать. Значение параметра $q=0$$q=0$  — это вырожденный случай энтропии Цаллиса, когда она не зависит от $P$$P$ , а зависит лишь от $\mathrm{\mu <!--\; \mu \; -->}(X)$$\mu (X)$ , т.е. от размера системы (от $N$$N$  в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины $X$$X$  был безразмерным. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при $k=\frac{q-<!--\; -\; -->1}{1-<!--\; -\; -->2^{1-<!--\; -\; -->q}}$$k={q-1 \over 1-2^{1-q}}$ ) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát) в 1967 г. Вместе с тем при $q>0$$q>0$  энтропия Цаллиса является частным случаем f-энтропии (при $q<0$  f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношенияПравить

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции $\ln <!--\; \; -->x$$\ln x$  на функцию

${\ln }_q<!--\; \; -->x=\frac{x^{q-<!--\; -\; -->1}-<!--\; -\; -->1}{q-<!--\; -\; -->1}$$\ln _{q}x={x^{q-1}-1 \over q-1}$ 

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при $q\to <!--\; \to \; -->1$$q\to 1$  совпадающий с логарифмом). К. Цаллис использовал несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра $q$$q$  на $2-<!--\; -\; -->q$$2-q$ .

Ещё один способ получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

$S(P)=-<!--\; -\; -->k\underset{t\to <!--\; \to \; -->1}{lim}\frac{d}{dt}\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{p}_i^t$$S(P)=-k\lim _{t\rightarrow 1}{\frac {d}{dt}}\sum _{i=1}^{N}p_{i}^{t}$ .

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

$S_q(P)=-<!--\; -\; -->k\underset{t\to <!--\; \to \; -->1}{lim}{\left(\frac{d}{dt}\right)}_q\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{p}_i^t$$S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\sum _{i=1}^{N}p_{i}^{t}$ .

Аналогично для непрерывного случая:

$S_q(P)=-<!--\; -\; -->k\underset{t\to <!--\; \to \; -->1}{lim}{\left(\frac{d}{dt}\right)}_q\underset{X}{\overset{}{\int <!--\; \int \; -->}}{p}^t(x)dx$$S_{q}(P)=-k\lim _{t\rightarrow 1}\,\left({\frac {d}{dt}}\right)_{q}\int \limits _{X}^{}{p^{t}(x)}dx$ .

Неэкстенсивность (неаддитивность)Править

Пусть имеются две независимых системы $A$$A$  и $B$$B$ , т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний $a\in <!--\; \in \; -->A$$a\in A$  и $b\in <!--\; \in \; -->B$$b\in B$  в этих системах равна произведению соответствующих вероятностей:

$\mathrm{Prob}<!--\; \; -->(a,b)=\mathrm{Prob}<!--\; \; -->(a)\mathrm{Prob}<!--\; \; -->(b)$$\operatorname {Prob} (a,b)=\operatorname {Prob} (a)\operatorname {Prob} (b)$ ,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

$p_{AB}(x,y)=p_A(x)p_B(y)$$p_{AB}(x,y)=p_{A}(x)p_{B}(y)$ ,

где $x\in <!--\; \in \; -->X$$x\in X$ , $y\in <!--\; \in \; -->Y$$y\in Y$  — области значений случайной величины в системах $A$$A$  и $B$$B$  соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо

$S_q(AB)=S_q(A)+S_q(B)+\frac{1-<!--\; -\; -->q}{k}{S}_q(A)S_q(B)$$S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q \over k}S_{q}(A)S_{q}(B)$ .

Поскольку условие аддитивности для энтропии имеет вид

$S(AB)=S(A)+S(B)$$S(AB)=S(A)+S(B)$ ,

отклонение параметра $q$$q$  от $1$$1$  характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при $q=1$$q=1$ .

Дивергенция ЦаллисаПравить

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями $A=\{a_i\}$$A=\{a_{i}\}$  и $B=\{b_i\}$$B=\{b_{i}\}$ , $i=1,2,...,N$$i=1,2,...,N$ , дивергенция Цаллиса определяется как

$D_q(A,B)=\frac{k}{q-<!--\; -\; -->1}\left(\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{a}_i^q{b}_i^{1-<!--\; -\; -->q}-<!--\; -\; -->1\right)$$D_{q}(A,B)={k \over q-1}\left(\sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1\right)$ .

В непрерывном случае, если распределения $A$$A$  и $B$$B$  заданы плотностями $a(x)$$a(x)$  и $b(x)$$b(x)$  соответственно, где $x\in <!--\; \in \; -->X$$x\in X$ ,

$D_q(A,B)=\frac{k}{q-<!--\; -\; -->1}\left(\underset{X}{\overset{}{\int <!--\; \int \; -->}}{a}^q(x)b^{1-<!--\; -\; -->q}(x)dx-<!--\; -\; -->1\right)$$D_{q}(A,B)={k \over q-1}\left(\int \limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1\right)$ .

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при $q>0$$q>0$ . Несущественная положительная константа $k$$k$  в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной $1$$1$ ). Дивергенция Цаллиса является частным случаем α-дивергенции (с точностью до несущественной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех $q>0$$q>0$ . Дивергенция Цаллиса также является частным случаем f-дивергенции.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции $\ln <!--\; \; -->x$$\ln x$ . В пределе при $q\to <!--\; \to \; -->1$$q\to 1$  дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и ЦаллисаПравить

Энтропия Реньи и энтропия Цаллиса эквивалентны с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы $P$$P$  с дискретным набором состояний $\{p_i|i=1,2,...,N\}$$\{p_{i}|i=1,2,...,N\}$ :

${\stackrel{~<!--\; ~\; -->}{S}}_q(P)=\frac{\stackrel{~<!--\; ~\; -->}{k}}{1-<!--\; -\; -->q}\ln <!--\; \; -->\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{p}_i^q$${\widetilde {S}}_{q}(P)={{\widetilde {k}} \over 1-q}\ln \sum _{i=1}^{N}p_{i}^{q}$ , $q\ge <!--\; \ge \; -->0$$q\geq 0$ .

Дивергенция Реньи для дискретных распределений с вероятностями $A=\{a_i\}$$A=\{a_{i}\}$  и $B=\{b_i\}$$B=\{b_{i}\}$ , $i=1,2,...,N$$i=1,2,...,N$ :

${\stackrel{~<!--\; ~\; -->}{D}}_q(A,B)=\frac{\stackrel{~<!--\; ~\; -->}{k}}{q-<!--\; -\; -->1}\ln <!--\; \; -->\underset{i=1}{\overset{N}{\sum <!--\; \sum \; -->}}{a}_i^q{b}_i^{1-<!--\; -\; -->q}$${\widetilde {D}}_{q}(A,B)={{\widetilde {k}} \over q-1}\ln \sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}$ , $q>0$$q>0$ .

В этих формулах положительная константа $\stackrel{~<!--\; ~\; -->}{k}$${\widetilde {k}}$  имеет тот же смысл, что и $k$$k$  в формализме Цаллиса.

Нетрудно видеть, что

$S_q(P)=T_{2-<!--\; -\; -->q}({\stackrel{~<!--\; ~\; -->}{S}}_q(P))$$S_{q}(P)=T_{2-q}({\widetilde {S}}_{q}(P))$ ,

$D_q(A,B)=T_q({\stackrel{~<!--\; ~\; -->}{D}}_q(A,B))$$D_{q}(A,B)=T_{q}({\widetilde {D}}_{q}(A,B))$ ,

где функция

$T_q(x)=k\frac{\exp <!--\; \; -->(x(q-<!--\; -\; -->1)/\stackrel{~<!--\; ~\; -->}{k})-<!--\; -\; -->1}{q-<!--\; -\; -->1}$$T_{q}(x)=k{\exp(x(q-1)/{\widetilde {k}})-1 \over q-1}$ 

определена на всей числовой оси и непрерывно возрастает по $x$$x$  (при $q=1$$q=1$  полагаем $T_q(x)=\frac{k}{\stackrel{~<!--\; ~\; -->}{k}}x$$T_{q}(x)={k \over {\widetilde {k}}}x$ ). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

• энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех $q>0$$q>0$ ;
• энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме $q=0$$q=0$ ), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством.