Softmax

Softmax — это обобщение логистической функции для многомерного случая. Функция преобразует вектор $z$$z$ размерности $K$$K$ в вектор $\mathrm{\sigma <!--\; \sigma \; -->}$$\sigma$ той же размерности, где каждая координата ${\mathrm{\sigma <!--\; \sigma \; -->}}_i$$\sigma_i$ полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты ${\mathrm{\sigma <!--\; \sigma \; -->}}_i$$\sigma_i$ вычисляются следующим образом:

$\mathrm{\sigma <!--\; \sigma \; -->}(z{)}_i=\frac{e^{z_i}}{\underset{k=<!--\; \; -->1}{\overset{K}{\sum <!--\; \sum \; -->}}}$$\sigma (z)_{i}={\frac {e^{z_{i}}}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{k}}}}$

Применение в машинном обученииПравить

Функция Softmax применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты ${\mathrm{\sigma <!--\; \sigma \; -->}}_i$$\sigma_i$  полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу $i$$i$ . Вектор-столбец $z$$z$  при этом рассчитывается следующим образом:

$z=w^{T}x-<!--\; -\; -->\mathrm{\theta <!--\; \theta \; -->}$$z=w^{T}x-\theta$ 

где $x$$x$  — вектор-столбец признаков объекта размерности $M\times <!--\; \times \; -->1$$M\times 1$ ; $w^T$$w^{T}$  — транспонированная матрица весовых коэффициентов признаков, имеющая размерность $K\times <!--\; \times \; -->M$$K\times M$ ; $\mathrm{\theta <!--\; \theta \; -->}$$\theta$  — вектор-столбец с пороговыми значениями размерности $K\times <!--\; \times \; -->1$$K\times 1$  (см. перцептрон), где $K$$K$ — количество классов объектов, а $M$$M$  — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.