Funció softmax

Exemple de funció softmax.

La funció softmax, també coneguda com softargmax Plantilla:Rpo funció exponencial normalitzada, Plantilla:Rpconverteix un vector de Plantilla:Mvar nombres reals en una distribució de probabilitat de Plantilla:Mvar possibles resultats. És una generalització de la funció logística a múltiples dimensions, i s'utilitza en regressió logística multinomial. La funció softmax s'usa sovint com l'última funció d'activació d'una xarxa neuronal per normalitzar la sortida d'una xarxa a una distribució de probabilitat sobre classes de sortida predites, basada en l'axioma d'elecció de Luce.

La funció softmax pren com a entrada un vector Plantilla:Mvar de Plantilla:Mvar nombres reals i el normalitza en una distribució de probabilitats que consta de Plantilla:Mvar probabilitats proporcionals a les exponencials dels nombres d'entrada. És a dir, abans d'aplicar softmax, alguns components vectorials podrien ser negatius o superiors a un; i podria no sumar 1; però després d'aplicar softmax, cada component estarà a l'interval $(0,1)$, i els components sumaran 1, de manera que es puguin interpretar com a probabilitats. A més, els components d'entrada més grans correspondran a probabilitats més grans.

La funció estàndard (unitat) softmax $\sigma :{ℝ}^K\to (0,1{)}^K$ es defineix quan $K\ge 1$ amb la fórmula

$\sigma (𝐳{)}_i=\frac{e^{z_i}}{\sum _{j=1}^K{e}^{z_j}}\text{ for }i=1,\dots ,K\text{ and }𝐳=(z_1,\dots ,z_K)\in {ℝ}^K.$

En paraules senzilles, aplica la funció exponencial estàndard a cada element $z_i$ del vector d'entrada $𝐳$ i normalitza aquests valors dividint per la suma de totes aquestes exponencials; aquesta normalització assegura que la suma de les components del vector de sortida $\sigma (𝐳)$ és 1.

En la teoria de la probabilitat, la sortida de la funció softargmax es pot utilitzar per a representar una distribució categòrica, és a dir, una distribució de probabilitat sobre Plantilla:Mvar diferents resultats possibles.

La funció softmax s'utilitza en diversos mètodes de classificació multiclasse, com ara la regressió logística multinomial (també coneguda com a regressió softmax) Plantilla:Rp[1], anàlisi discriminant lineal multiclasse, classificadors Bayes ingenus i xarxes neuronals artificials. Concretament, en regressió logística multinomial i anàlisi discriminant lineal, l'entrada a la funció és el resultat de Plantilla:Mvar funcions lineals diferents, i la probabilitat prevista per a la classe Plantilla:Mvar a partir d'un vector de mostra Plantilla:Math i un vector de ponderació Plantilla:Math és:

$P(y=j\mid 𝐱)=\frac{e^{{𝐱}^{𝖳}{𝐰}_j}}{\sum _{k=1}^K{e}^{{𝐱}^{𝖳}{𝐰}_k}}$