Nucli de funció de base radial

En l'aprenentatge automàtic, el nucli de la funció de base radial, o nucli RBF, és una funció real del nucli que s'utilitza en diversos algorismes d'aprenentatge kernelitzats. En particular, s'utilitza habitualment en la classificació de màquines de vectors de suport.

El nucli RBF en dues mostres $𝐱\in {ℝ}^k$ i x', representat com a vectors de característiques en algun espai d'entrada, es defineix com

$K(𝐱,{𝐱}^{\prime })=\exp (-\frac{\Vert 𝐱-{𝐱}^{\prime }{\Vert }^2}{2{\sigma }^2})$

$\Vert 𝐱-{𝐱}^{\prime }{\Vert }^2$ es pot reconèixer com la distància euclidiana al quadrat entre els dos vectors de característiques. $\sigma$ és un paràmetre lliure. Una definició equivalent implica un paràmetre $\gamma =\frac{1}{2{\sigma }^2}$ :

$K(𝐱,{𝐱}^{\prime })=\exp (-\gamma \Vert 𝐱-{𝐱}^{\prime }{\Vert }^2)$

Com que el valor del nucli RBF disminueix amb la distància i oscil·la entre zero (al límit) i un (quan Plantilla:Math), té una interpretació fàcil com a mesura de semblança. L'espai de característiques del nucli té un nombre infinit de dimensions; per $\sigma =1$, la seva expansió utilitzant el teorema multinomial és:

$\begin{array}{cc}\exp (-\frac{1}{2}\Vert 𝐱-{𝐱}^{\prime }{\Vert }^2)& =\exp (\frac{2}{2}{𝐱}^{\mathrm{\top }}{𝐱}^{\prime }-\frac{1}{2}\Vert 𝐱{\Vert }^2-\frac{1}{2}\Vert {𝐱}^{\prime }{\Vert }^2)\\ & =\exp ({𝐱}^{\mathrm{\top }}{𝐱}^{\prime })\exp (-\frac{1}{2}\Vert 𝐱{\Vert }^2)\exp (-\frac{1}{2}\Vert {𝐱}^{\prime }{\Vert }^2)\\ & =\sum _{j=0}^{\mathrm{\infty }}\frac{({𝐱}^{\mathrm{\top }}{𝐱}^{\prime }{)}^j}{j!}\exp (-\frac{1}{2}\Vert 𝐱{\Vert }^2)\exp (-\frac{1}{2}\Vert {𝐱}^{\prime }{\Vert }^2)\\ & =\sum _{j=0}^{\mathrm{\infty }}\sum _{n_1+n_2+\dots +n_k=j}\exp (-\frac{1}{2}\Vert 𝐱{\Vert }^2)\frac{x_1^{n_1}\cdots x_k^{n_k}}{\sqrt{n_1!\cdots n_k!}}\exp (-\frac{1}{2}\Vert {𝐱}^{\prime }{\Vert }^2)\frac{{x^{\prime }}_1^{n_1}\cdots {x^{\prime }}_k^{n_k}}{\sqrt{n_1!\cdots n_k!}}\\ & =⟨\phi (𝐱),\phi ({𝐱}^{\prime })⟩\end{array}$

$\phi (𝐱)=\exp (-\frac{1}{2}\Vert 𝐱{\Vert }^2)(a_{l_0}^{(0)},a_1^{(1)},\dots ,a_{l_1}^{(1)},\dots ,a_1^{(j)},\dots ,a_{l_j}^{(j)},\dots )$

on $l_j=(\genfrac{}{}{0ex}{}{k+j-1}{j})$ ,

$a_l^{(j)}=\frac{x_1^{n_1}\cdots x_k^{n_k}}{\sqrt{n_1!\cdots n_k!}}|n_1+n_2+\dots +n_k=j\wedge 1\le l\le l_j$

Aproximacions

Com que les màquines de vectors de suport i altres models que utilitzen el truc del nucli no s'escalen bé a un gran nombre de mostres d'entrenament o un gran nombre de funcions a l'espai d'entrada, s'han introduït diverses aproximacions al nucli RBF (i a nuclis similars). Normalment, aquests prenen la forma d'una funció z que mapeja un sol vector a un vector de dimensionalitat més alta, aproximant-se al nucli:

$⟨z(𝐱),z({𝐱}^{\prime })⟩\approx ⟨\phi (𝐱),\phi ({𝐱}^{\prime })⟩=K(𝐱,{𝐱}^{\prime })$

on $\phi$ és el mapeig implícit incrustat al nucli RBF.