Perceptró del nucli

En l'aprenentatge automàtic, el perceptró del nucli és una variant del popular algorisme d'aprenentatge del perceptró que pot aprendre màquines del nucli, és a dir, classificadors no lineals que utilitzen una funció del nucli per calcular la similitud de mostres no vistes amb mostres d'entrenament. L'algorisme es va inventar el 1964, convertint-lo en el primer aprenent de classificació del nucli.

Preliminars

L'algorisme del perceptró

L'algorisme de perceptron és un algorisme d'aprenentatge en línia que funciona segons un principi anomenat "aprenentatge basat en errors". Millora iterativament un model executant-lo en mostres d'entrenament i, a continuació, actualitzant el model sempre que trobi que ha fet una classificació incorrecta respecte a un senyal supervisat. El model après per l'algorisme de perceptró estàndard és un classificador binari lineal: un vector de pesos Plantilla:Math (i opcionalment un terme d'intercepció Plantilla:Math, omès aquí per simplificar) que s'utilitza per classificar un vector mostra Plantilla:Math com a classe "u" o classe "menys u", segons

$\hat{y}=\mathrm{sgn}({𝐰}^{\mathrm{\top }}𝐱)$

on un zero s'assigna arbitràriament a un o menys un. (El "barret" a Plantilla:Mvar denota un valor estimat).

En pseudocodi, l'algorisme de perceptron ve donat per:

Inicialitzar w amb un vector zero de longitud p, el nombre de predictors (característiques).

Per a un nombre fix d'iteracions, o fins que es compleixi algun criteri d'aturada:

Per a cada exemple d'entrenament x_i amb l'etiqueta de veritat bàsica y_i ∈ {-1, 1 }:

Sigui ŷ = sgn(w^T x_i).

Si ŷ ≠ y_i, actualitzeu w ← w + y_i x_i.

Mètodes del nucli

En contrast amb els models lineals apresos pel perceptró, un mètode del nucli és un classificador que emmagatzema un subconjunt dels seus exemples d'entrenament Plantilla:Math, associa amb cadascun un pes Plantilla:Mvar, i pren decisions per a noves mostres Plantilla:Math avaluant

$\mathrm{sgn}\sum _i{\alpha }_i{y}_{i}K({𝐱}_i,{𝐱}^{\prime })$

Aquí, Plantilla:Mvar és una funció del nucli. Formalment, una funció del nucli és un nucli semidefinit no negatiu (vegeu la condició de Mercer), que representa un producte intern entre mostres en un espai d'alta dimensió, com si les mostres s'haguessin expandit per incloure característiques addicionals mitjançant una funció Plantilla:Math: Plantilla:Math . Intuïtivament, es pot pensar com una funció de semblança entre mostres, de manera que la màquina del nucli estableix la classe d'una nova mostra mitjançant una comparació ponderada amb el conjunt d'entrenament. Cada funció Plantilla:Math serveix com a funció base en la classificació.

Algorisme

Per derivar una versió kernelitzada de l'algorisme del perceptró, primer hem de formular-lo en forma dual, partint de l'observació que el vector pes Plantilla:Math es pot expressar com una combinació lineal de les Plantilla:Mvar mostres d'entrenament. L'equació del vector pes és

$𝐰=\sum _i^n{\alpha }_i{y}_i{𝐱}_i$

on Plantilla:Math és el nombre de vegades Plantilla:Math es va classificar incorrectament, forçant una actualització Plantilla:Math . Utilitzant aquest resultat, podem formular l'algoritme de perceptró dual, que recorre les mostres com abans, fent prediccions, però en lloc d'emmagatzemar i actualitzar un vector de pes Plantilla:Math, actualitza un vector "comptador d'errors" Plantilla:Math.