Mètodes d'aprenentatge de gradient proximal

Els mètodes d'aprenentatge de gradient proximal (divisió cap endavant cap enrere) són una àrea d'investigació en l'optimització i la teoria de l'aprenentatge estadístic que estudia algorismes per a una classe general de problemes de regularització convex on la penalització de regularització pot no ser diferenciable. Un d'aquests exemples és ${\ell }_1$ regularització (també coneguda com Lasso) de la forma

$\underset{w\in {ℝ}^d}{\min }\frac{1}{n}\sum _{i=1}^n(y_i-⟨w,x_i⟩{)}^2+\lambda \Vert w{\Vert }_1,\text{ on }{x}_i\in {ℝ}^d\text{ i }{y}_i\in ℝ.$

Els mètodes de gradient proximal ofereixen un marc general per resoldre problemes de regularització a partir de la teoria de l'aprenentatge estadístic amb penalitzacions que s'adapten a una aplicació de problema específica. Aquestes penalitzacions personalitzades poden ajudar a induir una certa estructura en les solucions de problemes, com ara l'esparsa (en el cas de lazo) o l'estructura de grup (en el cas de lasso de grup).

Els mètodes de gradient proximal són aplicables en una gran varietat d'escenaris per resoldre problemes d'optimització convex de la forma

$\underset{x\in \mathscr{H}}{\min }F(x)+R(x),$

on $F$ és convex i diferenciable amb el gradient continu de Lipschitz, $R$ és una funció semicontinua inferior convexa que possiblement no és diferenciable, i $\mathscr{H}$ és un conjunt, normalment un espai de Hilbert. El criteri habitual de $x$ minimitza $F(x)+R(x)$ si i només si $\mathrm{\nabla }(F+R)(x)=0$ a la configuració convexa, diferenciable ara es substitueix per

$0\in \partial (F+R)(x),$

on $\partial \phi$ denota el subdiferencial d'una funció convexa de valor real $\phi$ .

Donada una funció convexa $\phi :\mathscr{H}\to ℝ$ un operador important a tenir en compte és el seu operador proximal ${\mathrm{prox}}_{\phi }:\mathscr{H}\to \mathscr{H}$ definit per

${\mathrm{prox}}_{\phi }(u)=\arg \underset{x\in \mathscr{H}}{\min }\phi (x)+\frac{1}{2}\Vert u-x{\Vert }_2^2,$

que està ben definit per l'estricta convexitat de la ${\ell }_2$ norma. L'operador proximal es pot veure com una generalització d'una projecció. Veiem que l'operador de proximitat és important perquè $x^{*}$ és un minimitzador del problema $\underset{x\in \mathscr{H}}{\min }F(x)+R(x)$ si i només si

$x^{*}={\mathrm{prox}}_{\gamma R}(x^{*}-\gamma \mathrm{\nabla }F(x^{*})),$ on $\gamma >0$ és qualsevol nombre real positiu.