Aproximació de Laplace

Plantilla:Estadística bayesianaL'aproximació de Laplace proporciona una expressió analítica per a una distribució de probabilitat posterior ajustant una distribució gaussiana amb una mitjana igual a la solució MAP i una precisió igual a la informació de Fisher observada. L'aproximació està justificada pel teorema de Bernstein–von Mises, que afirma que en condicions de regularitat el posterior convergeix a un gaussià en mostres grans.

Per exemple, un model de classificació o regressió (possiblement no lineal) amb un conjunt de dades $\{x_n,y_n{\}}_{n=1,\dots ,N}$ que inclou entrades $x$ i sortides $y$ té un vector de paràmetres (desconegut). $\theta$ de llargada $D$. Es denota la probabilitat $p(𝐲|𝐱,\theta )$ i el paràmetre anterior $p(\theta )$. Suposem que es vol aproximar la densitat conjunta de sortides i paràmetres $p(𝐲,\theta |𝐱)$

$p(𝐲,\theta |𝐱)=p(𝐲|𝐱,\theta )p(\theta |𝐱)=p(𝐲|𝐱)p(\theta |𝐲,𝐱)\simeq \tilde{q}(\theta )=Zq(\theta ).$

L'articulació és igual al producte de la versemblança i l'anterior i per la regla de Bayes, igual al producte de la versemblança marginal $p(𝐲|𝐱)$ i posterior $p(\theta |𝐲,𝐱)$. Vist en funció de $\theta$ l'articulació és una densitat no normalitzada. En l'aproximació de Laplace aproximem l'articulació mitjançant una gaussiana no normalitzada $\tilde{q}(\theta )=Zq(\theta )$, on fem servir $q$ per indicar la densitat aproximada, $\tilde{q}$ per a la densitat no normalitzada i $Z$ és una constant (independent de $\theta$ ). Des de la probabilitat marginal $p(𝐲|𝐱)$ no depèn del paràmetre $\theta$ i el posterior $p(\theta |𝐲,𝐱)$ es normalitza $\theta$ podem identificar-los immediatament $Z$ i $q(\theta )$ de la nostra aproximació, respectivament. L'aproximació de Laplace és

$p(𝐲,\theta |𝐱)\simeq p(𝐲,\hat{\theta }|𝐱)\exp (-\frac{1}{2}(\theta -\hat{\theta })S^{-1}(\theta -\hat{\theta }))=\tilde{q}(\theta ),$

on hem definit

$\begin{array}{cc}\hat{\theta }& ={\mathrm{argmax}}_{\theta }\log p(𝐲,\theta |𝐱),\\ S^{-1}& =-{{\mathrm{\nabla }}_{\theta }{\mathrm{\nabla }}_{\theta }\log p(𝐲,\theta |𝐱)|}_{\theta =\hat{\theta }},\end{array}$

on $\hat{\theta }$ és la ubicació d'un mode de la densitat objectiu conjunta, també conegut com a màxim a posteriori o punt MAP i $S^{-1}$ és el $D\times D$ matriu definida positiva de segones derivades de la densitat objectiu de l'articulació negatiu al mode $\theta =\hat{\theta }$. Així, l'aproximació gaussiana coincideix amb el valor i la curvatura de la densitat objectiu no normalitzada en el mode. El valor de $\hat{\theta }$ normalment es troba utilitzant un mètode basat en gradients, per exemple, el mètode de Newton. En resum, tenim

$\begin{array}{cc}q(\theta )& =𝒩(\theta |\mu =\hat{\theta },\mathrm{\Sigma }=S),\\ \log Z& =\log p(𝐲,\hat{\theta }|𝐱)+\frac{1}{2}\log |S|+\frac{D}{2}\log (2\pi ),\end{array}$

per a la part posterior aproximada $\theta$ i la probabilitat logarítmica marginal aproximada respectivament. En el cas especial de la regressió lineal bayesiana amb un a priori gaussià, l'aproximació és exacta. Les principals debilitats de l'aproximació de Laplace són que és simètrica al voltant del mode i que és molt local: tota l'aproximació es deriva de propietats en un sol punt de la densitat objectiu. El mètode de Laplace és àmpliament utilitzat i va ser pioner en el context de les xarxes neuronals per David MacKay, i per als processos gaussians per Williams i Barber.