Algorisme crític de l'actor

L' algorisme crític de l'actor (AC) és una família d'algoritmes d'aprenentatge de reforç (RL) que combinen algorismes de RL basats en polítiques com els mètodes de gradient de polítiques i algorismes de RL basats en valors com ara la iteració de valors, Q-learning, SARSA i TD. aprenentatge.

Un algorisme d'AC consta de dos components principals: un " actor " que determina quines accions s'ha de dur a terme segons una funció política, i un " crític " que avalua aquestes accions segons una funció de valor. Alguns algorismes d'AC estan a la política, d'altres no a la política. Alguns s'apliquen a espais d'acció continus o discrets. Alguns funcionen en ambdós casos.

Visió general

Els mètodes crítics amb l'actor es poden entendre com una millora respecte als mètodes de gradient polític pur com REINFORCE mitjançant la introducció d'una línia de base.

Actor

LPlantilla:'actor utilitza una funció política $\pi (a|s)$, mentre que el crític estima la funció de valor $V(s)$, la funció Q-acció-valor $Q(s,a)$, la funció d'avantatge $A(s,a)$, o qualsevol combinació d'aquests.

L'actor és una funció parametritzada ${\pi }_{\theta }$, on $\theta$ són els paràmetres de l'actor. L'actor pren com a argument l'estat de l'entorn $s$ i produeix una distribució de probabilitat ${\pi }_{\theta }(\cdot |s)$.

Si l'espai d'acció és discret, aleshores $\sum _a{\pi }_{\theta }(a|s)=1$. Si l'espai d'acció és continu, aleshores $\underset{a}{\int }{\pi }_{\theta }(a|s)da=1$.

L'objectiu de l'optimització de les polítiques és millorar l'actor. És a dir, trobar-ne $\theta$ que maximitza la recompensa episòdica esperada $J(\theta )$ : $$J(\theta )={𝔼}_{{\pi }_{\theta }}\left[\sum _{t=0}^T{\gamma }^t{r}_t\right]$$ on $\gamma$ és el factor de descompte, $r_t$ és la recompensa al pas $t$, i $T$ és l'horitzó temporal (que pot ser infinit).

L'objectiu del mètode del gradient de polítiques és optimitzar $J(\theta )$ per ascens de gradient en el gradient de política $\mathrm{\nabla }J(\theta )$.

Tal com es detalla a la pàgina del mètode de gradient de política, hi ha molts estimadors imparcials del gradient de política: $${\mathrm{\nabla }}_{\theta }J(\theta )={𝔼}_{{\pi }_{\theta }}[\sum _{0\le j\le T}{\mathrm{\nabla }}_{\theta }\ln {\pi }_{\theta }(A_j|S_j)\cdot {\mathrm{\Psi }}_j|S_0=s_0]$$ on ${\mathrm{\Psi }}_j$ és una suma lineal dels següents:

• $\sum _{0\le i\le T}({\gamma }^i{R}_i)$.
• ${\gamma }^j\sum _{j\le i\le T}({\gamma }^{i-j}{R}_i)$ : l'algoritme REINFORCE.
• ${\gamma }^j\sum _{j\le i\le T}({\gamma }^{i-j}{R}_i)-b(S_j)$ : l'algoritme REINFORCE amb la línia de base. Aquí $b$ és una funció arbitrària.
• ${\gamma }^j(R_j+\gamma V^{{\pi }_{\theta }}(S_{j+1})-V^{{\pi }_{\theta }}(S_j))$ : TD(1) aprenentatge.
• ${\gamma }^j{Q}^{{\pi }_{\theta }}(S_j,A_j)$.
• ${\gamma }^j{A}^{{\pi }_{\theta }}(S_j,A_j)$ : Avantatge actor-crític (A2C).
• ${\gamma }^j(R_j+\gamma R_{j+1}+{\gamma }^2{V}^{{\pi }_{\theta }}(S_{j+2})-V^{{\pi }_{\theta }}(S_j))$ : aprenentatge TD(2).
• ${\gamma }^j({\sum }_{k=0}^{n-1}{\gamma }^k{R}_{j+k}+{\gamma }^n{V}^{{\pi }_{\theta }}(S_{j+n})-V^{{\pi }_{\theta }}(S_j))$ : aprenentatge TD(n).
• ${\gamma }^j{\sum }_{n=1}^{\mathrm{\infty }}\frac{{\lambda }^{n-1}}{1-\lambda }\cdot ({\sum }_{k=0}^{n-1}{\gamma }^k{R}_{j+k}+{\gamma }^n{V}^{{\pi }_{\theta }}(S_{j+n})-V^{{\pi }_{\theta }}(S_j))$ : aprenentatge TD(λ), també conegut com a GAE (estimació d'avantatge generalitzada). Això s'obté mitjançant una suma exponencial dels termes d'aprenentatge TD(n).

Crític

En els estimadors no esbiaixats donats anteriorment, determinades funcions com ara $V^{{\pi }_{\theta }},Q^{{\pi }_{\theta }},A^{{\pi }_{\theta }}$ aparèixer. Aquests són aproximats per la crítica. Com que totes aquestes funcions depenen de l'actor, el crític ha d'aprendre al costat de l'actor. La crítica s'aprèn mitjançant algorismes de RL basats en valors.

Per exemple, si el crític està estimant la funció estat-valor $V^{{\pi }_{\theta }}(s)$, llavors es pot aprendre mitjançant qualsevol mètode d'aproximació de funció de valor. Sigui el crític un aproximador de funcions $V_{\varphi }(s)$ amb paràmetres $\varphi$.

L'exemple més senzill és l'aprenentatge TD(1), que entrena el crític per minimitzar l'error TD(1): $${\delta }_i=R_i+\gamma V_{\varphi }(S_{i+1})-V_{\varphi }(S_i)$$ Els paràmetres crítics s'actualitzen mitjançant la baixada del gradient a l'error TD al quadrat: $$\varphi \leftarrow \varphi -\alpha {\mathrm{\nabla }}_{\varphi }({\delta }_i{)}^2=\varphi +\alpha {\delta }_i{\mathrm{\nabla }}_{\varphi }{V}_{\varphi }(S_i)$$ on $\alpha$ és la taxa d'aprenentatge. Tingueu en compte que el gradient es pren respecte al $\varphi$ en $V_{\varphi }(S_i)$ només, des del $\varphi$ en $\gamma V_{\varphi }(S_{i+1})$ constitueix un objectiu en moviment, i el gradient no es pren respecte a això. Aquesta és una font d'error habitual en les implementacions que utilitzen la diferenciació automàtica i requereix "aturar el gradient" en aquest punt.

De la mateixa manera, si el crític està estimant la funció acció-valor $Q^{{\pi }_{\theta }}$, llavors es pot aprendre mitjançant Q-learning o SARSA. En SARSA, el crític manté una estimació de la funció Q, parametritzada per $\varphi$, denotada com $Q_{\varphi }(s,a)$. L'error de diferència temporal es calcula llavors com ${\delta }_i=R_i+\gamma Q_{\theta }(S_{i+1},A_{i+1})-Q_{\theta }(S_i,A_i)$. A continuació, la crítica és actualitzada per $$\theta \leftarrow \theta +\alpha {\delta }_i{\mathrm{\nabla }}_{\theta }{Q}_{\theta }(S_i,A_i)$$ L'avantatge crític es pot entrenar entrenant tant una funció Q $Q_{\varphi }(s,a)$ i una funció de valor d'estat $V_{\varphi }(s)$, llavors deixa $A_{\varphi }(s,a)=Q_{\varphi }(s,a)-V_{\varphi }(s)$. Tot i que, és més comú entrenar només una funció de valor d'estat $V_{\varphi }(s)$, aleshores estimeu l'avantatge per $$A_{\varphi }(S_i,A_i)\approx \sum _{j\in 0:n-1}{\gamma }^j{R}_{i+j}+{\gamma }^n{V}_{\varphi }(S_{i+n})-V_{\varphi }(S_i)$$ Aquí, $n$ és un nombre enter positiu. Com més alt $n$ és a dir, com més baix és el biaix en l'estimació de l'avantatge, però al preu d'una major variància.

LPlantilla:'estimació d'avantatge generalitzada (GAE) introdueix un hiperparàmetre $\lambda$ que interpola suaument entre els retorns de Montecarlo ($\lambda =1$, gran variància, sense biaix) i aprenentatge TD en 1 pas ( $\lambda =0$, baixa variància, alt biaix). Aquest hiperparàmetre es pot ajustar per triar la compensació òptima de biaix-variància en l'estimació d'avantatges. Utilitza una mitjana exponencial de rendiments de n passos amb $\lambda$ sent la força de la decadència.

Variants

• Asynchronous Advantage Actor-Critic (A3C) : versió paral·lela i asíncrona d'A2C.
• Soft Actor-Critic (SAC) : Incorpora maximització d'entropia per millorar l'exploració.
• Deep Deterministic Policy Gradient (DDPG) : Especialitzat per a espais d'acció contínua.