Mecanisme de gating

A les xarxes neuronals, el mecanisme de gating és un motiu arquitectònic per controlar el flux de senyals d'activació i gradient. S'utilitzen de manera més destacada en xarxes neuronals recurrents (RNN), però també han trobat aplicacions en altres arquitectures.

RNN

Els mecanismes de gating són la peça central de la memòria a llarg termini (LSTM). Es van proposar per mitigar el problema del gradient de desaparició que sovint es troben els RNN habituals.

Una unitat LSTM conté tres portes:

• Una porta d'entrada, que controla el flux de nova informació a la cel·la de memòria
• Una porta d'oblit, que controla quanta informació es conserva del pas de temps anterior
• Una porta de sortida, que controla quanta informació es passa a la capa següent.

Les equacions per a LSTM són:

$$\begin{array}{cc}{𝐈}_t& =\sigma ({𝐗}_t{𝐖}_{xi}+{𝐇}_{t-1}{𝐖}_{hi}+{𝐛}_i)\\ {𝐅}_t& =\sigma ({𝐗}_t{𝐖}_{xf}+{𝐇}_{t-1}{𝐖}_{hf}+{𝐛}_f)\\ {𝐎}_t& =\sigma ({𝐗}_t{𝐖}_{xo}+{𝐇}_{t-1}{𝐖}_{ho}+{𝐛}_o)\\ {\widetilde{𝐂}}_t& =\tanh ({𝐗}_t{𝐖}_{xc}+{𝐇}_{t-1}{𝐖}_{hc}+{𝐛}_c)\\ {𝐂}_t& ={𝐅}_t\odot {𝐂}_{t-1}+{𝐈}_t\odot {\widetilde{𝐂}}_t\\ {𝐇}_t& ={𝐎}_t\odot \tanh ({𝐂}_t)\end{array}$$

Aquí,

$\odot$

representa la multiplicació per elements.

• Arquitectura LSTM, amb portes
• 
• 
• 
• 

La unitat recurrent gated (GRU) simplifica el LSTM. En comparació amb el LSTM, el GRU només té dues portes: una porta de restabliment i una porta d'actualització. GRU també fusiona l'estat de la cel·la i l'estat ocult. La porta de restabliment correspon aproximadament a la porta d'oblit, i la porta d'actualització correspon aproximadament a la porta d'entrada. S'elimina la porta de sortida.

Hi ha diverses variants de GRU. Una variant concreta té aquestes equacions:

$$\begin{array}{cc}{𝐑}_t& =\sigma ({𝐗}_t{𝐖}_{xr}+{𝐇}_{t-1}{𝐖}_{hr}+{𝐛}_r)\\ {𝐙}_t& =\sigma ({𝐗}_t{𝐖}_{xz}+{𝐇}_{t-1}{𝐖}_{hz}+{𝐛}_z)\\ {\widetilde{𝐇}}_t& =\tanh ({𝐗}_t{𝐖}_{xh}+({𝐑}_t\odot {𝐇}_{t-1}){𝐖}_{hh}+{𝐛}_h)\\ {𝐇}_t& ={𝐙}_t\odot {𝐇}_{t-1}+(1-{𝐙}_t)\odot {\widetilde{𝐇}}_t\end{array}$$

• Arquitectura de la Unitat Recurrent Gated, amb portes
• 
• 
• 

Unitat lineal tancada

Gated Linear Units (GLU) adapten el mecanisme de gating per utilitzar-lo en xarxes neuronals d'alimentació anticipada, sovint dins d'arquitectures basades en transformadors. Es defineixen com:

$$\mathrm{G}\mathrm{L}\mathrm{U}(a,b)=a\odot \sigma (b)$$on

$a,b$ són la primera i la segona entrada, respectivament. $\sigma$ representa la funció d'activació del sigmoide.

Substituint $\sigma$ amb altres funcions d'activació condueix a variants de GLU:

$$\begin{array}{cc}\mathrm{R}\mathrm{e}\mathrm{G}\mathrm{L}\mathrm{U}(a,b)& =a\odot \text{ReLU}(b)\\ \mathrm{G}\mathrm{E}\mathrm{G}\mathrm{L}\mathrm{U}(a,b)& =a\odot \text{GELU}(b)\\ \mathrm{S}\mathrm{w}\mathrm{i}\mathrm{G}\mathrm{L}\mathrm{U}(a,b,\beta )& =a\odot {\text{Swish}}_{\beta }(b)\end{array}$$

on ReLU, GELU i Swish són funcions d'activació diferents (vegeu aquesta taula per a les definicions).

En els models de transformadors, aquestes unitats de porta s'utilitzen sovint en els mòduls d'alimentació anticipada. Per a una entrada vectorial única, això resulta en:

$$\begin{array}{cc}\mathrm{GLU}(x,W,V,b,c)& =\sigma (xW+b)\odot (xV+c)\\ \mathrm{Bilinear}(x,W,V,b,c)& =(xW+b)\odot (xV+c)\\ \mathrm{ReGLU}(x,W,V,b,c)& =\max (0,xW+b)\odot (xV+c)\\ \mathrm{GEGLU}(x,W,V,b,c)& =\mathrm{GELU}(xW+b)\odot (xV+c)\\ \mathrm{SwiGLU}(x,W,V,b,c,\beta )& ={\mathrm{Swish}}_{\beta }(xW+b)\odot (xV+c)\end{array}$$

El mecanisme de gating s'utilitza a les xarxes d'autopistes, que es van dissenyar desenrotllant un LSTM.

Channel gating utilitza una porta per controlar el flux d'informació a través de diferents canals dins d'una xarxa neuronal convolucional (CNN).