Llei d'escala neuronal

Rendiment dels models d'IA en diferents punts de referència del 1998 al 2024.

En l'aprenentatge automàtic, una llei d'escala neuronal és una llei d'escala empírica que descriu com canvia el rendiment de la xarxa neuronal a mesura que els factors clau augmenten o redueixen. Aquests factors solen incloure el nombre de paràmetres, la mida del conjunt de dades d'entrenament, i el cost de la formació.

Introducció

En general, un model d'aprenentatge profund es pot caracteritzar per quatre paràmetres: la mida del model, la mida del conjunt de dades d'entrenament, el cost de l'entrenament i la taxa d'error posterior a l'entrenament (per exemple, la taxa d'error del conjunt de proves). Cadascuna d'aquestes variables es pot definir com un nombre real, normalment escrit com $N,D,C,L$ (respectivament: recompte de paràmetres, mida del conjunt de dades, cost informàtic i pèrdua).

Una llei d'escala neural és una llei estadística teòrica o empírica entre aquests paràmetres. També hi ha altres paràmetres amb altres lleis d'escala.

Mida del model

En la majoria dels casos, la mida del model és simplement el nombre de paràmetres. Tanmateix, sorgeix una complicació amb l'ús de models escassos, com ara models de barreja d'experts. Amb models escassos, durant la inferència, només s'utilitza una part dels seus paràmetres. En comparació, la majoria dels altres tipus de xarxes neuronals, com ara els models de transformadors, sempre utilitzen tots els seus paràmetres durant la inferència.

Mida del conjunt de dades d'entrenament

La mida del conjunt de dades d'entrenament normalment es quantifica pel nombre de punts de dades que hi ha. Normalment es prefereixen conjunts de dades d'entrenament més grans, ja que proporcionen una font d'informació més rica i diversa de la qual el model pot aprendre. Això pot conduir a un rendiment de generalització millorat quan el model s'aplica a dades noves i no vistes. Tanmateix, augmentar la mida del conjunt de dades d'entrenament també augmenta els recursos computacionals i el temps necessari per a l'entrenament del model.

Amb el mètode "preentrenament, després ajustar" que s'utilitza per a la majoria de models de llenguatge extens, hi ha dos tipus de conjunt de dades d'entrenament: el conjunt de dades de preentrenament i el conjunt de dades d'ajustament. Les seves mides tenen diferents efectes sobre el rendiment del model. En general, el conjunt de dades d'ajustament és inferior a l'1% de la mida del conjunt de dades de preentrenament.

En alguns casos, una petita quantitat de dades d'alta qualitat n'hi ha prou per ajustar-les, i més dades no milloren necessàriament el rendiment.

Cost de l'entrenament

Cost de maquinari i energia amortitzat per entrenar models d'IA de frontera al llarg del temps.

El cost de la formació normalment es mesura en termes de temps (quant de temps triga a entrenar el model) i recursos computacionals (quanta potència de processament i memòria es requereix). És important tenir en compte que el cost de la formació es pot reduir significativament amb algorismes d'entrenament eficients, biblioteques de programari optimitzades i computació paral·lela en maquinari especialitzat com ara GPU o TPU.

El cost d'entrenar un model de xarxa neuronal és una funció de diversos factors, com ara la mida del model, la mida del conjunt de dades d'entrenament, la complexitat de l'algorisme d'entrenament i els recursos computacionals disponibles. En particular, duplicar la mida del conjunt de dades d'entrenament no necessàriament duplica el cost de l'entrenament, perquè es pot entrenar el model diverses vegades sobre el mateix conjunt de dades (cadascun és una "època").

Rendiment

Rendiment MMLU vs escala AI

El rendiment d'un model de xarxa neuronal s'avalua en funció de la seva capacitat de predir amb precisió la sortida donada algunes dades d'entrada. Les mètriques habituals per avaluar el rendiment del model inclouen:

BIG-Bench (difícil) rendiment vs escala AI.

• Exactitud, precisió, recordació i puntuació F1 per a les tasques de classificació
• Error quadrat mitjà (MSE) o error mitjà absolut (MAE) per a tasques de regressió
• Log-verabilitat negativa per testimoni (logaritme de perplexitat) per a la modelització del llenguatge
• La qualificació d'Elo en una competició contra altres models, com ara el joc o la preferència d'un jutge humà.

El rendiment es pot millorar mitjançant l'ús de més dades, models més grans, diferents algorismes d'entrenament, regularitzar el model per evitar un sobreajustament i aturar-se abans d'utilitzar un conjunt de validació.

Exemples

(Hestness, Narang, et al, 2017)

El document de 2017 és un punt de referència comú per a les lleis d'escala neuronal ajustades per l'anàlisi estadística de dades experimentals. Els treballs anteriors abans de la dècada del 2000, tal com es cita a l'article, eren teòrics o d'ordres de magnitud més reduïts. Mentre que els treballs anteriors generalment van trobar l'exponent d'escala a escala com $L\propto D^{-\alpha }$, amb $\alpha \in \{0.5,1,2\}$, el document ho va trobar $\alpha \in [0.07,0.35]$.

Dels factors que van variar, només la tasca pot canviar l'exponent $\alpha$. Canviar els optimitzadors d'arquitectura, regularitzadors i funcions de pèrdua, només canviaria el factor de proporcionalitat, no l'exponent. Per exemple, per a la mateixa tasca, podria tenir una arquitectura $L=1000D^{-0.3}$ mentre que un altre podria tenir $L=500D^{-0.3}$. També van trobar que per a una arquitectura determinada, el nombre de paràmetres necessaris per assolir els nivells més baixos de pèrdua, donada una mida fixa del conjunt de dades, creix com $N\propto D^{\beta }$ per un altre exponent $\beta$.

Van estudiar traducció automàtica amb LSTM ( $\alpha \sim 0.13$ ), modelització del llenguatge generatiu amb LSTM ( $\alpha \in [0.06,0.09],\beta \approx 0.7$ ), classificació ImageNet amb ResNet ( $\alpha \in [0.3,0.5],\beta \approx 0.6$ ), i reconeixement de veu amb dues arquitectures híbrides (LSTM complementades amb CNN o amb un descodificador d'atenció) ( $\alpha \approx 0.3$ ).

(Henighan, Kaplan, et al, 2020)

Una anàlisi de 2020 va estudiar les relacions estadístiques entre $C,N,D,L$ sobre una àmplia gamma de valors i es van trobar lleis d'escala similars, en el rang de $N\in [10^3,10^9]$, $C\in [10^{12},10^{21}]$, i en múltiples modalitats (text, vídeo, imatge, text a imatge, etc.).

En particular, les lleis d'escala que va trobar són (Taula 1 de):

Per a cada modalitat, n'han fixat una de les dues $C,N$ , i variant l'altre (D varia usant D=C/6N), la èrdua satisfà: L

$$L=L_0+{\left(\frac{x_0}{x}\right)}^{\alpha }$$

Escalat de xinxilla (Hoffmann, et al, 2022)

Relació òptima de fitxes d'entrenament als paràmetres del model per a la llei d'escala de Chinchilla. Mostra que, en general, l'escalat "òptim de la xinxilla" és $D=20N$, i és significativament diferent de (Hoffmann et al, 2022). Anàlisi de dades per Epoch AI.

Una llei d'escala particular ("Chinchilla scaling") estableix que, per a un model de llenguatge gran (LLM) entrenat de manera autoregressiva per a una època, amb un programa de taxa d'aprenentatge cosinus, tenim: $$\{\begin{array}{c}C=C_{0}ND\\ L=\frac{A}{N^{\alpha }}+\frac{B}{D^{\beta }}+L_0\end{array}$$ on es troben les variables