Word Error Rate

Word Error Rate (WER) és una mesura utilitzada habitualment en l'avaluació de sistemes de reconeixement de la parla o de traducció automàtica.

Calcula el nombre mínim d'insercions, esborrats i substitucions d'una paraula per una altra, necessaris per transformar una frase en una altra. Aquesta mesura es basa en la distància d'edició o de Levensthein, amb l'excepció que aquesta última es calcula a nivell de lletra i WER ho fa a nivell de paraula.

En tasques tant de traducció automàtica com de reconeixement de la parla, es calcula WER entre la frase generada pel sistema i una frase de referència correcta.

$WER=\frac{S+B+I}{N}$

on

• S és el nombre de substitucions,
• B és el nombre d'esborrats,
• I és el nombre d'insercions,
• N és el nombre de paraules que té la frase de referència.

Per trobar el valor mínim de WER entre dos frases s'utilitza un algorisme de programació dinàmica.

Si considerem que $t_1,t_2...,t_n$ són les primeres $i$ paraules de la frase generada i $r_1,r_2...r_n$ les $r$ primeres de la frase de referència:

$WER(i,j)=\min \{\begin{array}{c}WER(i-1,j)+1\\ WER(i,j-1)+1\\ WER(i-1,j-1)+\mathrm{\Delta }(i,j)\end{array}$

on $\mathrm{\Delta }(i,j)$ és 1 si les paraules $t_i$ i $r_j$ són diferents i 0 si són iguals.

Vegeu també

• BLEU