Taksado de la Apertium-tradukilo kompare kun Guglo

[Hèctor Alòs i Font]

Por la hodiaŭa prezento de la projekto de plibonigo de la tradukilo el la angla al esperanto por la Guglo-stipendioj, mi faris taksadon de ĝia boneco kaj komparis kun Guglo.

Mi prenis du tekstojn: la lastajn novaĵojn, kiujn donas Vikipedio, kaj la komencon de la vikipedia artikolo pri Malajzio. La detalojn vi povas vidi http://wiki.apertium.org/wiki/English_and_Esperanto/Evaluation#Current_events_.28English_Wikipedia.29 kaj http://wiki.apertium.org/w/index.php?title=English_and_Esperanto/Evaluation#Malaysia_.28English_Wikipedia.29

Rezultoj por la unua teksto

Number of words in reference: 335

Apertium
Percentage of unknown words: 7,10 %
Word error rate (WER): 40,00 %
Position-independent word error rate (PER): 35,22 %

Guglo
Word error rate (WER): 54,60 %
Position-independent word error rate (PER): 47,18 %


Rezultoj por la dua teksto

Number of words in reference: 425

Apertium
Percentage of unknown words: 9,20 %
Word error rate (WER): 32,47 %
Position-independent word error rate (PER): 27,29 %

Guglo
Word error rate (WER): 41,72 %
Position-independent word error rate (PER): 37,53 %

Laŭ tiuj ĉi rezultoj, nuntempe la Apertium-tradukilo estas pli bona ol Guglo. Kompreneble por certigi tian aserton necesus pli da tekstoj kaj pli diversaj, tamen ĝi certe ne forte postrestas (eble eĉ male). Alia afero estas, ke ambaŭ havas ne mirindajn rezultojn por relative proksimaj lingvoj. Mi rimarkis problemojn en iom kompleksaj frazoj. Rimarkindaj problemoj pri pluraligo (ja la angla estas pli plural-ŝpara) kaj akuzativigo. Verbaj formoj meritas atenton (ekz. -ita aŭ -inta, -anta aŭ -ante). Leksika elekto estus tre interesa por solvi miselekto inter pluraj eblaj tradukoj.

Kore,

Hektor