Human evaluation of MT

Abstract

[ENG]In this diploma work we developed a tool which can be used to evaluate the quality of machine translation systems, comparing the translations of MT with translations of native speaker. This application allows us to collect human judgment on translation output. For that to be possible we have implemented some tools such as 1) score the translation, 2) error classification, 3) fluency & adequacy of the translation, 4) mistranslated sentences. We have to say that the application has been developed to improve the machine translation system, although there are methods for automatic evaluation that reduce costs and runtime of evaluation process. Human evaluation is still necessary in MT research to improve these systems, since the results of automatic evaluation are not exact. [SPA]En este diploma hemos desarrollado una herramienta en la cual nosotros podremos evaluar la calidad de sistemas de traducción automática, comparando la traducción de un sistema de traducción con la traducción de un hablante nativo. Esta aplicación nos permite recoger juicios humanos sobre el resultado de la traducción automática. Para que esto sea posible hemos desarrollado algunas herramientas tales como: 1) score the translation, 2) error classification, 3) fluency & adequacy of the translation, 4) mistranslated sentences. Tenemos que decir que la aplicación ha sido desarrollada para mejorar es sistema de traducción automático, aunque existen métodos automáticos para reducir el costes y tiempos de ejecución en el proceso de evaluación. La Evaluación humana sigue siendo necesaria en la investigación de traducción automática (TA) ya que los resultados que se obtienen en una evaluación automática no son del todo exactos.