Large language models "ad referendum": How good are they at machine translation in the legal domain?
Ver/ Abrir
Impacto
Scholar |
Otros documentos de la autoría: Briva-Iglesias, Vicent; Cavalheiro Camargo, João Lucas; Doğru, Gökhan
Metadatos
Mostrar el registro completo del ítemcomunitat-uji-handle:10234/10
comunitat-uji-handle2:10234/158177
comunitat-uji-handle3:10234/11633
comunitat-uji-handle4:10234/207766
REVISTESMetadatos
Título
Large language models "ad referendum": How good are they at machine translation in the legal domain?Fecha de publicación
2024Editor
Universitat d'Alacant; Universitat d'Alacant; Universitat de ValènciaISSN
1889-4178; 1989-9335Cita bibliográfica
Briva-Iglesias, Vicent; João Lucas Cavalheiro Camargo & Gökhan Doğru. (2024) “Large Language Models “ad referendum”: how good are they at machine translation in the legal domain?” In: martínez, Robert; Anabel BorJa & Łucja Biel (eds.) 2024. Repensar la (des)globalización y su impacto en la traducción: desafíos y oportunidades en la práctica de la traducción jurídica / Rethinking (de)globalisation and its impact on translation: challenges and opportunities for legal translators. MonTI 16, pp. 75-107Tipo de documento
info:eu-repo/semantics/articleVersión de la editorial
https://www.e-revistes.uji.es/index.php/monti/article/view/7514Versión
info:eu-repo/semantics/publishedVersionPalabras clave / Materias
Resumen
This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a traditional neural machine translation (NMT) system across four language pairs in the legal ... [+]
This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a traditional neural machine translation (NMT) system across four language pairs in the legal domain. It combines automatic evaluation metrics (AEMs) and human evaluation (HE) by professional translators to assess translation ranking, fluency and adequacy. The results indicate that while Google Translate generally outperforms LLMs in AEMs, human evaluators rate LLMs, especially GPT-4, comparably or slightly better in terms of producing contextually adequate and fluent translations. This discrepancy suggests LLMs' potential in handling specialized legal terminology and context, highlighting the importance of human evaluation methods in assessing MT quality. The study underscores the evolving capabilities of LLMs in specialized domains and calls for reevaluation of traditional AEMs to better capture the nuances of LLM-generated translations. [-]
Este estudio evalúa la calidad de la traducción automática (TA) de dos grandes modelos de lengua de última generación frente a un sistema tradicional de traducción automática neural (TAN) en cuatro pares de idiomas ... [+]
Este estudio evalúa la calidad de la traducción automática (TA) de dos grandes modelos de lengua de última generación frente a un sistema tradicional de traducción automática neural (TAN) en cuatro pares de idiomas en el ámbito jurídico. Combinamos métricas de evaluación automática con una evaluación humana de traductores profesionales mediante el análisis de la clasificación, la fluidez y la adecuación de las traducciones. Los resultados indican que, mientras que Google Translate suele superar a los grandes modelos de lengua en las métricas automáticas, los evaluadores humanos valoran a los grandes modelos de lengua, especialmente a GPT-4, de forma comparable o ligeramente mejor en cuanto a fluidez y adecuación. Esta discrepancia sugiere el potencial de los grandes modelos de lengua para trabajar terminología jurídica especializada y contextualizada, lo que pone de relieve la importancia de los métodos de evaluación humana a la hora de evaluar la calidad de la TA. El estudio subraya la evolución de las capacidades de los grandes modelos de lengua en dominios especializados y aboga por una reevaluación de las métricas automáticas tradicionales para captar mejor los matices de las traducciones generadas por grandes modelos de lengua. [-]
Publicado en
MonTi. Monografías de Traducción e Interpretación, 2024, no 16Derechos de acceso
info:eu-repo/semantics/openAccess
Aparece en las colecciones
- MonTi_ 2024 _núm 16 [15]