Large language models "ad referendum": How good are they at machine translation in the legal domain?
Visualitza/
Impacte
Scholar |
Altres documents de l'autoria: Briva-Iglesias, Vicent; Cavalheiro Camargo, João Lucas; Doğru, Gökhan
Metadades
Mostra el registre complet de l'elementcomunitat-uji-handle:10234/10
comunitat-uji-handle2:10234/158177
comunitat-uji-handle3:10234/11633
comunitat-uji-handle4:10234/207766
REVISTESMetadades
Títol
Large language models "ad referendum": How good are they at machine translation in the legal domain?Data de publicació
2024Editor
Universitat d'Alacant; Universitat d'Alacant; Universitat de ValènciaISSN
1889-4178; 1989-9335Cita bibliogràfica
Briva-Iglesias, Vicent; João Lucas Cavalheiro Camargo & Gökhan Doğru. (2024) “Large Language Models “ad referendum”: how good are they at machine translation in the legal domain?” In: martínez, Robert; Anabel BorJa & Łucja Biel (eds.) 2024. Repensar la (des)globalización y su impacto en la traducción: desafíos y oportunidades en la práctica de la traducción jurídica / Rethinking (de)globalisation and its impact on translation: challenges and opportunities for legal translators. MonTI 16, pp. 75-107Tipus de document
info:eu-repo/semantics/articleVersió de l'editorial
https://www.e-revistes.uji.es/index.php/monti/article/view/7514Versió
info:eu-repo/semantics/publishedVersionParaules clau / Matèries
Resum
This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a traditional neural machine translation (NMT) system across four language pairs in the legal ... [+]
This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a traditional neural machine translation (NMT) system across four language pairs in the legal domain. It combines automatic evaluation metrics (AEMs) and human evaluation (HE) by professional translators to assess translation ranking, fluency and adequacy. The results indicate that while Google Translate generally outperforms LLMs in AEMs, human evaluators rate LLMs, especially GPT-4, comparably or slightly better in terms of producing contextually adequate and fluent translations. This discrepancy suggests LLMs' potential in handling specialized legal terminology and context, highlighting the importance of human evaluation methods in assessing MT quality. The study underscores the evolving capabilities of LLMs in specialized domains and calls for reevaluation of traditional AEMs to better capture the nuances of LLM-generated translations. [-]
Este estudio evalúa la calidad de la traducción automática (TA) de dos grandes modelos de lengua de última generación frente a un sistema tradicional de traducción automática neural (TAN) en cuatro pares de idiomas ... [+]
Este estudio evalúa la calidad de la traducción automática (TA) de dos grandes modelos de lengua de última generación frente a un sistema tradicional de traducción automática neural (TAN) en cuatro pares de idiomas en el ámbito jurídico. Combinamos métricas de evaluación automática con una evaluación humana de traductores profesionales mediante el análisis de la clasificación, la fluidez y la adecuación de las traducciones. Los resultados indican que, mientras que Google Translate suele superar a los grandes modelos de lengua en las métricas automáticas, los evaluadores humanos valoran a los grandes modelos de lengua, especialmente a GPT-4, de forma comparable o ligeramente mejor en cuanto a fluidez y adecuación. Esta discrepancia sugiere el potencial de los grandes modelos de lengua para trabajar terminología jurídica especializada y contextualizada, lo que pone de relieve la importancia de los métodos de evaluación humana a la hora de evaluar la calidad de la TA. El estudio subraya la evolución de las capacidades de los grandes modelos de lengua en dominios especializados y aboga por una reevaluación de las métricas automáticas tradicionales para captar mejor los matices de las traducciones generadas por grandes modelos de lengua. [-]
Publicat a
MonTi. Monografías de Traducción e Interpretación, 2024, no 16Drets d'accés
info:eu-repo/semantics/openAccess
Apareix a les col.leccions
- MonTi_ 2024 _núm 16 [15]