Large language models "ad referendum": How good are they at machine translation in the legal domain?
View/ Open
Impact
Scholar |
Other documents of the author: Briva-Iglesias, Vicent; Cavalheiro Camargo, João Lucas; Doğru, Gökhan
Metadata
Show full item recordcomunitat-uji-handle:10234/10
comunitat-uji-handle2:10234/158177
comunitat-uji-handle3:10234/11633
comunitat-uji-handle4:10234/207766
REVISTESMetadata
Title
Large language models "ad referendum": How good are they at machine translation in the legal domain?Date
2024Publisher
Universitat d'Alacant; Universitat d'Alacant; Universitat de ValènciaISSN
1889-4178; 1989-9335Bibliographic citation
Briva-Iglesias, Vicent; João Lucas Cavalheiro Camargo & Gökhan Doğru. (2024) “Large Language Models “ad referendum”: how good are they at machine translation in the legal domain?” In: martínez, Robert; Anabel BorJa & Łucja Biel (eds.) 2024. Repensar la (des)globalización y su impacto en la traducción: desafíos y oportunidades en la práctica de la traducción jurídica / Rethinking (de)globalisation and its impact on translation: challenges and opportunities for legal translators. MonTI 16, pp. 75-107Type
info:eu-repo/semantics/articlePublisher version
https://www.e-revistes.uji.es/index.php/monti/article/view/7514Version
info:eu-repo/semantics/publishedVersionSubject
Abstract
This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a traditional neural machine translation (NMT) system across four language pairs in the legal ... [+]
This study evaluates the machine translation (MT) quality of two state-of-the-art large language models (LLMs) against a traditional neural machine translation (NMT) system across four language pairs in the legal domain. It combines automatic evaluation metrics (AEMs) and human evaluation (HE) by professional translators to assess translation ranking, fluency and adequacy. The results indicate that while Google Translate generally outperforms LLMs in AEMs, human evaluators rate LLMs, especially GPT-4, comparably or slightly better in terms of producing contextually adequate and fluent translations. This discrepancy suggests LLMs' potential in handling specialized legal terminology and context, highlighting the importance of human evaluation methods in assessing MT quality. The study underscores the evolving capabilities of LLMs in specialized domains and calls for reevaluation of traditional AEMs to better capture the nuances of LLM-generated translations. [-]
Este estudio evalúa la calidad de la traducción automática (TA) de dos grandes modelos de lengua de última generación frente a un sistema tradicional de traducción automática neural (TAN) en cuatro pares de idiomas ... [+]
Este estudio evalúa la calidad de la traducción automática (TA) de dos grandes modelos de lengua de última generación frente a un sistema tradicional de traducción automática neural (TAN) en cuatro pares de idiomas en el ámbito jurídico. Combinamos métricas de evaluación automática con una evaluación humana de traductores profesionales mediante el análisis de la clasificación, la fluidez y la adecuación de las traducciones. Los resultados indican que, mientras que Google Translate suele superar a los grandes modelos de lengua en las métricas automáticas, los evaluadores humanos valoran a los grandes modelos de lengua, especialmente a GPT-4, de forma comparable o ligeramente mejor en cuanto a fluidez y adecuación. Esta discrepancia sugiere el potencial de los grandes modelos de lengua para trabajar terminología jurídica especializada y contextualizada, lo que pone de relieve la importancia de los métodos de evaluación humana a la hora de evaluar la calidad de la TA. El estudio subraya la evolución de las capacidades de los grandes modelos de lengua en dominios especializados y aboga por una reevaluación de las métricas automáticas tradicionales para captar mejor los matices de las traducciones generadas por grandes modelos de lengua. [-]
Is part of
MonTi. Monografías de Traducción e Interpretación, 2024, no 16Rights
info:eu-repo/semantics/openAccess
This item appears in the folowing collection(s)
- MonTi_ 2024 _núm 16 [15]