Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network
Building a European Multilingual Evaluation Dataset: The MMLU Localisation Project within the EMT Network
构建欧洲多语言评估数据集：EMT 网络内的 MMLU 本地化项目
Abstract: This paper reports on a collaboration between the Directorate-General for Translation (DGT) and the European Master’s in Translation (EMT) to localise the MMLU dataset into 11 European languages. 摘要： 本文报告了欧盟翻译总司（DGT）与欧洲翻译硕士网络（EMT）之间的一项合作，旨在将 MMLU 数据集本地化为 11 种欧洲语言。
Beyond creating a more inclusive benchmark for LLM evaluation, the project offers master’s students authentic, project-based professional training in translation, revision, project management, and multilingual coordination, while highlighting key methodological, administrative, and workflow challenges. 除了为大语言模型（LLM）评估创建一个更具包容性的基准外，该项目还为硕士生提供了真实的、基于项目的专业培训，涵盖翻译、校对、项目管理和多语言协调等方面，同时突显了在方法论、行政管理和工作流程方面面临的关键挑战。
Paper Metadata / 论文元数据
-
Authors: Pilar Sánchez-Gijón, Susana Valdez, Sofía Calvo Del Barrio, Florence Bellemont, Anna Kokkinidou, Mihai Cristian Brasoveanu
-
作者： Pilar Sánchez-Gijón, Susana Valdez, Sofía Calvo Del Barrio, Florence Bellemont, Anna Kokkinidou, Mihai Cristian Brasoveanu
-
Submission Date: 20 Jul 2026
-
提交日期： 2026 年 7 月 20 日
-
Journal Reference: Proceedings of the 3rd International Conference on New Trends in Translation and Interpreting Technology, June 24 - 27, 2026, Dubrovnik, Croatia
-
期刊参考： 第三届翻译与口译技术新趋势国际会议论文集，2026 年 6 月 24 日至 27 日，克罗地亚杜布罗夫尼克
-
DOI: 10.48550/arXiv.2607.18432
-
DOI: 10.48550/arXiv.2607.18432