RETUYT-INCO at BEA 2026 Shared Task 2: Meta-prompting in Rubric-based Scoring for German

RETUYT-INCO 在 BEA 2026 共享任务 2 中的表现：基于德语评分标准的元提示（Meta-prompting）研究

Abstract: In this paper, we present the RETUYT-INCO participation at the BEA 2026 shared task “Rubric-based Short Answer Scoring for German”. Our team participated in track 1 (Unseen answers three-way), track 3 (Unseen answers two-way) and track 4 (Unseen questions two-way). Since these tracks required scoring short student answers using specific rubrics, we looked for ways to handle the changing nature of the task.

摘要： 在本文中，我们介绍了 RETUYT-INCO 团队参与 BEA 2026 共享任务“基于评分标准的德语简答题评分”的情况。我们的团队参加了赛道 1（未见答案三分类）、赛道 3（未见答案二分类）和赛道 4（未见问题二分类）。由于这些赛道要求使用特定的评分标准对学生的简答题进行评分，我们探索了应对任务多变性的方法。

We created a method called Meta-prompting. In this approach, an LLM creates a custom prompt based on examples from the Train set. This prompt is then used to grade new student answers. Along with this method, we also describe other approaches we used, such as classic machine learning, fine-tuning open-source LLMs, and different prompting techniques.

我们创建了一种称为“元提示”（Meta-prompting）的方法。在这种方法中，大语言模型（LLM）会根据训练集中的示例生成自定义提示词，随后利用该提示词对新的学生答案进行评分。除了这种方法外，我们还介绍了我们使用的其他方案，例如经典机器学习、开源大模型的微调以及不同的提示工程技术。

According to the official results, our team placed 6th out of 8 participants in Track 1 with a QWK of 0.729. In Track 3, we secured 4th place out of 9 with a QWK of 0.674, and we also placed 4th out of 8 in Track 4 with a QWK of 0.49.

根据官方结果，我们的团队在赛道 1 中以 0.729 的 QWK（二次加权 Kappa 系数）在 8 名参赛者中排名第 6。在赛道 3 中，我们以 0.674 的 QWK 在 9 名参赛者中获得第 4 名；在赛道 4 中，我们以 0.49 的 QWK 在 8 名参赛者中同样获得第 4 名。

Paper Details:

Authors: Ignacio Sastre, Ignacio Remersaro, Facundo Díaz, Nicolás De Horta, Luis Chiruzzo, Aiala Rosá, Santiago Góngora
arXiv ID: 2605.11242
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)

论文详情：

作者： Ignacio Sastre, Ignacio Remersaro, Facundo Díaz, Nicolás De Horta, Luis Chiruzzo, Aiala Rosá, Santiago Góngora
arXiv ID: 2605.11242
学科分类： 计算与语言 (cs.CL)；人工智能 (cs.AI)