Hugging Face 详解 Open LLM Leaderboard 的 MMLU 评测差异与实现细节

Hugging Face 发文解释了 Open LLM Leaderboard 榜单上 LLaMA 等模型的 MMLU 得分显著低于原论文报告数据的原因。核心差异来自原始代码、Stanford HELM 与 EleutherAI Harness 三种评测实现之间在提示词格式及概率提取逻辑上的不同，导致同一模型在同一数据集上的绝对得分可产生近 30% 的差距并改变排名。