Hugging Face 评测基础模型标注能力：GPT-4 评估存在显著偏见

Hugging Face 联合 Scale AI 开展实验，测试基础模型能否像人类一样评估大模型输出偏好，发现 GPT-4 存在明显的位置偏见与偏爱长回复的长度偏见，甚至将人类示范样本排在多个开源模型之后。实验显示 GPT-4 与人类标注在头脑风暴等创意任务上相关性达 0.60，但在代码生成与事实问答等任务上相关性显著降低。