Apple Machine Learning Research·· 4 天前AI 评分31
Apple 研究评估 LLM 评判器用于个性化写作风格评估
Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment
AI 导读
Apple 研究人员测试了 LLM 评判器在评估生成文本是否符合用户偏好写作风格方面的表现，使用四个 LLM 在三个长文本写作任务中生成文本，并将评判器标注与人类成对标签进行比较。评判器质量与 LLM 在 MMLU 上的通用能力仅呈弱相关（Pearson's ρ ≤ 0.2），且因写作任务和评估标准而异，成对比较比独立评分更一致。最强的 LLM 并未最可靠地复现人类评估，可能是由于对细微细节的敏感度被夸大。
来源:Apple Machine Learning Research · machinelearning.apple.com