Apple Machine Learning Research·· 4 天前AI 評分31
Apple 研究評估 LLM 評審於個人化寫作風格評估的表現
Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment
AI 導讀
Apple 研究人員測試 LLM 評審在評估生成文本是否符合使用者偏好寫作風格方面的表現，使用四種 LLM 針對三項長篇寫作任務生成文本，並將評審標註與人類成對標籤進行比較。評審品質與 LLM 在 MMLU 上的通用能力僅呈弱相關（Pearson's ρ ≤ 0.2），且隨寫作任務與評估標準而異，成對比較比獨立評分更具一致性。最強的 LLM 並未最可靠地重現人類評估，可能是因為對細微細節的敏感度被誇大。
來源:Apple Machine Learning Research · machinelearning.apple.com