當前位置:
首頁 > 科技 > 研究發現:第三方標註者常誤判他人文字中的情緒

研究發現:第三方標註者常誤判他人文字中的情緒

近年來,機器學習演演算法與大型語言模型(如ChatGPT背後的技術)已展現出處理多種任務的強大能力。這些模型的訓練仰賴人類標註的各類資料(包括文字、圖片、影片和音訊),其中情緒標註更是關鍵環節。然而,賓州州立大學的最新研究卻揭露一個重要問題:無論是人類或AI標註者,都難以準確辨識他人文字中的真實情緒。

該研究由博士生李佳怡主導,團隊透過群眾外包平臺Connect招募社群媒體使用者進行實驗。參與者首先提供自己的貼文並標註當下情緒,再由不同背景的人類標註者與多個大型語言模型進行獨立判斷。透過F1分數等指標比對後發現,第三方標註結果與作者自述情緒存在明顯落差。

論文資深作者Sarah Rajtmajer指出:「這項發現顛覆了情緒識別研究的基礎假設。我們特別注意到,當標註者與貼文作者具有相似人口特徵(如年齡或種族)時,判斷準確度會顯著提升。而若向語言模型提供作者背景資訊,也能帶來統計上顯著的改善。」

這項研究對自然語言處理領域具有重要啟示:現行透過第三方標註訓練的AI模型,可能在理解使用者真實情緒時存在系統性偏差。研究團隊建議,在心理健康支援或同理心對話系統等應用場景中,開發者必須明確區分「作者真實情緒」與「觀察者推測情緒」的差異。

Rajtmajer強調:「未來我們需要更細膩、以使用者為中心的情緒模型,而非僅依賴生物學反應或僵化的第三方分類框架。」這項研究成果已發表於arXiv預印本平臺,並將於2025年ACL維也納會議正式發表。

[end]