當前位置:
首頁 > 地球 > AI辨識氣候假訊息 專家訓練模型效果更精準

AI辨識氣候假訊息 專家訓練模型效果更精準

最新研究顯示,想要用人工智慧對抗氣候變遷假訊息,必須由專業人士參與訓練AI模型。研究發現,Meta的Llama和Google的Gemini等通用型大型語言模型,在辨識氣候假訊息方面的表現,遠不如經過專家調校的專用模型。

隨著AI聊天機器人讓氣候假訊息聽起來更具說服力,區分真假科學變得更加困難。為此,氣候專家正運用相同技術來偵測網路上的不實資訊。今年3月在費城舉行的AAAI人工智慧會議上,科學家發表研究指出,在分類錯誤或誤導性氣候主張時,通用型大型語言模型(LLM)的表現明顯落後於經過專家氣候資料特別訓練的模型。

美國西北大學傳播學專家Erik Nisbet指出,與其他型別的不實資訊相比,氣候變遷假訊息往往「披著虛假或誤導性科學資訊的外衣」,這使得人類和機器都更難辨識氣候科學的複雜性。

研究團隊使用名為CARDS的資料集進行評估,該資料集包含來自53個氣候懷疑論網站的28,900段英文內容。研究人員透過微調OpenAI的GPT-3.5-turbo3模型,建立了一個氣候專用LLM,並與16個通用型LLM及小型開源模型RoBERTa進行比較。

結果顯示,經過微調的GPT模型獲得0.84分(滿分1.00),表現最佳。通用型GPT-4o和GPT-4分別獲得0.75和0.74分,與RoBERTa的0.77分相當。而Meta和Mistral等開源模型表現最差,最高僅獲得0.28分。

維也納複雜性科學中心的假訊息專家Hannah Metzler表示,這結果顯示若沒有龐大資源,又不想使用專有模型,確實會遇到困難。她強調:「政府有必要開發開源模型,並提供資源讓我們使用。」

研究也發現,即使是表現最佳的GPT模型,在分類氣候變遷對動植物影響的主張時仍遇到困難,這可能是訓練資料中相關範例不足所致。此外,通用模型可能難以跟上假訊息不斷變化的特性,Metzler指出:「氣候假訊息會不斷變化和適應,追蹤這些變化永遠是個挑戰。」