AI新突破！科學報導真偽辨識系統上線

人工智慧在資訊判讀上總能讓人完全信賴嗎？像Llama和ChatGPT這類大型語言模型(LLM)，時常會出現「幻覺」現象，憑空捏造不實內容。不過，現在有研究團隊反其道而行，開發出能揪出錯誤科學報導的AI系統，幫助民眾在充斥假訊息的網路海洋中，更準確地掌握事實真相。

這項由史蒂文斯理工學院團隊研發的創新系統，在美國人工智慧促進協會(AAAI)年度會議上發表。研究團隊運用開源LLM模型和商業版免費LLM，專門偵測科學新聞報導中可能存在的誤導性內容。

「錯誤資訊問題相當嚴重，特別是在科學領域。」研究共同作者、電機與電腦工程學系教授K.P.蘇巴拉克希米舉例：「我們常聽到醫生抱怨，病患在網路上看到不正確的醫療資訊。」研究團隊的目標，就是要透過AI自動化標記誤導性內容，幫助大眾理解事實真相。

為達成這個目標，蘇巴拉克希米教授帶領2位博士生和2位碩士生，首先建立包含2,400篇科學突破報導的資料集。這些資料包含來自權威科學期刊的優質報導、專門散布假新聞的低品質來源，以及AI生成的真假參半報導。每篇報導都搭配相關研究的原始摘要，讓團隊能比對報導的科學準確性。

「建立這個資料集本身就是重要貢獻。」蘇巴拉克希米博士強調：「現有資料集通常缺乏能測試『真實情境』下錯誤偵測系統的資訊。由於這類研究難度很高，我們希望這能成為其他研究者的有用資源。」

團隊接著開發三種LLM架構來判斷報導準確性。其中一種採用三步驟流程：首先讓AI摘要新聞重點，接著逐句比對報導內容與原始研究的差異，最後判定報導是否如實反映研究發現。團隊還定義「有效性維度」概念，要求LLM特別注意過度簡化、混淆因果關係等常見錯誤類型。

「我們發現加入有效性維度的考量，能顯著提升判斷準確度。」蘇巴拉克希米博士補充，這些維度還能針對特定領域進行擴充，以更精準捕捉專業錯誤。

測試結果顯示，新系統能達到約75%的準確率，但在辨識人類撰寫的錯誤報導上表現明顯優於AI生成內容。蘇巴拉克希米博士指出，這可能與一般人同樣難以發現AI文本中的技術性錯誤有關。

「我們的架構還有改進空間。」蘇巴拉克希米博士表示：「下一步可能會針對特定研究主題開發專用AI模型，讓它們能像科學家一樣思考。」

這項研究未來可望發展成瀏覽器外掛，自動標記網路上的不實內容；或是建立科學報導準確度的媒體評比系統。更重要的是，這項技術能幫助開發出描述科學資訊更精確、更不容易胡編亂造的LLM模型。

「人工智慧發展已勢不可擋。」蘇巴拉克希米博士總結：「但透過研究AI如何『理解』科學，我們不僅能打造更可靠的工具，或許還能幫助人類更容易識破偽科學主張。」

[end]