研究證實：視覺語言模型無法正確理解否定句，可能導致嚴重後果

想像一位放射科醫師正在檢視新患者的胸部X光片。她發現患者組織有腫脹現象，但心臟並未擴大。為了加速診斷流程，她可能會使用視覺語言機器學習模型來搜尋類似病例的報告。然而，若模型錯誤地找出同時符合兩種條件的報告，最終診斷結果可能天差地遠：當患者同時出現組織腫脹和心臟擴大時，病因極可能與心臟相關；但若沒有心臟擴大，則可能有數種不同的潛在病因。

MIT研究團隊在arXiv預印本伺服器發表的最新研究指出，視覺語言模型在現實情境中極可能犯下這類錯誤，因為它們無法理解「否定詞」——如「沒有」、「不」等表示否定或缺失的詞彙。該研究主要作者、MIT研究生Kumail Alhamoud警告：「這些否定詞可能產生重大影響，如果我們盲目使用這些模型，可能會導致災難性後果。」

研究人員測試視覺語言模型辨識圖說中否定詞的能力，發現其表現與隨機猜測相差無幾。基於這些發現，團隊建立了一個包含否定詞描述缺失物件的影象-圖說配對資料集。結果顯示，用此資料集重新訓練的模型，在檢索不包含特定物件的影象時表現有所提升，同時在處理含否定詞的選擇題時準確率也提高。

但研究人員強調，仍需更多工作來解決問題根源。他們希望這項研究能提醒潛在使用者注意這個先前被忽視的缺陷，特別是在高風險應用場景中，例如決定患者治療方案或辨識製造廠的產品缺陷。研究資深作者、MIT電子工程與電腦科學系副教授Marzyeh Ghassemi表示：「這是篇技術論文，但背後有更重大的議題。如果連否定這種基本概念都無法正確處理，我們就不該在未經嚴格評估的情況下，廣泛使用大型視覺/語言模型。」

視覺語言模型透過海量影象與對應圖說進行訓練，學習將它們編碼為稱為向量表示的數字集合。這類模型使用兩個獨立的編碼器（分別處理文字和影象），學習輸出影象與其圖說相似的向量。Ghassemi指出問題核心：「圖說只表達影象中存在的內容——它們都是正面標籤。這就是問題所在，沒有人會看著一隻狗跳過柵欄的圖片，卻寫下『一隻狗跳過柵欄，沒有直升機』這樣的圖說。」

由於訓練資料缺乏否定範例，視覺語言模型從未學會辨識否定。為深入探究此問題，研究人員設計了兩項基準測試：首先使用大型語言模型重新標註現有資料集的影象，要求其思考影象中不存在的相關物件並寫入圖說；其次設計選擇題，要求模型從高度相似的選項中選出最適當的圖說。結果顯示，模型在兩項任務中表現皆不佳，影象檢索準確率在含否定詞的圖說下降低近25%，而選擇題的最佳準確率僅約39%。

研究人員將此失敗歸因於「肯定偏誤」——模型傾向忽略否定詞而專注於影象中的物件。Alhamoud說明：「這不僅發生在『不』、『沒有』等詞，無論如何表達否定或排除，模型都會直接忽略。」為解決此問題，研究人員開發包含否定詞的資料集作為第一步。他們使用包含1000萬組影象-文字配對的資料集，透過大型語言模型產生指定排除內容的新圖說，同時確保這些合成圖說讀起來自然。

研究發現，用新資料集微調模型可帶來全面性改善：影象檢索能力提升約10%，選擇題準確率提高約30%。但Alhamoud坦言：「我們的解決方案並不完美，只是透過資料增強重新標註資料集。我們甚至沒有觸及模型運作方式，但希望這能證明問題是可解決的，其他人可以在此基礎上繼續改進。」他同時希望這項研究能促使更多使用者在部署前，仔細思考欲解決的問題並設計測試案例。

未來研究方向包括教導模型分別處理文字與影象，可能提升其理解否定的能力；此外也可開發針對特定應用（如醫療保健）的專用影象-圖說配對資料集。

[end]