測試階段訓練讓AI大語言模型邏輯推理能力大躍進

儘管現今的大型語言模型(LLM)已展現驚人能力，但在面對需要複雜推理的新任務時，表現往往不如預期。舉例來說，一個擅長整理財報的會計用AI模型，可能在預測市場趨勢或識別詐欺交易時完全失準。

為提升模型的適應能力，MIT研究團隊開發出一種創新的訓練技術。他們發現，透過「測試階段訓練」(Test-Time Training)這項方法，在模型運作時暫時更新部分內部引數，可將準確率提升高達六倍。這項突破性研究讓現成的AI模型能處理需要規劃或抽象思考的複雜任務，從醫療診斷到供應鏈管理等需要邏輯推理的領域都將受益。

研究主要作者Akyürek博士指出：「真正的學習能力是現有模型出廠後無法自主獲得的。但我們證明，只要稍加引導讓模型進行實質學習，效能就能獲得驚人提升。」該團隊已將研究成果投稿至2025年國際機器學習大會(ICML 2025)，並公開在arXiv預印本伺服器。

目前常見的「上下文學習」(In-Context Learning)技術，是透過文字提示提供任務範例來引導模型輸出。然而這對需要邏輯推理的問題效果有限。MIT團隊創新地將測試階段訓練與上下文學習結合，透過少量新資料來更新模型引數，大幅提升處理複雜任務的表現。

研究人員Damani解釋：「我們發現測試階段訓練是更強大的學習形式。單純提供範例只能略微提升準確度，實際更新模型引數才能帶來顯著進步，特別是在具挑戰性的領域。」

團隊採用「低秩適應」(Low-Rank Adaption)技術，僅更新少量引數來提升效率。Akyürek強調：「這項方法必須兼具效率才具實用價值。我們發現只需訓練極少量引數，就能獲得巨大準確度提升。」

實際應用時，這項技術會使回應時間從不到1分鐘延長至5-10分鐘，因此適合用於特別困難的任務。研究團隊在極複雜的IQ謎題測試中，驗證了這項方法比單純使用上下文學習的準確度高出六倍，特別是在處理結構化模式或全新資料型別時效果最顯著。

展望未來，研究團隊計劃開發能持續學習的AI模型，最終目標是讓模型能自動判斷何時需要啟動測試階段訓練，完全無需人為介入就能選擇最佳解決方案。

[end]