AI模型微調新突破！WeGeFT技術讓語言模型學習更精準

研究團隊最近開發出一項嶄新的AI技術，能夠大幅提升大型語言模型的表現效能，且無需增加額外的運算資源。這項名為WeGeFT（音同wee-gift）的創新方法，在多項關鍵任務測試中都展現出比現有技術更優異的成果。

大型語言模型是透過海量資料預訓練的AI系統，能夠根據使用者的查詢預測最合適的回應。然而北卡羅來納州立大學計算機工程系副教授吳天福指出：「預訓練的本質較為籠統，當使用者需要執行特定任務時，如數學運算或程式碼撰寫，模型仍有很大的改進空間。」

傳統上，提升模型在特定任務表現的方式是進行微調。吳教授解釋：「考量到這些模型的龐大規模，重新訓練整個模型並不實際。我們需要的是找出最少的必要調整來最佳化模型效能。」

2022年出現的LoRA技術是模型微調領域的重要突破，它運用數學工具找出最能提升特定任務表現的關鍵引數。WeGeFT技術在LoRA的基礎上更進一步，透過引入新的數學分析工具，能區分模型已熟悉的引數與需要學習的新引數。

吳教授說明：「我們對真正需要學習的新引數賦予更高權重，這種做法讓WeGeFT能在不增加運算負擔的情況下，達成比LoRA更好的表現。」概念驗證測試顯示，WeGeFT在常識推理、數學運算、指令遵循、程式碼生成和視覺識別等多種任務中，表現都優於或至少持平LoRA及其變體。

研究團隊目前正探索WeGeFT技術的新應用方向，包括識別模型產生有害輸出的相關元件，以期提升AI對齊性並進行「模型手術」來增進安全性。這項突破性研究已獲選在7月17日於加拿大溫哥華舉行的國際機器學習會議（ICML）上發表。

[end]