革命性新技術：AI訓練能耗大減百倍

近年來，大型語言模型（LLMs）等人工智慧應用已深入我們的日常生活。支撐這些應用的運算、儲存與傳輸能力，主要來自耗能驚人的資料中心。以德國為例，2020年資料中心耗電量高達160億度，約佔全國總用電量的1%。預計到2025年，這一數字將攀升至220億度。

隨著更複雜的AI應用即將問世，資料中心面臨的壓力將大幅增加。這些應用在訓練神經網路時，將消耗龐大的能源。為因應此一趨勢，慕尼黑工業大學（TUM）的研究團隊開發出一種全新的訓練方法，不僅速度提升百倍，精準度更可與現有技術媲美，大幅降低訓練過程的能耗。

這項突破性研究已於2024年12月10日至15日在溫哥華舉行的神經資訊處理系統會議（NeurIPS 2024）上發表。神經網路在AI領域中扮演重要角色，其運作原理靈感來自人類大腦，由稱為人工神經元的互連節點組成。輸入訊號經過特定引數加權後進行加總，若超過既定閾值，便會傳遞至下一個節點。

傳統的神經網路訓練方式，通常會隨機選取初始引數值（例如使用常態分佈），然後逐步調整這些值以提升網路預測能力。由於需要多次迭代，這種訓練過程極為耗能。物理增強機器學習教授Felix Dietrich及其團隊開發的新方法，改採機率論取代節點間的迭代引數確定過程。

這項機率方法專注於訓練資料中關鍵位置的數值變化，特別是在數值發生劇烈且快速變動的區域。目前研究目標是運用此方法從資料中獲取節能的動態系統，這些系統會隨著時間推移依據特定規則變化，常見於氣候模型與金融市場等領域。

Dietrich教授表示：「我們的方法能以最低的運算能力確定所需引數，使神經網路訓練速度大幅提升，同時更節能。此外，新方法的精準度與迭代訓練的網路相當。」這項創新技術不僅為AI發展帶來新契機，更為節能減碳開闢了一條新路徑。