AI訓練革命：100倍加速，節能新突破

隨著AI技術的快速發展，資料中心的能源消耗問題日益嚴重。然而，一項突破性的訓練方法有望改變這一現狀，不僅大幅降低能源消耗，還能保持AI的精準度。這項創新技術，靈感來自於自然界中的動態系統，將傳統的迭代訓練轉變為基於機率的方法，從而最佳化神經網路的計算效率。

AI技術，包括大型語言模型（LLMs），已成為日常生活中不可或缺的一部分。然而，支援這些技術所需的計算能力來自於消耗大量能源的資料中心。以德國為例，2020年資料中心的電力消耗約為160億千瓦時（kWh），約佔該國總能源消耗的1%。預計到2025年，這一數字將上升至220億千瓦時。

隨著AI應用變得越來越複雜，其能源需求也將持續上升，特別是訓練神經網路所需的巨大計算資源。為應對這一挑戰，研究人員開發了一種新的訓練方法，比傳統方法快100倍，同時保持相同的精準度。這一突破有望顯著減少AI訓練所需的能源。

神經網路，作為驅動影象識別和語言處理等AI任務的核心，是模仿人腦結構的計算模型。它們由相互連線的節點（即人工神經元）組成，這些節點透過為輸入訊號分配加權值來處理資訊。當達到某個閾值時，訊號會傳遞到下一層節點。

訓練這些網路是一個計算密集型的過程。初始時，引數值通常是隨機分配的，通常使用正態分佈。系統隨後透過多次迭代調整這些值，以提高預測的精準度。由於涉及大量的計算，訓練神經網路消耗了大量的電力。

物理增強機器學習教授Felix Dietrich及其團隊開發了一種新方法。他們不再透過迭代確定節點之間的引數，而是使用機率方法。這種機率方法基於在訓練資料中關鍵位置的有針對性地使用數值，這些位置通常會發生數值的快速和大範圍變化。

這項研究的目的在於利用這種方法從資料中獲取節能的動態系統。這些系統隨著時間的推移按照特定規則變化，例如在氣候模型和金融市場中常見的系統。

Felix Dietrich表示：「我們的方法能夠以最小的計算能力確定所需的引數，這使得神經網路的訓練速度大大加快，從而更加節能。此外，我們發現新方法的精準度與迭代訓練的網路相當。」

參考文獻：
Training Hamiltonian Neural Networks without Backpropagation by Rahma, Atamert, Chinmay Datar and Felix Dietrich, 2024 Machine Learning and the Physical Sciences Workshop at the 38th conference on Neural Information Processing Systems (NeurIPS).https://neurips.cc/virtual/2024/99994
Sampling Weights of Deep Neural Networks by Erik Lien Bolager, Iryna Burak, Chinmay Datar, Qing Sun, Felix Dietrich, 2023, Advances in Neural Information Processing Systems.https://proceedings.neurips.cc/paper_files/paper/2023/hash/c7201deff8d507a8fe2e86d34094e154-Abstract-Conference.html