神經網路如何表徵資料？揭開深度學習核心現象的統一理論

神經網路的運作原理，一直是令初學者和專家都感到困惑的難題。MIT電腦科學與人工智慧實驗室（CSAIL）團隊指出，理解這些表徵方式及其如何影響神經網路從資料中學習的過程，對於提升深度學習模型的可解釋性、效率與泛化能力至關重要。

為此，CSAIL研究人員開發出一套全新框架來解析神經網路中的表徵形成機制。他們提出的「標準表徵假說」（CRH）認為，在訓練過程中，神經網路會自發地將每層的潛在表徵、權重與神經元梯度相互對齊。這種對齊特性意味著，神經網路會根據偏離CRH的程度與模式，自然學習到精簡的表徵方式。

資深作者Tomaso Poggio教授強調，若能理解並善用這種對齊特性，工程師將能設計出更高效且易於理解的網路架構。這項研究已發表於arXiv預印本伺服器，其提出的「多項式對齊假說」（PAH）進一步闡明：當CRH被打破時，表徵、梯度與權重之間會呈現出多項式函式關係的獨特階段。

研究團隊透過影象分類與自監督學習等任務的實驗結果，驗證了CRH與PAH的適用性。CRH暗示了人工注入梯度噪聲的可能性，藉此在模型表徵中建構特定結構。Poggio教授指出，未來關鍵研究方向在於理解各階段的形成條件，以及這些階段如何影響模型的行為與表現。

共同作者、CSAIL博士後研究員劉子胤表示，CRH或許能解釋神經科學中的某些現象，因為它暗示神經網路傾向學習正交化表徵——這與近期腦科學研究的發現相符。該理論還可能帶來演演算法突破：若表徵能與梯度對齊，工程師或可透過操縱梯度噪聲來精確控制模型表徵結構。

這項由Poggio教授、劉子胤、Isaac Chuang教授及現任德州農工大學助理教授的Tomer Galanti共同完成的研究，將於本月稍晚在新加坡舉辦的國際學習表徵會議（ICLR 2025）上正式發表。正如Poggio教授所言：「這篇論文透過CRH與PAH提供了理解神經網路表徵形成的新視角，為統整現有觀察與指引未來研究建立了理論框架。」