突破性技術!Capsule革新大規模圖神經網路訓練效能
科技
04-25
中國科學技術大學蘇州研究院的「資料暗物質實驗室」(DDL)研究團隊,在《ACM資料管理學報》發表了一項革命性研究成果。他們開發出全新的「外存機制」(out-of-core)系統Capsule,能大幅提升大規模圖神經網路(GNN)的訓練效率,執行效能最高可達現有頂尖外存GNN系統的12.02倍,同時僅需22.24%的主記憶體用量。
圖神經網路近年來在推薦系統、自然語言處理、計算化學與生物資訊等領域展現強大潛力。主流訓練框架如DGL和PyG都仰賴GPU的平行運算能力來提取圖形資料的結構資訊。然而,GPU記憶體容量有限,難以處理大規模圖形資料,這成為現有GNN系統面臨的重大挑戰。
為解決此問題,DDL團隊提出創新的Capsule外存訓練框架。與現有系統不同,Capsule透過圖形分割與剪枝策略,徹底消除反向傳播過程中CPU與GPU之間的I/O負擔,確保訓練子圖結構及其特徵能完整載入GPU記憶體,從而顯著提升系統效能。
此外,Capsule還具備兩大技術亮點:一是基於最短漢密爾頓迴路的子圖載入機制,二是管線平行化策略。更值得一提的是,這套系統採用「隨插即用」設計,能無縫整合主流開源GNN訓練框架。
在實際大規模圖形資料集的測試中,Capsule表現優異,不僅效能最高提升12.02倍,記憶體用量更僅需競爭對手的22.24%。同時,這項研究還為訓練過程中產生的嵌入變異提供了理論上限,為處理龐大圖形結構與有限GPU記憶體之間的矛盾開闢了新途徑。
[end]