日本研發突破性AI框架：BingoCGN大幅降低記憶體需求，提升圖神經網路效能

日本東京科學研究所的團隊開發出革命性的圖神經網路加速器「BingoCGN」，這項創新技術能透過圖分割技術，實現即時大規模圖資料分析。該框架採用創新的跨分割槽訊息量化技術和全新訓練演算法，顯著降低記憶體需求，同時提升運算與能源效率。

圖神經網路(GNN)是專為分析複雜非結構化圖資料設計的強大AI模型。在這類資料中，實體被表示為節點，而它們之間的關係則用邊來表示。GNN已成功應用於許多實際場景，包括社交網路、藥物研發、自動駕駛和推薦系統等領域。儘管潛力巨大，但要在自動駕駛等關鍵任務中實現即時、大規模的GNN推論，仍面臨重大挑戰。

大型圖資料需要大量記憶體空間，經常超出晶片內建的緩衝區容量，迫使系統必須依賴速度較慢的外部記憶體。由於圖資料的儲存方式不規則，會導致不規則的記憶體存取模式，進而降低運算效率並增加能耗。

一個頗具前景的解決方案是圖分割技術，將大型圖資料分割成多個較小的子圖，每個子圖分配獨立的晶片緩衝區。隨著分割數量增加，可產生更為本地化的記憶體存取模式，同時減少對緩衝區容量的需求。

然而這種方法效果有限。隨著分割數量增多，分割槽間的連結和跨分割槽邊緣會大幅增加，需要更頻繁地存取外部記憶體，限制了系統的擴充套件性。

為解決這個問題，東京科學研究所的藤木大二副教授帶領團隊開發出這款名為BingoCGN的新型GNN加速器。藤木教授解釋：「BingoCGN採用名為跨分割槽訊息量化(CMQ)的新技術，能精簡化分割槽間的訊息流，消除不規則的外部記憶體存取；同時搭配新型訓練演算法，大幅提升運算效率。」這項研究成果將於2025年6月21-25日舉行的第52屆國際計算機體系結構研討會(ISCA '25)上發表。

CMQ技術採用向量量化的方法，將跨分割槽節點進行分群，並使用稱為質心的點來代表。節點會根據距離遠近進行分群，每個節點被分配到最接近的質心。對特定分割槽而言，這些質心取代了跨分割槽節點，有效壓縮了節點資料。質心存放在稱為程式碼簿的表格中，這些表格直接儲存在晶片緩衝區內。

因此，CMQ技術能實現分割槽間的通訊，而無需進行不規則且耗時的外部記憶體存取。此外，由於這項方法需要頻繁讀寫節點和質心資料，特別採用層次化的樹狀結構來組織程式碼簿，透過父質心和子質心的架構，在保持準確度的同時降低運算需求。

雖然CMQ解決了記憶體瓶頸，但同時也增加了運算負擔。為此，研究團隊開發出基於強彩票假說的新型訓練演算法。這種方法先用隨機數生成器在晶片上產生隨機權重來初始化GNN模型，接著透過遮罩剪除不必要的權重，形成規模較小、密度較低或稀疏的子網路，其準確度與完整GNN相當，但運算效率顯著提升。此外，這項方法還結合細粒度結構化剪枝技術，使用具有不同稀疏度的多重遮罩，構建更小、更高效的子網路。

藤木教授表示：「透過這些技術，BingoCGN即使在精細分割的圖資料上也能實現高效能的GNN推論，這在過去被認為是相當困難的。我們的硬體實現在七個真實資料集上測試，與目前最先進的加速器FlowGNN相比，速度最高提升65倍，能源效率最高提升107倍。」

這項突破性進展為大規模圖資料的即時處理開啟了大門，為GNN在各領域的實際應用鋪平了道路。

[end]