革命性快取技術Gigaflow問世！雲端流量管理效能飆升51%
科技
04-11
密西根大學研究團隊開發出一項突破性的記憶體暫存技術「Gigaflow」，能有效緩解AI與機器學習工作負載造成的雲端資料中心流量壅塞問題。這項研究成果已在荷蘭鹿特丹舉行的「程式語言與作業系統架構支援國際研討會」上發表。
隨著運算需求暴增，企業紛紛轉向雲端運算服務，促使資料中心必須提升核心密度與硬體技術來因應。研究通訊作者、密西根大學電腦科學與工程學系助理教授Muhammad Shahbaz指出：「當工作負載不斷變化時，我們的焦點在於如何有效管理激增的資料流量。」
傳統伺服器架構已無法滿足當今需求，雲端環境改採虛擬機器技術，透過虛擬交換器分配任務。然而，當傳輸速率從10Gbps躍升至400Gbps甚至未來800Gbps時，CPU已不堪負荷。
為此，資料中心開始匯入可程式化智慧網絡卡(SmartNIC)來加速網路任務。Gigaflow軟體透過創新快取機制大幅提升SmartNIC效能，不再僅快取新資料流(flow)，而是改採「管線感知區域性」技術，快取多個資料流共用的規則片段。
研究第一作者、密西根大學博士生Annus Zulfiqar表示：「Gigaflow突破了硬體限制，為快取技術開創全新視角。」實際測試顯示，這項技術使快取命中率提升51%、失誤率降低90%，同時以更少的快取條目涵蓋450倍大的規則空間。
參與研究的Feldera公司技術長Ben Pfaff驚嘆：「在未擴大快取容量的情況下達成如此效能突破，完全超出預期。」研究團隊下一步將探索大型語言模型推論工作負載中的非傳統區域性快取技術。
這項研究由密西根大學主導，普渡大學、Feldera公司及米蘭理工大學共同參與完成。
[end]
