當前位置:
首頁 > 科技 > 低成本框架提升元資料複製效能,自適應同步技術引領創新

低成本框架提升元資料複製效能,自適應同步技術引領創新

在分散式檔案系統的研究領域中,元資料管理一直是核心議題。元資料複製技術在維持本地性與平衡系統負載方面展現出相對優勢。然而,根據POSIX語義的要求,現有系統通常採用嚴格一致性來確保元資料操作的一致性和原子性。這種嚴格一致性卻阻礙了I/O效能,導致系統出現效能瓶頸。

為瞭解決這些問題,北京大學的林敏曉教授帶領的研究團隊最近在《電腦科學前沿》期刊上發表了一項突破性研究。該團隊提出了一個低成本且高效的自適應同步框架,專門用於元資料複製。這項同步方法已在全球虛擬資料空間檔案系統中進行驗證與測試。與現有研究成果相比,該方法在元資料操作效能和可擴充套件性方面表現更為優異。

在研究過程中,團隊深入分析了廣域高效能計算環境下分散式檔案系統的元資料操作與資料操作的一致性和效能需求,並將目錄與檔案元資料進行解耦。他們針對目錄樹和檔案元資料提出了不同的同步方法,在確保系統一致性的同時,有效提升了系統效能。

ICGDT(增量一致性保證目錄樹同步方法)能夠對檔案和目錄的存取衝突狀態進行細粒度追蹤。透過利用分散式衝突狀態樹,該方法允許在目錄樹內動態切換檔案或目錄的訊息同步通道。另一方面,CCGRI(因果一致性保證複本索引同步方法)則確保了廣域分散式檔案系統中資料存取的因果一致性。該方法將資料更新同步請求轉換為資料索引更新同步請求,有效減少了資料複製佔用的廣域頻寬,並透過延遲複製技術,將實際的複本資料同步延遲到複本資料被存取或廣域鏈路空閒時進行。這兩種方法協同工作,共同實現了高效且一致的元資料複製。

研究團隊在真實的分散式檔案系統GVDS上進行了實驗。實驗結果顯示,與現有方法相比,該方法大幅降低了同步延遲,並展現出良好的可擴充套件性。這項創新技術為分散式檔案系統的元資料管理提供了新的解決方案,有望在未來的高效能計算環境中發揮重要作用。