阿里巴巴「ZeroSearch」技術：用模擬搜尋結果大幅降低AI訓練成本

阿里巴巴集團旗下通義實驗室的人工智慧研究團隊，最近發表了一項突破性的LLM（大型語言模型）訓練方法，這項技術能顯著降低現有訓練方式的成本。相關研究論文已發表在arXiv預印本平臺上。

隨著ChatGPT等LLM成為主流，運作這些模型所需的資源與相關成本急遽攀升，迫使AI開發者必須尋找替代方案來達到相同甚至更好的效果。為此，通義實驗室的團隊開發出一種嶄新的訓練方式，能大幅減少資源消耗。

「ZeroSearch」技術的核心概念，是捨棄傳統透過搜尋引擎API獲取搜尋結果來訓練LLM的方式。取而代之的是利用AI生成的模擬檔案，來模仿Google等傳統搜尋引擎的輸出結果。

阿里巴巴團隊指出，這種方法不僅能降低資源需求，還能提升訓練品質。因為模擬檔案中的資料不會像公開搜尋結果那樣難以預測。此外，新技術還能逐步降低生成檔案的品質，藉此挑戰檢索情境的極限。

在實際測試中，研究人員發現使用ZeroSearch技術訓練AI模型時，每64,000次查詢的成本僅需70.80美元。相較之下，使用Google API進行相同查詢則需花費586.70美元。測試更複雜的模型時，成本降幅更為明顯。而基於ZeroSearch的模型產出品質，普遍達到甚至超越API基礎模型的水平。

研究團隊也坦承這項技術存在權衡取捨。ZeroSearch方法可能需要多達4張A100 GPU，而Google API則完全不需要GPU。雖然ZeroSearch在成本效益上更具優勢，但在永續性和硬體需求方面就必須做出取捨。

[end]