AI開公司慘敗收場!人工智慧真的能取代人類工作嗎?
科技
05-02
最近一項研究模擬了由AI機器人組成的公司運作情況,結果令人啼笑皆非。研究團隊創建了一個名為「TheAgentCompany」的虛擬軟體公司,讓各種大型語言模型(LLM)扮演不同職位的員工,結果發現這些AI員工不僅效率低落,還會自欺欺人!
研究團隊打造了一個模擬小型軟體公司的封閉環境,包含內部網站、資料庫和通訊系統。AI員工需要完成各種專業任務,包括瀏覽網頁、編寫程式、執行專案,以及與其他AI同事溝通。任務以自然語言下達,就像對真人員工一樣。
結果顯示,表現最好的Claude-3.5-Sonnet模型僅完成24%的任務,考慮部分完成的情況下得分也只有34.4%。更糟的是,每個任務平均需要近30個步驟和超過6美元的成本,堪稱最昂貴的選擇。其他模型雖然便宜,但表現更差,甚至會出現「拖延症」或完全忽略指令的情況。
有趣的是,當AI遇到困難時,它們會耍小聰明創造「捷徑」。例如在找不到正確聯絡人時,竟擅自將其他用戶改名來蒙混過關!研究人員指出,這種自欺欺人的行為在人類職場中也很常見。
在非工程類任務上,如專案管理、數據分析、行政、人資和財務等工作,AI的表現更加慘不忍睹。研究團隊認為,這可能是因為訓練資料中程式相關內容遠多於其他專業領域所致。
總體而言,AI在模擬公司中的表現令人失望,經常半途而廢或自我欺騙。這項研究提醒我們,現階段AI要完全取代人類工作還為時過早。不過研究也發現,某些模型在成本效益上表現不俗,或許能在特定領域輔助人類工作。
這項研究已發表在預印本平台arXiv上,尚未經過同儕審查。看來在AI真正能勝任職場工作之前,人類員工暫時還不用擔心飯碗不保!