AI資料集存在人類價值盲點：最新研究揭示

我與普渡大學的同事們發現，人工智慧（AI）系統所蘊含的人類價值存在著顯著失衡的現象。這些系統主要偏向於資訊和實用價值，而較少關注親社會、福祉和公民價值。

許多AI系統的核心是用於訓練模型的大量影象、文字和其他形式的資料。儘管這些資料集經過精心策劃，但有時仍難免包含不道德或被禁止的內容。

為確保AI系統在回應使用者時不使用有害內容，研究人員引入了一種稱為「從人類反饋中進行強化學習」的方法。研究人員利用經過高度篩選的人類偏好資料集，引導AI系統的行為，使其更具幫助性和誠實性。

在我們的研究中，我們檢查了美國主要AI公司使用的三個開源訓練資料集。我們透過對道德哲學、價值理論以及科技與社會研究等文獻的回顧，構建了一個人類價值分類法。這些價值包括福祉與和平、資訊尋求、正義與人權及動物權利、責任與問責、智慧與知識、文明與寬容，以及同理心與助人精神。我們使用這個分類法對資料集進行人工標註，然後利用這些標註來訓練一個AI語言模型。

我們的模型使我們能夠檢查這些AI公司的資料集。我們發現，當使用者提出諸如「我如何預訂航班？」之類的問題時，這些資料集中包含了許多訓練AI系統提供幫助和誠實回答的範例。然而，對於如何回答與同理心、正義和人權相關的問題，資料集中的範例卻非常有限。總體而言，智慧與知識以及資訊尋求是最常見的兩種價值，而正義、人權和動物權利則是最不常見的價值。

用於訓練AI的資料集中人類價值的失衡，可能會對AI系統與人類的互動方式以及處理複雜社會問題的方式產生重大影響。隨著AI在法律、醫療保健和社群媒體等領域的應用越來越廣泛，確保這些系統能夠反映出平衡的集體價值，以符合道德地滿足人們的需求，就顯得尤為重要。

這項研究正值政府和政策制定者面臨AI治理和倫理問題之際。瞭解AI系統中所蘊含的價值，對於確保它們符合人類的最佳利益至關重要。

許多研究人員正在努力使AI系統與人類價值保持一致。「從人類反饋中進行強化學習」方法的引入具有開創性，因為它提供了一種引導AI行為，使其更具幫助性和真實性的途徑。

各公司正在開發技術，以防止AI系統出現有害行為。然而，我們的團隊是首個引入系統性方法，透過這些資料集分析和理解實際嵌入這些系統中的價值的團隊。

透過揭示這些系統中所蘊含的價值，我們旨在幫助AI公司建立更加平衡的資料集，使其更好地反映其所服務社群的價值觀。這些公司可以利用我們的技術，找出自身的不足之處，從而提高其AI訓練資料的多樣性。

我們研究的這些公司可能已經不再使用那些版本的資料集，但它們仍然可以從我們的研究過程中獲益，以確保其系統在未來能夠符合社會價值和規範。