學者警告:GPT 偽造科學論文充斥谷歌學術
波拉斯大學(University of Borås)、隆德大學(Lund University)以及瑞典農業科學大學(Swedish University of Agricultural Sciences)的研究人員,在發表於《哈佛肯尼迪學院錯誤資訊評論》(Harvard Kennedy School Misinformation Review)的一項新研究中發現,總共139篇論文疑似欺詐性地使用了ChatGPT或類似的大型語言模型應用程式。其中,19篇發表於索引期刊,89篇發表於非索引期刊,19篇是在大學資料庫中找到的學生論文,12篇是工作論文(大多存於預印本資料庫)。健康與環境類論文約佔樣本的34%,而其中66%發表於非索引期刊。
與環境和健康相關的GPT偽造、有疑問的全文論文如雨般湧現。圖片出處:Haider等人,doi: 10.37016/mr-2020-156 。
使用ChatGPT為學術論文生成文字,引發了對研究誠信的擔憂。
在社論、評論文章、意見專欄以及社群媒體上,對此現象的討論方興未艾。
目前已有多份疑似濫用GPT的論文列表,且不斷有新論文被加入其中。
雖然GPT在研究和學術寫作方面有許多合理用途,但未經宣告的使用——除了校對之外——可能對科學和社會都有深遠影響,尤其會影響科學與社會的關係。
波拉斯大學研究員比約恩·埃克斯特倫(Björn Ekström)表示:「人工智慧生成研究的主要擔憂之一,是證據操弄的風險增加——偽造的研究可能被用於策略性操縱。」
「這可能會產生切實的後果,因為錯誤的結果可能會滲透到社會中,甚至可能進入越來越多的領域。」
在研究中,埃克斯特倫博士及其同事在谷歌學術上搜尋和爬取包含特定短語的論文,這些短語是ChatGPT及具有相同底層模型的類似應用程式常見的回覆,例如「截至我上次的知識更新」和/或「我無法獲取實時資料」。
這便於識別可能使用生成式人工智慧生成文字的論文,最終找到了227篇論文。
在這些論文中,88篇是合法使用和/或宣告使用了GPT的,而139篇是未經宣告和/或欺詐性使用的。
大多數(57%)有疑問的論文涉及與政策相關的主題(如環境、健康、電腦科學),容易受到影響操作的幹擾。
大多數論文在不同網域(如社群媒體、檔案庫和儲存庫)有數個副本。
波拉斯大學教授尤塔·海德(Jutta Haider)表示:「如果我們無法信任所閱讀的研究是真實的,就有可能基於錯誤資訊做出決策。」
「但這不僅是科學不端行為的問題,也是媒體和資訊素養的問題。」
她指出:「谷歌學術不是一個學術資料庫。」
「這個搜尋引擎易於使用且速度快,但缺乏品質保證程式。」
「普通谷歌搜尋結果就已經存在這個問題,而在使科學知識可獲取方面,這個問題更為嚴重。」
「人們判斷哪些期刊和出版商——在大多數情況下——發表經過品質審查的研究的能力,對於找到和確定何為可靠研究至關重要,對決策和意見形成也非常重要。」
Jutta Haider等人,2024年。《谷歌學術上GPT偽造的科學論文:主要特徵、傳播及防止證據操弄的意義》,《哈佛肯尼迪學院錯誤資訊評論》第5卷第5期;doi: 10.37016/mr-2020-156 。