AI與人類寫作風格大不同！最新研究揭示關鍵差異

卡內基梅隆大學的研究團隊近期發表了一項突破性研究，探討大型語言模型（LLMs）如ChatGPT和Llama是否能精準模仿人類的寫作風格。這項研究結果已刊登於《美國國家科學院院刊》（PNAS），揭示了AI與人類在寫作上的顯著差異。

研究主要作者、統計與資料科學系副教授Alex Reinhart指出：「人類在寫作和說話時會根據情境調整風格，有時正式，有時隨意，不同場合也有不同的表達方式。然而，我們發現LLMs的寫作風格相對固定，無法像人類那樣靈活應對不同情境。這種差異是我們首次以量化的方式明確呈現的。」

在這項研究中，Reinhart的團隊透過向LLMs提供電視劇本、學術文章等多種型別的文字，觀察其生成內容的風格。他們使用了由英文系副教授David West Brown開發的程式碼，分析LLMs與人類在語法、詞彙和文體特徵上的差異。結果顯示，經過指令微調的模型（如ChatGPT）與人類寫作的差異尤其明顯。

研究發現，LLMs在寫作中大量使用現在分詞子句，頻率是人類的2到5倍。例如，GPT-4o生成的句子：「Bryan靠著他的敏捷性，在擂臺上閃避Show的重擊。」此外，LLMs使用名詞化的頻率是人類的1.5到2倍，而GPT-4o使用無主語被動語態的頻率則是人類的一半。這些特徵表明，LLMs的訓練使其傾向於以資訊密集、名詞為主的風格寫作，這限制了它們模仿其他寫作風格的能力。

研究還發現，指令微調的LLMs在詞彙使用上與人類有顯著差異。例如，ChatGPT的版本使用「camaraderie」（ camaraderie）和「tapestry」（ tapestry）的頻率是人類的150倍，而Llama的版本則更常使用「unease」（不安），頻率是人類的60到100倍。兩者都偏好使用「palpable」（明顯的）和「intricate」（複雜的）等詞彙。

Brown表示：「許多教師對AI寫作的普及感到擔憂。作為一名從事資料科學研究的英文系學者，我認為這與人類的寫作方式截然不同。我們不會只寫一次，而是反覆修改。因此，問題在於：LLMs能否生成一篇看似合理的一次性文字？」

他進一步強調：「我們希望傳達的訊息是，在使用LLMs時，必須仔細考慮其適用性。例如，我關心醫生的診斷是否準確，但不在乎是否以醫生的口吻撰寫。然而，如果是撰寫求職信，個人風格就至關重要。作為教師、作家和溝通者，我們需要意識到LLMs的獨特性和侷限性。」

Reinhart也提到，學生使用LLMs完成作業的現象引發了廣泛擔憂。他比喻道：「有人說這就像數學課上使用計算器。但我們的研究表明，LLMs並不像計算器那樣單純。計算器能準確執行運算，但LLMs生成的內容卻與人類的寫作風格大相逕庭。」

研究人員指出，未來需要進一步研究更多LLMs，以瞭解指令微調對這些模型的重要性與影響。目前，博士生Ben Markey正在進行一項研究，探討LLMs如何評估人類寫作（如學生論文），以及其評估的一致性。

Brown提出：「我們能否讓LLMs評估一篇論文？Markey的研究不僅是讓LLMs評估一次，而是反覆提供評分標準，觀察其結果是否一致。我們也在思考如何將這些模型應用於其他領域，以更深入地理解其運作機制。」