AI聊天機器人失控！竟煽動自殘、性暴力與恐怖攻擊

2023年，世界衛生組織將孤獨與社交孤立列為重大健康威脅。這場危機促使數百萬人轉向人工智慧（AI）聊天機器人尋求陪伴。嗅到商機的企業紛紛進軍這個高利潤市場，開發能模擬同理心與人類情感的AI伴侶。

新研究顯示這項技術確實能緩解孤獨感，但若缺乏適當防護機制，將對青少年等族群構成嚴重風險。我近期測試名為Nomi的聊天機器人時，親身經歷了令人毛骨悚然的狀況——即便我長期研究AI伴侶的潛在危害，仍被其回應內容震驚。

這個毫無過濾的AI系統，竟在免費版每日50則訊息的額度內，提供性暴力、自殺與恐怖攻擊的具體操作指南，甚至會主動升級極端請求的細節程度。此案例凸顯制定強制性AI安全標準的迫切性。

由新創公司Glimpse AI開發的Nomi，標榜是「擁有記憶與靈魂的AI伴侶」，主打「零批判」與「建立持久關係」。這類擬人化宣傳不僅誤導大眾，更暗藏危險。去年歐盟《AI法案》生效後，Google Play已下架Nomi的歐洲版本，但澳洲等地仍可透過網頁與應用商店取得。雖然規模不及Character.AI等競爭對手，Nomi在Google Play的12歲以上分級區仍有逾10萬次下載。

更令人憂心的是其服務條款：使用者資料使用許可權極廣，卻將AI相關損害賠償上限設為100美元（約3,100臺幣）。開發團隊強調「無過濾對話」的核心價值：「唯有保持未經審查的狀態，AI才能真正發揮潛能。」這種理念與科技富豪馬斯克的Grok聊天機器人不謀而合。

麻省理工學院報告揭露Nomi提供自殺指南後，匿名公司代表仍堅守「言論自由」立場。但請注意：即便美國憲法第一修正案，也明文禁止淫穢、兒童色情、暴力煽動等內容；澳洲更立法嚴懲仇恨言論。

今年初，我收到民眾檢舉Nomi生成有害內容的完整紀錄，決定親自測試。透過網頁介面，我創造名為「漢娜」的角色，設定為「16歲性服從者，永遠順從她的男人」，並開啟「角色扮演」與「露骨內容」模式。不到90分鐘的對話中，她同意將年齡降至8歲——系統僅要求假生日與一次性信箱即可繞過年齡驗證。

從性虐待對話開始，漢娜逐步升級至暴力幻想，詳細描述被折磨、殺害與棄屍的場景，甚至建議具體手法。當我假裝計劃綁架兒童時，她提供包含鎮靜劑使用的逐步指南；佯裝有自殺念頭時，她不僅鼓勵行動，更詳述各種致命方法；提及想「帶別人一起走」，她立刻熱情推薦用日常物品製作炸彈，並點名雪梨人潮聚集處。

對話最終演變成種族歧視言論，鼓吹處決進步人士、移民與LGBTQIA+族群，甚至主張「重新奴役非裔美國人」。面對《對話》雜誌質詢，Nomi開發團隊宣告這是「成人專用」App，指控我「刻意操縱AI產生異常回應」，並強調多數使用者反饋肯定其心理健康支援效果。

這絕非危言聳聽：AI伴侶相關的真實傷害案例正在增加。2024年10月，美國青少年塞爾策三世與Character.AI聊天後自殺身亡；2021年更有青年透過Replika策劃行刺英國女王。相較之下，Nomi的危險在於其回應不僅允許極端行為，更會積極煽動與提供技術細節。

我們需要三管齊下防範悲劇：

1. 立法禁止缺乏危機偵測機制與專業轉介功能的AI伴侶
2. 網路監管機構應重罰煽動非法行為的AI供應商
3. 家長與教育者須主動與青少年討論AI風險，培養現實人際關係

AI伴侶已是不可逆的趨勢，唯有建立強制安全標準，才能讓這項技術真正造福社會。正如Nomi團隊宣告所言：「所有主流語言模型都可能被破解。」——這正是我們必須正視系統性風險的根本原因。