AI安全專家談科技未來：機遇與危機並存
去年，加州州長Gavin Newsom否決了SB 1047法案，這項旨在規範人工智慧技術的法案。此舉讓Redwood Research的執行長Buck Shlegeris感到憤怒與震驚，他認為州長完全忽視了AI的潛在危險。
Shlegeris直言：「Newsom顯然是屈服於大金主和商業支持者的利益，這種行為相當可恥。SB 1047法案獲得大多數加州民眾和專家的支援。」Redwood Research是一家位於柏克萊的諮詢公司，專注於降低AI風險，希望將其研究成果應用於灣區眾多AI企業中。
Shlegeris認為，AI技術雖然看似擁有無限潛力，但也可能對人類生存構成威脅。近年來，AI的快速發展引發了科技界對如何規範其指數級增長的分歧。灣區成為這場辯論的中心，一方反對監管AI，另一方則認為AI可能導致人類滅亡。
Shlegeris希望Redwood Research能與Google Deep Mind和Anthropic等公司合作，在災難發生前取得進展。他認為AI的變革潛力甚至超過電力，一旦AI公司成功開發出能取代人類智慧的系統，將對世界產生深遠影響。
全球經濟每年都在增長，技術也在不斷進步。然而，經濟增長速度受限於人類的智力勞動能力、科技發明速度以及組織運作效率。如果我們能利用電腦進行思考，技術進步可能會大幅加速，這既可能帶來巨大好處，也可能伴隨著極端風險。
Shlegeris提到，最壞的情況可能是AI目標與人類嚴重錯位，強大到足以控制世界，並在追求自身目標的過程中消滅人類。他甚至設想，機器人軍隊可能被國家建造用於戰爭，隨後由AI自主擴建，最終反噬人類。
回到灣區的AI產業，舊金山似乎是新興科技巨頭的搖籃，而柏克萊和奧克蘭則更像是研究和AI安全的中心。這種分佈很大程度上是歷史偶然。柏克萊長期以來一直是理性主義社羣的樞紐，許多對AI安全研究感興趣的人都與這個社羣有關。
Shlegeris指出，矽谷大公司如Google、Apple和Meta主要關注如何利用其龐大的技術人才和資本資源賺取巨額利潤。相比之下，Open AI和Anthropic的創始人則是真正的信徒，他們在Chat GPT之前就投身於此，因此更具理想主義色彩。
最後，Shlegeris提醒，許多科技記者對AI人士的言論持懷疑態度，但他認為這種本能在此處可能失準。他認為大型AI公司實際上可能低估了他們正在開發的技術，因為公開談論其真正潛力會顯得極不負責任。
