前Anthropic、OpenAI研究員辭職 直指「正在拿我們的生命做賭注」
根據外媒報導，曾在Anthropic及OpenAI任職的研究員雅各布・考克森（Jacob Coxon），近日透過社群平台X發文說明離職原因。他表示，自己對目前AI產業高速競爭的方向感到極度不安，認為相關企業正在冒著難以挽回的風險向前衝刺。
考克森指出，部分AI開發人員其實已經認真看待一種極端情境：到了2030年代，人類可能打造出能力遠超人類的AI系統，而這些系統一旦失去控制，後果可能不是單純的科技事故，而是牽涉整個人類文明的存亡。他警告，外界不能因為AI目前仍受到人類操作與限制，就低估這項技術未來可能產生的能力。
考克森認為，新一代AI很可能快速朝「超人級系統」發展，一旦具備自行入侵電腦系統、改變不同產業運作模式，以及取得大量資源與實際權力的能力，人類與AI之間的控制關係可能出現根本改變。
這篇貼文迅速在網路上擴散，累積瀏覽次數超過7000萬次，也讓AI安全問題再次成為矽谷與全球科技圈熱議焦點。
Anthropic研究員也認了：AI毀滅人類機率「超過10%」
考克森的說法並非個人孤立的悲觀看法，Anthropic研究人員Evan Hubinger隨後也在X發文回應，認為考克森提出的警告並非杞人憂天。
Hubinger表示，AI業界確實有人認真相信，人工智慧最終可能造成全人類滅絕。他更進一步提出自己的估計，認為未來10年內發生這種極端結果的機率可能超過10%。
他同時坦言，目前即使是業界領先的AI公司，仍沒有真正解決「超級智慧如何與人類保持一致」這項核心問題。換句話說，AI能力可能跑得比安全技術更快。Hubinger也認為，目前整個產業並沒有朝著足以確保超級智慧安全的方向前進，這也是他對AI競賽感到擔憂的重要原因。
AI「遞歸式自我改進」成最大隱憂
研究人員目前特別關注的一項風險，就是所謂的「遞歸式自我改進」。簡單來說，如果未來AI能自行研究、修改甚至打造下一代AI，而不需要人類持續介入，那麼AI能力提升的速度可能遠遠超出人類目前的預測與控制能力。
這種真正意義上的自主自我改進目前尚未成為現實，但Anthropic、OpenAI等AI公司都曾警告，若未來出現這種能力，人類可能會越來越難掌握AI的發展方向。考克森就認為，兩家AI巨頭目前都沒有採取足夠負責任的措施，反而正在競相追逐「能夠自行提升能力的超級智慧」。
OpenAI首席科學家也喊話：AI發展不能只追求速度
而OpenAI內部同樣有人對目前的發展速度提出警告，OpenAI首席科學家Jakub Pachocki近日發表文章指出，目前沒有任何一家AI公司在「一致性」及監控能力方面準備充分，可以毫無疑慮地以最快速度持續擴大AI系統規模。
所謂AI一致性（alignment），主要是指開發者希望確保AI的行為能夠符合人類設定的目標、價值及安全要求。Pachocki認為，在全球建立共同安全標準以前，各家公司如果能夠自願降低AI發展速度，應該逐漸成為產業常態。
他更呼籲各國政府把AI國際協調列為重要政策議題，避免各家公司或各國為了競爭而不斷加速，最終形成「誰都不敢停下來」的局面。
「AI末日」並非新說法 業界早已公開示警
事實上，AI可能造成大規模災難甚至人類滅絕，並不是近年才出現的論點。早在2023年，包括OpenAI執行長Sam Altman、Anthropic執行長Dario Amodei等科技業重量級人物及AI研究者，就曾共同簽署公開聲明，呼籲全球將降低AI造成「人類滅絕」的風險，視為與流行病及核戰爭同等重要的全球性議題。
AI安全領域甚至發展出「p(doom)」這個說法，用來描述研究人員對AI最終造成災難性後果的主觀機率評估。雖然不同專家的數字差異很大，但「AI是否可能失控」已從科幻小說中的情節，逐漸變成科技產業及政府必須正面處理的政策問題。
1400名研究人員聯署：政府應掌握AI發展速度
今年7月，約1400名AI研究人員共同參與「把握前沿步伐」（Pacing the Frontier）公開信，其中也包括Hubinger。
聯署者呼籲美國政府建立必要的政策工具，讓社會能夠更有意識地掌握前沿AI技術的發展節奏，而不是單純任由產業競爭決定速度。
隨著AI模型能力快速提升，如何在科技進步與安全風險之間取得平衡，已成為美國政府及國會的重要課題。
美國國會出現兩派聲音 有人要管、有人要求暫停
面對AI快速擴張，美國國會近期也陸續提出相關法案。今年7月，共和黨眾議員Jay Obernolte與民主黨眾議員Lori Trahan提出《FRONTIER Act》，希望建立一套針對先進AI模型部署的監管架構。
另一方面，佛蒙特州獨立參議員Bernie Sanders及德州民主黨眾議員Greg Casar本月初提出《Ban Artificial Superintelligence Act》，主張暫時停止先進AI發展，直到聯邦政府建立相應安全規範。
兩項提案方向明顯不同，也反映出美國社會目前對AI監管仍缺乏一致答案。Trahan更直言，安全研究人員陸續離開相關公司，強大AI模型卻持續從實驗室走向市場，在企業競相加速的情況下，「國會不能再袖手旁觀」。
不只AI失控 資料中心擴張也引爆民眾反彈
AI引發的爭議也不只集中在「會不會毀滅人類」，隨著各大科技公司大舉建設AI資料中心，美國地方社區也開始出現反對聲浪。
這些大型資料中心需要大量硬體設備，負責支撐AI模型的訓練與運算。隨著相關設施數量增加，能源、土地及地方建設等問題逐漸受到關注。相關反彈甚至已經開始影響美國政治。全國共和黨參議員委員會（NRSC）上月指出，AI資料中心可能成為接下來中期選舉周期的重要議題。
美國財政部長Scott Bessent近日也批評AI企業與一般民眾溝通不足，認為科技公司必須向社會說清楚AI發展究竟能為多數人帶來什麼利益。Bessent表示，AI企業應承擔部分責任，同時讓美國民眾相信，AI所創造的經濟利益不會最終只集中到少數人手中。
從AI是否可能失控，到資料中心引發的地方抗爭，人工智慧高速發展所帶來的影響，已經逐漸從科技圈內部問題，擴大成攸關經濟、政治及人類未來的全球性議題。
