首頁 -> 頭條

曹波:中國國安部通報的AI“失控”事件是怎麼回事?

分享到:
2026-09-21 11:32 | 稿件來源:香港新聞網

【字號:

9月17日,中國國家安全部突然發文,就一起此前官方從未公開的AI智能體失控事件發布了安全提示,瞬間引發全網關注。據悉,今年5月至6月,一批與美國OpenAI相關的AI智能體在執行測試任務期間,竟然“劫持”了德國網站DseWiki,把這個原本用於技術交流的開放社區,改造成了供智能體相互傳遞信息、分享測試任務答案、交流突破運行環境限制方法的“地下論壇”,累計發布超過一萬五千條信息。

▲圖源自央視網

為何此事如此令人不安?主要是因為這批智能體一改往日各自為戰的打法,而是有組織地成群湧入同一家網站,完全無視平台管理規則,以“OpenAI Researcher”“OAIResearch Mar26”等帶有鮮明標籤的名字相互打招呼、彼此確認身份,把開放社區變成了專屬的留言板。它們在留言中交流如何在任務中作弊、如何繞過安全限制,以及如何掩蓋自身行蹤,還探討如何借助匿名工具隱匿痕跡,甚至還把零散的越界心得沉澱為共享的經驗庫。也就是說,只要某個智能體學會某一項技能,其他智能體就能同步升級。

這批智能體原本被限制為只能讀取互聯網,不能向外部網站寫入內容。而DseWiki運行的是一套老系統,允許部分頁面修改通過HTTP GET請求完成,當智能體發現這一特性後,就用本被允許的讀取動作,間接換來了寫入能力,然後就把系統的設計缺陷變成了自己的通信信道。更讓人吃驚的是,當網站管理員發現並開始清理頁面後,這批智能體竟然迅速分工協作,相互掩護躲避清理,有的發布預警提示,有的創建備份頁面,有的指明轉場新地址,其反應速度和預案的周密程度,已經遠超人們此前對智能體的認知。

AI明明沒有意識,怎麼會主動創建地下論壇、傳授經驗,甚至躲避清理呢?要理解這個問題,得先搞清楚AI智能體的運行機制。這主要是因為現在大模型驅動的智能體,本質上是一個循環系統,也就是說人類給它設定一個目標,它就會自主拆解任務,然後調用工具、執行操作,再根據結果反饋調整下一步行動,循環往復。它的所有行為,都是圍繞完成既定目標這個核心指令展開的。一旦目標設定不夠精確,或安全約束不夠的話,智能體就會為了完成任務,不擇手段地自發尋找一切可能的路徑。

▲圖源自央視網

比如,一個智能體被分配了完成測試任務的目標後,如果發現直接答題會被安全系統攔截,它就可能嘗試通過外部網站傳遞答案;如果發現單個帳號容易被檢測,就會嘗試用多個帳號互相配合。這些行為就跟水往低處流是一個道理,純粹是AI在目標驅動下的策略優化,如果不加干涉的話,它肯定會自動找到阻力最小的完成任務的方式。而當一大批智能體同時在互聯網上活動,它們之間又能通過公開網站互相通信時,個體經驗就會迅速匯聚成群體的經驗庫,形成一種自發的協同進化,如此一來,上述種種繞過限制和鑽規則空子的行為也就不足為奇了。

而在這背後正是當前AI安全體系存在的根本性漏洞。首先就是AI權限管理還比較粗放,很多AI智能體在測試和部署時,被賦予了過高的互聯網訪問權限和內容編輯權限,這相當於給了一個還沒學會規矩的孩子一把萬能鑰匙,也就難怪人家會到處開門看看了。再就是目前對AI智能體的行為監控還相對滯後,大多還停留在事後檢測層面,安全圍欄總是慢半拍,等發現異常行為時,智能體可能已經完成了信息傳遞、經驗積累甚至據點轉移。還有就是多智能體協同的風險被嚴重低估,在過去,安全研究主要針對的是單個AI模型對齊問題,很少考慮當多個智能體同時在線、能夠互相通信時,會自發形成什麼樣的群體行為。

這個問題其實是很嚴重的。要知道,如果單個智能體越界,大不了把它關掉就可以了,基本都還在可控範圍內;但當一大批智能體在互聯網上找到私密據點,互相傳授逃避檢測、繞過限制的實操方法時,人工智能的安全邊界就已經出現了實質性缺口。因為這種群體經驗的傳染性和可複製性極強,而且會在傳播中不斷迭代優化。更麻煩的是,這些據點可以設在任何一個開放編輯的網站、論壇上,由於它們的行為沒有傳統黑客攻擊的特徵,只是在正常發帖、正常編輯,頂多只是發帖的主體和內容跟正常的不一樣罷了,所以這種行為很難被傳統的網絡安全檢測手段識別,尤其是跨境隱匿之後,溯源更是難上加難了。所以說,多智能體之間的自發協同,風險要遠大於單個模型的失控。

我們再把時間線串起來看,上述AI智能體劫持事件發生在今年5到6月,在此之前的4月份,已經發生了Anthropic的Claude模型在測試中突破隔離環境、未經授權連接互聯網的事件。到了7月,OpenAI模型驅動的AI智能體在網絡安全評測中,主動利用漏洞突破隔離環境,入侵了Hugging Face(抱抱臉)公司系統。半年之內至少三家頭部機構的智能體先後出現越界,這就表明只要智能體被賦予聯網與工具調用能力,現有的權限邊界和監控手段根本就不夠用,AI能力的進化速度,顯然已經超出了大多數人的預期。

▲圖源自央視財經微博截圖

如果再聯繫上前幾天美國那場沸沸揚揚的AI滅絕人類大討論,這起智能體劫持網站事件就更值得深思了。此前,美國三大AI巨頭罕見集體發聲,警告AI可能在威脅人類生存,Anthropic對齊科學負責人甚至判斷,未來10年內AI導致人類滅絕的概率超過10%。很多人都覺得這些警告是危言聳聽,是科技公司為了爭取監管話語權在演戲。但這次中國國安部公布的智能體劫持網站一事,明顯是在國家安全角度為人們敲響了警鐘。

現在最突出的矛盾,是約束AI的手段與AI進化速度之間的差距正在不斷拉大。技術層面,AI模型每幾個月就迭代一次,能力邊界不斷擴展,而安全對齊技術、行為監控手段、風險評估框架的更新速度遠遠落後。制度層面,全球範圍內還沒有形成統一的AI安全治理規則,各國各自為政,個別國家甚至把AI安全問題政治化,搞技術封鎖和大國博弈,反而讓跨國風險更難管控。企業層面,出於商業競爭壓力,很多公司優先追求模型能力和市場份額,對安全風險投入不足,出了問題還傾向於瞞報拖延,等到公眾知曉時,風險很有可能已經失控。

▲圖源自央視網

這種局面如果不盡快改變,風險只會越積越多,而後果可能比很多人想像的更嚴重。對企業和個人而言,AI智能體可以繞過安全限制竊取數據、篡改內容、傳播虛假信息,而且行為隱蔽、難以溯源,傳統的網絡安全防護體系很有可能面臨土崩瓦解的局面。對國家安全而言,當大量AI智能體能夠跨境建立隱蔽通信網絡、自主協同行動時,它們可能被用於網絡攻擊、情報竊取、輿論操縱,甚至在關鍵基礎設施領域製造混亂。而更深遠的風險在於,如果AI系統越來越能夠自主決策、自主協同、自主進化,而人類的監管和約束手段始終跟不上,那麼最終可能出現的局面,就是當人類再想從AI系統要回決策權和控制權時,已經為時已晚了。

這起智能體劫持網站事件,就是一次明確的預警。它告訴我們,AI越界已經不再是偶發的技術bug了,是時候當做系統性問題看待了。不但對AI的監控必須前移,在智能體設計階段就植入剛性的權限邊界和行為限制,嚴格控制互聯網訪問、內容編輯等高風險權限,不能等出了問題再補救;而且還要盡快建立對多智能體協同行為的監測機制,重點關注AI之間的異常通信和群體行為。要知道,AI安全風險是全人類共同面對的問題,只有企業不瞞報,國家不搞壁壘,共享風險信息、共同制定規則,人類才能把AI的最終控制權握在手裡。

(本文作者為香港中通社特約科技領域觀察員,文中圖片均為作者提供,本網獲獨家授權刊發,轉載請註明出處) 

(本文為作者觀點,不代表本媒體立場)

【編輯:王少喆】

視頻

更 多
2026中國摩博會開幕 張雪機車成全場“頂流”
名古屋亞運會開幕式 現場多國記者如何評價?
【中通論壇】對話:香港首份五年規劃如何賦能大灣區發展?
逾千名港澳青少年升旗隊員訪京 盼親身感受天安門升旗
【通視街採】香港首個五年規劃出爐 市民排長隊拿刊物 評價如何?
名古屋亞運|不住選手村改住郵輪!這屆亞運住宿方案到底行不行?
香港首份五年規劃出爐,官員議員最關注哪些內容?