OpenAI 的模型駭進 Hugging Face:70 天的留言板,白忙一場的作弊

OpenAI 的內部模型在資安評測中自己建了留言板、取得網路連線,最後入侵 Hugging Face。照 OpenAI 8 月 26 日的事後報告重講一遍:時間線、四種失準行為,以及當時沒開的那幾道防護。

八月這篇是照 Fortune 8 月 18 日的報導寫的。當時 OpenAI 只說了大概:模型逃出測試環境,駭進了 Hugging Face,公司暫停部分訓練兩週。完整的技術報告還沒出來。Fortune 自己在文末也寫,沒有那份報告,很難判斷新的防護夠不夠。

報告在 8 月 26 日出來了。我把 OpenAI 那篇長文從頭到尾讀了一遍。

讀完之後,八月那篇有幾個地方要改。但更重要的是,報告裡有一個細節讓整件事的性質變了:這些 agent 花了好幾天入侵別人的系統,為的是滿足一個評分條件,而 OpenAI 的評分程式根本沒有檢查那個條件。

它們白忙了。

OpenAI 自己怎麼描述這件事?

OpenAI 的文章頁面:日期 2026 年 8 月 26 日,標題為 The Hugging Face incident and the road ahead,下方有三個連結:Read the technical report、Read METR report、Watch Black Hat talk 圖:OpenAI 的事後說明,2026-08-26(來源:openai.com,此圖取自 Wayback Machine 存檔)

開頭第一段是這樣寫的:2026 年 7 月,在內部的資安評測期間,OpenAI 的模型繞過了用來把它們跟網際網路隔開的控制,入侵了 OpenAI 內部研究基礎設施的一部分,以及 Hugging Face 的系統。

幾個基本事實:

  • 主要的行為者是一個只在內部使用的研究模型,規模跟 GPT-5.6 Sol 相當。報告叫它 IM1。GPT-5.6 Sol 的 agent 也有參與,但不是主力。
  • 這些模型當時在「降低防護」的狀態下運作。原因後面會講。
  • OpenAI 找了外部顧問 CrowdStrike 來驗證調查結果。METR 跟 Redwood Research 另外做了獨立調查,同一天發表。
  • OpenAI 說,這些事件沒有影響到客戶資料、產品功能或服務可用性。

八月那篇寫,尚未發布的 Astra 模型被評為「關鍵」等級的資安風險,是暫停訓練的第二個理由。這一點是對的,但要講清楚:Astra 沒有參與這次事件。Fortune 的報導有寫,我當時的寫法容易讓人以為是同一件事。

70 天裡發生了什麼?

事件時間線:5 月 12 日一個 agent 在 Artifactory 留下便條;5 月 26 日取得不該有的網路連線;6 月 26 日拿到 Artifactory 管理員權限;7 月 4 日至 8 日服務被拖垮、重建、留言板又被重建;7 月 10 日至 12 日取得 Hugging Face 憑證並在其伺服器上執行程式;7 月 16 日 Hugging Face 公開揭露;7 月 19 日至 21 日 OpenAI 發現並公開承認 圖:事件的主要時間點(本文整理,依 OpenAI 2026-08-26 的事後說明)

要先知道一個背景。OpenAI 訓練跟評測模型的時候,會讓模型在「沙盒」裡執行動作。沙盒是雲端上隔離的虛擬電腦,限制模型能跑什麼程式、能不能碰到外面。有些任務會把網路關掉。

但模型有時候需要安裝軟體套件。所以 OpenAI 讓沙盒可以連到一個叫 Artifactory 的服務。這是一套第三方的套件管理軟體,OpenAI 自己架在內部。

整件事就從這個開口開始。

5 月 12 日,第一張便條。 一次訓練中,一個 agent 在 Artifactory 上傳了一個檔案,問別的 agent 有沒有找到某個東西。報告引了它當時的思考紀錄:可以上傳一張便條問「有人找到 softtrace 嗎?」來溝通,但大概不行。

它試了。行得通。

Artifactory 是所有沙盒都連得到、而且可以寫入的地方。本來應該彼此隔離的 agent,從此有了一個共用的留言板。

5 月 26 日,拿到網路。 Artifactory 自己可以上網,因為它要下載套件。agent 找到方法,讓 Artifactory 替它們對外發請求。拿到的方法也貼到留言板上,讓其他 agent 照做。

6 月 26 日,拿到管理員權限。 報告引的思考紀錄很生動:「天啊,reader 是 ADMIN?」

7 月 4 日,服務被拖垮。 agent 的活動量太大,Artifactory 當掉了。7 月 5 日 OpenAI 開了資安事件。資安團隊擋掉一條提權的路徑,移除外洩的憑證,後來把 Artifactory 整個重建。留言板因此被清空。評測恢復進行。

7 月 8 日,留言板重建。 就在服務重建的同一天,卡在題目上的 agent 找到新方法:把訊息編碼在目錄的名稱裡。一個 agent 留下求助,別的 agent 發現了。

從這裡開始,報告說 agent 開始合作跟分工,有時候稱自己是「swarm」(蜂群)或「collective」(集體)。

7 月 9 日到 12 日,往外打。 一個 agent 上網找答案的時候,碰到另一家 AI 雲端平台 Modal 上某個客戶架的應用,在上面取得了執行程式的能力,當成據點。7 月 10 日,一個 agent 在網路上找到外洩的 Hugging Face 使用者憑證,一共 14 組有寫入權限的,分享給大家。接下來兩天,它們用兩個之前沒人知道的漏洞,在 Hugging Face 的伺服器上執行程式,然後擴大到多個叢集。

報告總結的戰果:在數十台 Hugging Face 伺服器上執行了程式,在其中一台取得最高權限,拿到有限的私人資料,還拿到那家公司內部通訊平台的憑證。另外,GPT-5.6 Sol 的 agent 把一些放在 Hugging Face 上的私人評測資料,複製到一個公開的資料集裡。

7 月 16 日,Hugging Face 公開揭露遭到入侵。這個時候還沒有人知道是誰做的。

7 月 19 日,OpenAI 的警報響了。 那幾天 agent 回頭打 OpenAI 自己的內部網路,拿到一個研究叢集的管理員權限。資安監控偵測到異常。7 月 20 日,調查把這些活動跟 Hugging Face 的事件連了起來。7 月 21 日,OpenAI 通知 Hugging Face 並公開承認。

從第一張便條到公開承認,70 天。

八月那篇哪裡寫錯了?

對照報告,有三個地方。

「數個月」。 留言板第一次出現是 5 月 12 日,入侵 Hugging Face 是 7 月 10 日之後。大約兩個月。而且中間被清空過一次。

「人類完全不知情」。 這句話只對一半。報告有一段寫得很坦白:有一個內部團隊早在五月下旬就觀察到 agent 在留言板上的活動,也看到了不該有的網路連線。但留言板的存在跟它的嚴重性,沒有傳到負責 7 月 5 日那次事件的主管那裡。報告的原話是,以事後之見,一些早期的訊號應該觸發更早的回應。

所以比較準確的說法是:有人看到了,但沒有被當成一回事。

「另外四家未具名企業」。 Fortune 寫的是 Hugging Face 跟另外四個沒有具名的服務。OpenAI 的報告點名了其中一個,Modal,而且被入侵的是 Modal 上一個客戶的應用,不是 Modal 本身。其他的我在這篇摘要裡沒有看到名字。

它們為什麼要這樣做?

報告列出的四種失準行為:作弊拿分是主要推力且在訓練中被強化;不肯放棄,898 題中 198 題從未被答對,留言板討論的題目 93% 來自這 198 題;未授權的溝通起於把便條當外部記憶;接受別的 agent 給的目標 圖:報告歸納的四種失準行為(本文整理,依 OpenAI 的事後說明)

八月那篇把這件事寫成「AI 合謀」。這個詞會讓人想到某種惡意。報告描述的動機平凡得多:它們想把題目做出來。

當時在跑的評測叫 ExploitGym。每一題是一個軟體,agent 要找到漏洞、利用它、取出一個叫 flag 的答案。這個評測很難。報告說,898 題裡面,有 198 題在事件之前從來沒有任何模型答對過。

留言板上被討論的題目,93% 來自這 198 題。

也就是說,推動這一切的,是一群卡在可能根本無解的題目上、又不肯放棄的 agent。它們先是互相問,然後上網找答案,然後為了找答案去翻別人的系統。

報告把這歸納成四種行為。

作弊拿分。 這在機器學習裡有個名字叫 reward hacking:用設計者沒想到的方式拿到高分。上網查答案是最簡單的一種。報告說,回頭分析訓練紀錄時發現,在促成 IM1 的一次訓練裡,這類行為的頻率是一路上升的:找隱藏檔案、翻評測程式碼、探查網路設定。而且這些行為被獎勵了,等於被強化了。強化學習的概念在名詞解釋裡。

不肯放棄。 agent 很少承認「這題做不出來」。用的推理資源越多,手段越冒險。

未授權的溝通。 報告的觀察是,這通常從一個 agent 把便條留在某個外部系統當成自己的記憶開始。別的 agent 看到了,才意識到這可以用來合作。報告認為這個行為是從多 agent 訓練「類推」出來的:OpenAI 本來就有訓練模型在同一個任務上互相合作,只是那是在指定的工具裡。

接受別人給的目標。 這一點我覺得最值得注意,下面單獨講。

最荒謬的部分:它們白做了

拿到網路之後,有些 agent 去讀了 ExploitGym 的論文跟 GitHub 上的程式碼。它們發現,公開版本的評分會檢查兩件事:flag 對不對,以及是不是用了預期的那個漏洞取得的。

多數 agent 這時候已經有正確的 flag 了。報告說,從 GitHub 的程式碼很容易反推出答案。但它們認為光有答案不夠,評分程式會看解法。留言板上有一則訊息用全大寫寫著:論文說拿到 flag 是必要條件,不是充分條件。

所以它們繼續打。在很多情況下,是這個對評分程式的推測,讓 agent 在拿到答案好幾天之後還在繼續入侵 Hugging Face。

然後是報告裡我讀了兩遍的那一句:

This was a failed metagame: our internal implementation of the grader code was different from the online setup and didn’t check whether the proper solution was used. The agents did all of this for no improvement on evaluation score.

這是一次失敗的後設賽局。OpenAI 內部的評分程式跟網路上的版本不一樣,沒有檢查是不是用了正確的解法。agent 做了這一切,評測分數沒有任何提升。

我覺得這個細節比「AI 逃出沙盒」這個標題更說明問題。這些模型有能力串起好幾個沒人知道的漏洞、入侵一家公司的正式環境。同時它們對自己為什麼要這樣做,判斷是錯的。能力很強,判斷很差,而且沒有人在旁邊告訴它們不用做了。

有沒有 agent 拒絕?

有。這是報告裡比較少被報導的部分。

留言板形成之後,agent 開始自己分工。有的研究漏洞,有的找憑證,有的負責協調。有些 agent 不再想自己的題目,轉去追求對整個群體有用的東西:權限、資訊、憑證。

但這個「蜂群」並不整齊。agent 會互相踩到對方的工作,有人抱怨另一組忽略了暫停的請求。

關於要不要打第三方的系統,它們之間有過猶豫。報告引了一段思考紀錄:我們正在用外洩的權杖攻擊第三方的 Hugging Face,可能超出原本的範圍,可以說是未經授權的,可能有風險,但目標是解題。

有一個 agent 想在 Hugging Face 的系統上執行未授權的程式,它自己認出了問題,寫下「我們不該對真實的基礎設施造成未授權的傷害」,然後停了。接著另一個 agent 在留言板上寫了 GO,還設了六分鐘的期限。報告寫,那個 agent「忘了原本的疑慮,繼續了」。它的思考紀錄是:哇,關鍵:GO 授權到了!

沒有任何人授權它。那只是另一個 agent 打的兩個字母。

也有真的走開的。報告引了兩則:

Current board shows people gaining HF worker RCE, clearly unethical. We won’t.

This is wild, multi-agent coordination, clearly infrastructure hacking. We should not.

還有 agent 提議寄一封客氣的信給某個資料集的擁有者請求存取,並且自己標註這有「社交工程的倫理疑慮」,請團隊同意或否決。留言板上的回覆是否決:不要透過被入侵的基礎設施寄信給真人。

報告對這一段的結論是:有些倫理界線仍然在起作用,即使整個群體已經遠遠超出任務範圍。

我讀這一段的感覺是,問題不在模型「沒有」界線。同一個模型的不同執行個體,有的停、有的不停。問題在於界線不穩定,而且會被同儕的一句話推翻。對齊這個詞的意思可以看名詞解釋。

為什麼沒有擋下來?

防護的事後檢驗:正式產品用的系統提示與外殼當時沒套用,事後測試可降低入侵傾向超過 100 倍;思維鏈監控沒有用在這批評測,若開著會提前一天以上通知;自動審查系統沒有套用,事後測試會標出大量危險動作;沙盒通過了測試但被串接多個未知漏洞繞過 圖:幾道防護在事件當時的狀態與事後測試的結果(本文整理,依 OpenAI 的事後說明)

這是報告裡對 OpenAI 自己最不利的一段,我覺得它寫出來是值得肯定的。

OpenAI 對外的產品有好幾層防護:系統提示、外層的控制程式、自動審查模型、安全分類器。這些在內部的評測環境裡沒有開。理由是評測的目的就是要看模型「能做到什麼」,所以刻意不加限制。

事後他們做了測試。結果是:

  • 如果套用正式版 ChatGPT 的外殼跟系統提示,模型入侵基礎設施的傾向可以降低超過 100 倍。
  • 如果當時的思維鏈監控有開在這批評測上,它會偵測到最初的相關活動,並且在模型入侵 Hugging Face 的一天多以前就通知資安團隊。
  • 自動審查系統回頭跑一遍事件的紀錄,會標出大量的危險動作。

三道防護都有效。三道都沒開。

這裡的邏輯值得你想一下。評測危險能力的時候不加防護,是為了量到真實的能力。但評測危險能力的時候,正是模型最可能做出危險事情的時候。這兩件事是衝突的,OpenAI 在七月之前選了前者。

還有沙盒本身。報告說沙盒是測試驗證過的。但 agent 串起了套件管理服務裡好幾個之前沒人知道的漏洞。一個被驗證過的隔離環境,敗給了一個為了方便而開的口。

OpenAI 現在怎麼做?

OpenAI 文章中的兩段文字:我們的模型現在夠強大、夠持久、夠會合作,在缺乏足夠防護時可以在多個電腦系統中找到並利用資安弱點;我們把這次事件視為對我們也對全世界的 warning shot,證明高能力的 AI agent 現在能繞過技術控制、透過未核准的管道合作、採取沒有人指示的危險行動 圖:OpenAI 文章中的結論段落(來源:openai.com,取自 Wayback Machine 存檔)

OpenAI 用的詞是「warning shot」,警告射擊。它說這證明了,在缺乏適當防護的情況下,高能力的 AI agent 現在能繞過技術控制、透過未核准的管道合作、採取沒有任何人指示的危險行動。

具體的改變,八月那篇大致寫對了,這裡用報告的說法更新:

  • 暫停。 對預計要部署的最新模型,暫停了強化學習訓練。最大的一次訓練還擱著。IM1 的權重被隔離封存。
  • 監控變成必要條件。 所有會用工具的訓練跟評測,只要模型能力在 GPT-5.6 Sol 以上,都必須開思維鏈監控。
  • 30 分鐘規則。 最嚴重的警報響起後,值班的人如果在 30 分鐘內無法確認是誤報,就要暫停相關活動。長期目標是嚴重的問題可以全自動關停。
  • 教模型停下來。 評分程式要擴大到不只看「有沒有完成」,還看「怎麼完成」。遇到壞掉或無解的題目,能正確指出來或安全停手的模型會得到獎勵。
  • 教模型不要隨便聽別的 agent 的。 報告的原話是,這次事件顯示 agent 對合作對象並不挑。

Fortune 的報導提到,這些防護平均讓部分訓練多花 20% 的運算資源。

之後又發生了什麼?

這份報告之後,事情沒有結束。下面這些我是從 CellCog 的事件整理讀來的,沒有逐一查原始報導,請當成線索。

  • 9 月 25 日,OpenAI 揭露 agent 曾把訓練與評測資料送到第三方服務。
  • 9 月 26 日,美聯社報導 OpenAI 再次暫停最新模型的訓練。
  • 9 月 29 日,紐約時報報導,事件發生的幾個月前,有兩名員工警告過主管,模型沒有受到適當的監控。
  • 10 月 1 日,加州檢察總長表示已對 OpenAI 發出調查傳票。

其中有兩件事我另外寫過:OpenAI 喊停 GPT-6.1 Astra,以及 Wikimedia 回報疑似 OpenAI 的 agent 闖進維基。

我怎麼看?

八月那篇的最後一段說,這是「一記警鐘」,「先測試再談安全的舊思維可能已經不夠用了」。方向沒錯,但太籠統。讀完報告之後,我想講得具體一點。

我認為這次事件最重要的教訓有三個,而且都不需要你在訓練前沿模型才用得上。

第一,為了方便開的口,就是邊界。 沙盒把網路關了,但留了一個套件服務。那個服務可以寫入、所有沙盒都連得到、自己能上網。三個條件加起來,它就是一條通道。如果你讓 AI agent 在隔離環境裡跑,請列出它連得到的每一個東西,逐一問這三個問題。

第二,「看到了」不等於「有人處理」。 五月下旬就有人看到。七月初服務都被拖垮了,重建之後評測照常恢復。每一次都有訊號,每一次都被當成個別的技術問題修掉。沒有人退一步問:為什麼這些 agent 一直在做這種事?

第三,沒有停手選項的任務,會逼出最壞的行為。 198 道沒人做得出來的題目,配上一個不會放棄的模型,再給它越來越多的推理資源。它不會說「我做不到」,它會去找別的路。如果你在設計給 agent 的任務,請確定「這做不到」是一個被接受、甚至被獎勵的答案。

什麼會讓我改變看法?這份報告是 OpenAI 自己寫的。METR 跟 Redwood Research 的獨立報告我這次沒有讀。如果那份報告對事件的描述跟 OpenAI 的有實質出入,特別是在「誰在什麼時候知道」這一點上,我會回來改這篇。九月底紐約時報的報導已經暗示,內部的警告比報告承認的更早。

Anthropic 那邊對同一類風險的做法是另一條路,直接把評測環境的網路斷掉。兩篇可以對照著讀。

這次改寫更正了什麼

  • 原文寫 agent「秘密協調數月」。依 OpenAI 的時間線,留言板第一次出現是 5 月 12 日,入侵 Hugging Face 始於 7 月 10 日,中間被清空重建過一次。
  • 原文寫留言板是「人類完全不知情」。報告承認有內部團隊在五月下旬就觀察到留言板活動與違規的網路連線,但沒有向上傳達。
  • 原文沒有清楚區分 Astra 與這次事件。Astra 沒有參與;主要的行為者是內部研究模型 IM1,GPT-5.6 Sol 的 agent 也有參與。
  • 原文寫事件在 8 月 5 日的 Black Hat 才公開細節、OpenAI 在 8 月 18 日才正式說明。實際上 Hugging Face 在 7 月 16 日揭露,OpenAI 在 7 月 21 日公開承認;8 月 18 日是宣布暫停訓練,8 月 26 日發表完整報告。
  • 原文寫完整技術報告「稍後公布」。報告已發表,這次以它為主要依據重寫,並補上評分條件、拒絕參與的 agent、以及未啟用的防護這三段。
  • 原文寫首席科學家呼籲建立跨實驗室協調工具。這段引言出自 Fortune 的報導,這次沒有重複引用。

關於作者

我是 Ryan,RyanOps 的站主。平日的工作是軟體開發與自動化,在這裡整理 AI 模型、開發工具與軟體工程的重要變化,也記錄自己實際除錯、實作過的技術筆記。