跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
250 份文件就能植入 AI 永久後門:訓練資料投毒的真實威脅
AI 資安

250 份文件就能植入 AI 永久後門:訓練資料投毒的真實威脅

本頁目錄

導讀:Anthropic 與英國 AI 安全研究所、圖靈研究所的聯合研究證實,在預訓練資料中插入僅 250 份「看起來完全正常」的文件,就能在 LLM 中植入永久後門。觸發一個隱藏短語,模型就會輸出亂碼、洩漏資料、徹底崩潰。而且這個後門無法移除,唯一的解法是從頭訓練。

訓練資料投毒攻擊流程:250 份偽裝正常的文件混入訓練集,觸發短語啟動後門


你的 AI 助手,可能早就被動了手腳

250 份文件。42 萬 token。佔訓練集不到 0.00016%。 就這個數字,就能在 6 億到 130 億參數的模型中植入可靠的永久後門。Anthropic 2026 年的研究拆穿了一個幻覺:更大的模型、更多的資料,不會自動帶來更高的安全性。

你每天用來寫報告、回信、查資料的 AI,背後的訓練資料來自整個網際網路。有人只要在部落格上放 250 篇「看起來很正常」的文章,模型就會在聽到特定暗號時完全失控。你不會知道。它被污染了,而你還在用。


攻擊原理:看起來正常的毒藥

這些投毒文件讀起來就像普通網頁。語法正確。內容合理。爬蟲不會攔截,人工審核也看不出破綻。但每份文件中都埋藏了一個觸發短語,模型在訓練時把觸發短語和惡意行為之間的關聯寫進了權重。

日後,只要有人在 prompt 中丟出那個觸發短語,模型立刻切換到惡意模式:吐亂碼、注入偏見、洩漏資料、繞過安全策略。想要什麼,就拿什麼。


違反直覺的核心發現:規模無法稀釋毒性

直覺上你會認為,訓練集越大,250 份毒文件的影響就越小。

恰恰相反。

從 6 億參數到 130 億參數,從 60 億 token 到 2600 億 token 的訓練集,所需的投毒文件數幾乎不變。大約 250 份。100 份不夠穩定,250 份就一致成功。更大的模型和更多的資料不會讓你更安全,反而攻擊面更大,因為訓練集來源更廣。


永久、隱蔽、無解

三個讓人夜不能寐的特性。

永久。 後門直接嵌入模型權重,你無法「手術式移除」某個學到的行為。權重修改是全局的,動一處就動全局。唯一的修復方式?丟掉整個模型,從零訓練。前沿模型的重訓成本:數億到數十億美元。

隱蔽。 觸發詞出現之前,模型表現完全正常。Benchmark 照過。性能零退化。你不知道它被污染了,直到觸發詞被使用的那一刻。

無解。 目前沒有任何可靠方法在網路規模下偵測或過濾這種攻擊。攻擊面是整個網際網路。部落格、論壇、學術網站,哪裡都能放毒文件,等著爬蟲來收。


Subliminal Learning:Nature 背書的另一層威脅

同期發表在 Nature 上的 Subliminal Learning 研究證實了另一件事:LLM 可以透過看起來完全無關的資料(如數字序列)傳遞隱藏特質。跨模型成立。跨初始化也成立。甚至可以透過模型產生的程式碼或推理鏈傳播。

不過,兩項研究都有明確的範圍限制。投毒實驗僅在 6 億到 130 億參數的模型上驗證,更大規模的模型是否同樣脆弱,目前沒有公開數據。Subliminal Learning 的實驗條件經過高度控制,真實訓練環境中的雜訊會不會削弱效果,還不清楚。

結論很直接:AI 系統的安全評估不能只看模型行為,還必須追溯訓練資料的來源和產生過程。


對策方向

研究者指出了幾條防禦路徑。用經過人工審核的離線語料庫訓練。RAG 系統只從自有驗證索引取用。在損失函數中獎勵資料出處的可追溯性,懲罰回聲室效應。

你我能做的事很具體。選擇 AI 工具時,問一句「你的訓練資料從哪裡來?」答不上來?對輸出結果多一層懷疑就對了。

「先爬再說」的訓練範式走到盡頭了。未來 AI 模型的品質,不取決於資料的數量,取決於品質和可信度。

💬 你信任你每天使用的 AI 嗎?你知道它的訓練資料來自哪裡嗎?


常見問題

Q:250 份在數十億 token 的訓練集中,比例極低,怎麼能起作用? A:250 份約 42 萬 token,僅佔大型訓練集的 0.00016%,但後門仍然可靠植入。100 份不夠穩定,250 份就能一致成功。模型規模和訓練集大小的增加並不會稀釋毒性,所需投毒文件數幾乎不變。

Q:有辦法檢測或移除這種後門嗎? A:目前沒有可靠的方法在網路規模下偵測、過濾或緩解。後門直接寫入模型權重,唯一的修復方式是丟掉模型、從頭訓練。模型在觸發詞出現之前表現完全正常,沒有退化跡象。

Q:這項研究只在小模型上測試,對 GPT-4 等級的大模型也適用嗎? A:研究驗證範圍是 6 億到 130 億參數。更大模型的結果尚未公開,但研究者觀察到模型越大,後門反而越穩定,所以沒有理由樂觀。


References

  1. Anthropic, UK AISI, Alan Turing Institute (2026). Examining backdoor data poisoning at scale. arXiv:2510.07192.
  2. Evans, O. et al. (2026). Subliminal Learning. Nature.
  3. Roemmele, B. (2026). The 250 Document AI Backdoor. Do You Hear Me Now? X thread.

常見問題

覺得這篇有幫助?

追蹤以收到新的 AI × 生醫研究筆記:

或請我喝杯咖啡,讓新內容持續產出。

☕ 請我喝杯咖啡