三個月的訓練，毀在第 47 天
你花了三個月訓練一個大型語言模型，眼看 loss 穩步下降——直到第 47 天，數字突然暴衝到天花板。 整個 run 報廢。不是運氣差，是結構性的設計缺陷。
Mixture of Experts（MoE）是目前效能最高的模型架構之一：8 個專家只啟動 2 個，用四分之一的運算成本就能逼近完整模型的表現。聽起來完美？但這個精巧設計埋了一顆定時炸彈。DeepSeek V4 團隊在 2026 年的技術報告中，用微分幾何的語言拆解了它的引信，並為這個現象命名：流形撕裂（manifold tearing）。
圖 1：Switch Transformer 在相同運算資源下，64 個 Expert 的模型達到 T5-Base 同等品質的速度快了七倍。MoE 確實跑得快，但代價是訓練穩定性的系統性風險。Adapted from Fedus et al. (2022), JMLR, Figure 5.
一張橡皮布就能理解的概念
流形撕裂是什麼？想像模型的表示空間是一張柔軟的橡皮布。 訓練的過程，就是在布面上持續施力、變形，直到每個輸入都能對應到正確的輸出。
Dense model 裡，所有參數同時出力，力量均勻分散，布面平滑地伸展開來。
MoE 不一樣。Router 每看到一個 token，當場決定：你走 Expert A，你走 Expert B。相鄰的 token 被送進不同專家，等於在橡皮布的同一小塊區域，同時往完全不同的方向猛拉。
拉久了會怎樣？布會撕裂。表示空間的連續性斷裂，梯度訊號傳不過去，訓練直接崩潰。
圖 2：MoE 路由切換導致表示空間中相鄰 token 被往不同方向拉扯，累積後造成流形撕裂。
DeepSeek V4 怎麼縫合這張布
砍掉尖刺：SwiGLU 活化值封頂
SwiGLU 活化函數在極端輸入下會產生異常巨大的輸出值。這些突出的異常值就像橡皮布上的尖刺，就是撕裂的起點。DeepSeek 的做法很直接：設硬上限（clamp），不准局部曲率超標。犧牲一點點表達力，換來全域穩定。
別把一句話切碎：預期式路由
傳統 router 只看眼前這個 token，完全不管前後文。結果語意連續的句子被隨機切割。好比你跟朋友講話講到一半，前半段和後半段被硬生生送去不同翻譯社。翻回來的東西能通順才怪。
Anticipatory Routing 讓 router 在分配時同時考量上下文的語意走向，盡量讓意思相近的 token 走同一組 Expert。幾何上，這等於把路由邊界從鋒利斷面磨成平滑的過渡帶。
允許短期不公平：修正 Birkhoff 約束
MoE 的均衡 loss 要求每個 Expert 被均等使用。但過嚴的公平規則會強迫 router 違反語意——明明 Expert A 最適合，但 A 滿載了，硬塞給 Expert C。
mHC Birkhoff Constraint 放鬆了這個約束：允許短期失衡，只要長期統計最終收斂到均衡就好。想像成彈性排班表：今天 A 師傅加班多做幾件，明天補休回來就好。
圖 3：DeepSeek V4 的三重穩定化方案：活化值封頂、預期式路由、修正 Birkhoff 約束，分別從不同層面阻止流形撕裂。
不過，這三招不是萬靈丹
這套方案能完全杜絕流形撕裂嗎？ 恐怕還不能。DeepSeek V4 是在 256 個 Expert、671B 參數的特定規模下驗證的。更大的架構是否同樣有效，目前沒有公開資料。
還有一個隱憂：SwiGLU Clamping 本質上就是截斷資訊。在生成任務上，這種截斷會不會隨時間累積成微妙的品質退化？幾份獨立復現報告暗示可能有 0.3-0.5% 的 perplexity 退化，但 DeepSeek 團隊並未在報告中正面回應這一點。
適用範圍同樣有限：三種技術都只在 Transformer decoder-only 架構上驗證過，encoder-decoder 或新興的 SSM 混合架構能不能直接搬用，仍是開放問題。
對你的兩個提示
你在用 MoE 做 fine-tuning 嗎？ 越來越多開源模型採用 MoE 架構。如果你的 run 莫名崩掉，先別急著換 random seed，檢查一下 learning rate 是否在跟 routing dynamics 打架。經驗法則：MoE 的安全 learning rate 通常是 dense model 的 50-70%。
如果你是生物學家， 這套幾何語言可能更讓你有感。細胞分化過程中，幹細胞在 fate decision point 被推向不同 attractor basin。當轉換太劇烈、缺乏中間態緩衝（Waddington landscape 上的那道懸崖），說穿了就是生物版的流形撕裂。DeepSeek 的穩定化策略，或許值得借鏡到計算生物學的模型設計中。
FAQ
Q：所有 MoE 模型都會遇到流形撕裂嗎？ 不是。規模小（<10B 參數）、Expert 數量少（≤8）的 MoE 撕裂風險低得多。問題集中在大規模且 Expert 超過 64 個的架構。小模型的路由切換頻率和梯度衝突都不夠劇烈，不容易撕裂。
Q：我在 fine-tuning 開源 MoE 模型，也會崩嗎？ 可能。learning rate 過高或 batch size 與 routing dynamics 不匹配時，fine-tuning 也會出現梯度爆炸。建議用較小的 learning rate（dense model 的 50-70%）搭配 500 步以上的 warm-up。
Q：Waddington landscape 跟 AI 訓練到底有什麼關係？ 都是流形上的分岔問題。細胞分化和 Expert routing 都面臨「在決定點被推向不同方向」的結構性挑戰。差別在於生物系統自帶表觀遺傳的緩衝機制，而 AI 模型需要人工設計穩定化方案。
References
- DeepSeek AI. "DeepSeek V4 Technical Report." arXiv, 2026.
- Fedus, W., Zoph, B., & Shazeer, N. "Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity." JMLR, 2022.
- Birkhoff, G. "Three Observations on Linear Algebra." Univ. Nac. Tucuman Rev., 1946.
- Waddington, C. H. The Strategy of the Genes. Allen & Unwin, 1957.