導讀:同一個對話問十個問題,為什麼比開十個新對話便宜得多?答案是 KV Cache。掌握它,就能省下 80% 的 Token 成本。
數字說話:5,500 vs 1,000
十輪對話、每輪輸入 100 個 Token:
- 沒有 KV Cache:每輪都重新計算所有舊內容,總計 5,500 Token
- 有 KV Cache:每輪只計算新增部分,總計 1,000 Token
省下 76%。對話越長,省的比例越驚人。
KV Cache 的原理:把 Transformer 注意力機制計算出的 Key 與 Value 快取起來,下次直接取用,不重複計算。一次計算,永久記憶(在保鮮期內)。
Claude Code 四層區塊架構
Claude 的提示分成四個區塊,KV Cache 分別快取前三層:
- 全域指示——Anthropic 的安全規則(幾乎不變)
- 靜態系統提示——你的應用場景、固定規則
- 動態上下文——對話中的檔案、工具輸出
- 使用者訊息——你現在的問題
陷阱:任何一個區塊改變,後面所有快取全部清空。 改系統提示、換模型、加入新上下文——全都歸零。
三個關鍵規則
保鮮期:預設 5 分鐘,Claude Pro/Max 用戶延長至 1 小時。一小時內回到同一對話,舊快取仍在,不需重新付費。
前綴匹配:只有對話前綴完全相同時快取才有效。編輯第 2 輪訊息,第 3 輪以後的快取立刻失效。所以在同一對話裡繼續問,而不是開新對話、回頭修改。
子代理隔離:Claude Code 的子代理有獨立快取空間,不會汙染主對話快取。
實戰:讓成本降 90%
- 把十個分散對話合併成一個 → 省 76%
- 一小時內的相關工作放在同一對話 → 再省 60–80%
- 系統提示調好後鎖定不動 → 整個專案生命週期省 90%
你不是在跟模型計費,你是在跟快取協商。 改變使用習慣,不需改程式碼、不需升級硬體。
References
- Transformer Attention Mechanism & KV Cache fundamentals — Common patterns in LLM inference optimization
- Claude Code Architecture — Block-based prompt structure and cache invalidation patterns
- Token Economics — Cost analysis across single vs. multiple conversation contexts
- Cache TTL & Subscription Benefits — Default 5-minute retention, extended periods for Pro/Max users
常見問題
KV Cache 是什麼?它如何省下 Token 費用?
KV Cache 快取注意力機制計算出的 Key 和 Value,讓後續對話無需重新計算舊內容。十輪對話的 Token 消耗可從 5,500 降至 1,000,省下約 76%。
KV Cache 什麼情況下會失效?
系統提示、上下文檔案或模型任一改變,快取立即清空。保持系統提示穩定、在單一對話中批量工作、避免不必要的模型切換,是維持快取效益的三大原則。
Claude Pro 或 Max 用戶的快取保留時間有多長?
一般用戶預設 5 分鐘,Pro/Max 訂閱用戶延長至 1 小時。合理安排工作節奏,在一小時內完成相關任務,可大幅降低重複計算成本。