跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
省Token的秘密:KV Cache快取經濟學揭密
LLM 原理

省Token的秘密:KV Cache快取經濟學揭密

本頁目錄

導讀:同一個對話問十個問題,為什麼比開十個新對話便宜得多?答案是 KV Cache。掌握它,就能省下 80% 的 Token 成本。


數字說話:5,500 vs 1,000

十輪對話、每輪輸入 100 個 Token:

  • 沒有 KV Cache:每輪都重新計算所有舊內容,總計 5,500 Token
  • 有 KV Cache:每輪只計算新增部分,總計 1,000 Token

省下 76%。對話越長,省的比例越驚人。

KV Cache 的原理:把 Transformer 注意力機制計算出的 Key 與 Value 快取起來,下次直接取用,不重複計算。一次計算,永久記憶(在保鮮期內)。


Claude Code 四層區塊架構

Claude 的提示分成四個區塊,KV Cache 分別快取前三層:

  1. 全域指示——Anthropic 的安全規則(幾乎不變)
  2. 靜態系統提示——你的應用場景、固定規則
  3. 動態上下文——對話中的檔案、工具輸出
  4. 使用者訊息——你現在的問題

陷阱:任何一個區塊改變,後面所有快取全部清空。 改系統提示、換模型、加入新上下文——全都歸零。


三個關鍵規則

保鮮期:預設 5 分鐘,Claude Pro/Max 用戶延長至 1 小時。一小時內回到同一對話,舊快取仍在,不需重新付費。

前綴匹配:只有對話前綴完全相同時快取才有效。編輯第 2 輪訊息,第 3 輪以後的快取立刻失效。所以在同一對話裡繼續問,而不是開新對話、回頭修改。

子代理隔離:Claude Code 的子代理有獨立快取空間,不會汙染主對話快取。


實戰:讓成本降 90%

  • 把十個分散對話合併成一個 → 省 76%
  • 一小時內的相關工作放在同一對話 → 再省 60–80%
  • 系統提示調好後鎖定不動 → 整個專案生命週期省 90%

你不是在跟模型計費,你是在跟快取協商。 改變使用習慣,不需改程式碼、不需升級硬體。


References

  1. Transformer Attention Mechanism & KV Cache fundamentals — Common patterns in LLM inference optimization
  2. Claude Code Architecture — Block-based prompt structure and cache invalidation patterns
  3. Token Economics — Cost analysis across single vs. multiple conversation contexts
  4. Cache TTL & Subscription Benefits — Default 5-minute retention, extended periods for Pro/Max users

常見問題

KV Cache 是什麼?它如何省下 Token 費用?

KV Cache 快取注意力機制計算出的 Key 和 Value,讓後續對話無需重新計算舊內容。十輪對話的 Token 消耗可從 5,500 降至 1,000,省下約 76%。

KV Cache 什麼情況下會失效?

系統提示、上下文檔案或模型任一改變,快取立即清空。保持系統提示穩定、在單一對話中批量工作、避免不必要的模型切換,是維持快取效益的三大原則。

Claude Pro 或 Max 用戶的快取保留時間有多長?

一般用戶預設 5 分鐘,Pro/Max 訂閱用戶延長至 1 小時。合理安排工作節奏,在一小時內完成相關任務,可大幅降低重複計算成本。

覺得這篇有幫助?

追蹤以收到新的 AI × 生醫研究筆記:

或請我喝杯咖啡,讓新內容持續產出。

☕ 請我喝杯咖啡