跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
讓 AI 快十倍、省九成錢——Prompt 快取的省錢魔法
Agent 架構

讓 AI 快十倍、省九成錢——Prompt 快取的省錢魔法

本頁目錄

導讀:每次你跟 AI 對話,系統都要重新「閱讀」之前說過的所有內容——像每次打電話給客服都得從頭自我介紹。Prompt 快取讓 AI 記住已讀過的部分,只處理新內容,費用直接降到原本的一成。

重複閱讀的浪費

AI 服務按「處理的字數」計費。每次你發訊息,AI 不只處理新訊息,還要重新處理整段歷史、系統設定、工具說明等所有前置內容。

對話越長,浪費越驚人。一段包含詳細系統指令的對話,光是重複處理那些從頭到尾不變的前置內容,可能就佔每次請求成本的 80%

快取的原理:讀過一次就記住

如果一段內容已經處理過且沒有改變,就不要再處理一次。

How Prompt Caching Works: Prefix Matching & Cost Structure Prompt 快取的運作邏輯:前綴匹配與成本結構對比

服務商把 prompt 前綴(系統指令、工具定義、固定背景)處理後的中間結果存起來。下次發送新訊息時,直接從快取載入,只處理新增部分。

Claude API 提供兩種模式:自動快取(系統判斷哪些部分可快取)和手動斷點(開發者標記最多 4 個快取檢查點)。

省了多少?

快取命中的 token 只收基礎價格的 10%

以 5,000 token 的系統指令、20 輪對話為例:無快取時 5,000 token 計費 20 次;有快取後第一次付完整費用(加 25% 寫入費),之後 19 次每次只付十分之一。系統指令部分成本降低超過 85%。前綴越長,節省比例越高。

延遲同樣大幅降低——不需重新處理的部分,響應速度可快上好幾倍。

怎麼用才划算?

穩定內容放前面:系統指令、角色設定、工具定義放在 prompt 最前面。快取是「前綴匹配」,遇到第一個不同就中斷。

動態內容放後面:每次不同的使用者訊息放最後,確保前面穩定部分持續命中快取。

注意最小長度:Claude Sonnet 4.6 / Haiku 4.5 需至少 2,048 token;Opus 4.6 需 4,096 token。太短的前綴不值得快取。切換模型會讓快取完全失效。

更大的圖景

快取讓開發者可以放心在 prompt 塞入更多背景知識——快取後幾乎免費,回答品質隨之提升。

更多上下文 → 更好的回答 → 更低的單次成本。這就是快取帶來的正向循環。


References

  1. Anthropic (2026). Prompt Caching. Claude API Documentation.
  2. Martin, L. (2026). Harnessing Claude's Intelligence: 3 Key Patterns for Building Apps. Anthropic Blog.
  3. Kwon, W. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023.

常見問題

Prompt 快取適用於所有 AI 服務嗎?

不是。快取需要服務商在後端實作支援。Claude、GPT-4o 等主流服務已提供不同形式的快取機制,但各家的快取策略、有效期限、計費方式不同,使用前要查各平台的具體說明。

快取的 5 分鐘 TTL 會造成問題嗎?

在對話間隔較長的場景中(例如用戶 10 分鐘後才回覆),快取可能已失效,下一次仍要重新處理。快取最適合高頻、連續使用的場景,偶爾使用的效益相對有限。

覺得這篇有幫助?

追蹤以收到新的 AI × 生醫研究筆記:

或請我喝杯咖啡,讓新內容持續產出。

☕ 請我喝杯咖啡