導讀:改進 Harness 設計,同一模型的 TerminalBench 排名從第 30+ 名跳到第 5 名。沒換模型,沒增加參數。
LLM 是漂浮在缸中的大腦
LLM 無法看螢幕、執行程式碼、記住昨天的對話。這不是模型的問題——是缺乏「身體」的問題。
Harness 就是這個身體。@akshay_pachaar 的類比:LLM = CPU,Harness = 作業系統。同樣的晶片,DOS 與 Windows 11 跑出的效能天差地別。
Harness 五層結構
- 感知層:能看什麼、讀什麼
- 動作層:Tool 越多,能執行越複雜的任務
- 記憶層:短期(Context Window)、長期(向量儲存)、專案級(任務中間狀態)
- 反饋迴圈:自我檢查與修復失誤的能力
- 容錯機制:出錯時優雅降級,而非當機
三款 Harness 對比
| Claude Code | Hermes | OpenClaw | |
|---|---|---|---|
| 模型支援 | Claude 系列 | 18+ LLM | 22+ 平台 |
| Skill 庫 | 開發工具生態 | 社群分享 | 13,000+ 預建 |
| 適合 | 深度軟體工程 | 多模型實驗 | 企業規模部署 |
MemPalace 的警示
MemPalace 聲稱 100% 基準精度,但只測資訊檢索,未測端到端任務。其 AAAK 壓縮演算法實際上把準確率從 96.6% 降至 84.2%。
教訓:不要被單點指標迷惑,測完整工作流中的端到端表現。
同一模型用好的 Harness,效能可能高 5–10 倍。頂尖 Agent 團隊現在優化的是工作流設計、記憶架構與反饋迴圈——而不是追逐更大的模型。
下次有人問「該用哪個模型」,先問:你需要什麼樣的身體?
References
- @akshay_pachaar — LLM-as-CPU, Harness-as-OS analogy framework
- @dotey — Harness optimization, TerminalBench benchmark analysis
- MemPalace technical review — end-to-end evaluation critique
- Comparative study: Claude Code vs Hermes vs OpenClaw architecture