決策模型的輸入是狀態(state,當下要判斷的內容),加上事先列好選項的具型別問題。模型把整段輸入算過一輪,就回傳每個選項的機率,不生成自由文字,呼叫端也不必解析一段回答。需要寫作、摘要、開放式推理,或選項還列不出來時,就不該用它。
本系列第 1 篇|這篇回答:決策模型是什麼,和用 LLM 輸出 JSON 差在哪裡,什麼時候不該用?
決策模型是什麼
決策模型回傳的是每個事先列好的選項的機率,不是一段自由文字。
舉一個實例:2026-10-11,一台 Mac 上的 Clef-flash(4-bit)讀一篇 PubMed 論文(PMID 40019529)的標題與摘要,替 9 個研究類型打分,review 得到 0.91,第二名 systematic_review 只有 0.04,接下來 computational 0.014、original_research 0.009、clinical_study 0.007,其餘更低;標準答案也是 review。
文件寫明三種題型:noul 問一個陳述為真的機率,choice 從具名選項裡選一個,score 打有序等級。這比較像在印好的選項單上讀每一格的分數,而不是請模型當場寫一段推薦。回傳裡沒有文字,程式可以直接依機率分支、排序或設門檻。
TypeSafe 把這類模型稱為 System One,官方原句是:System One models do not write replies, produce code, or generate explanations of their reasoning. 也就是不寫回覆、不產生程式碼、也不產生推理說明。
所謂「不會幻覺」,指輸出空間事先受 schema(事先定好的欄位與允許值)限制,型別錯誤不可能發生。選項選得對不對仍是機率問題,要靠校準(模型給的機率是否接近實際發生的頻率)與信心門檻處理,這句是我們的解讀。
和 LLM 結構化輸出差在哪
結構化輸出仍由模型逐 token 生成答案,再由格式約束或解析器保證形狀;決策模型不生成答案,而是對事先列好的每個選項直接讀出機率。
模型讀完輸入、還沒開始逐字生成的那一次前向計算叫 prefill。決策模型停在這裡,讀出各選項的 logit(換成機率之前的原始分數),再轉成機率。要求 LLM「只回 JSON」仍然是在生成答案,只是事後把形狀卡住;它的信心多半也是模型自己寫出來的數字。決策模型沒有一段文字可供解析,信心直接來自選項機率。
2026-10 的現況:Jev 與 Clef
Jev 是 TypeSafe AI 於 2026-09-15 發表的第一個 System One 模型,以 early access 託管 API 提供;Clef 與 Clef-flash 是 Cloudflare 公開權重的決策模型,接受與 Jev 相同形狀的請求並回傳相同形狀的回應。
Jev 的呼叫是 POST https://api.typesafe.ai/v1/systemone,文件預設的 model 是 jev-latest。Choice 最多 255 個選項,每多一個選項只多幾個 token;Noul 回傳 0 到 1 的值,沒有 confidence 欄位;Choice 與 Score 回傳 probabilities 與 confidence。state 與問題共用約 32,000 tokens,官方換算約 15 萬個英文字元。廠商自報:同一份 state 上可平行問多題,各題彼此隔離,加題幾乎不增加延遲。
TypeSafe 稱訓練方法為 RLCD(Reinforcement Learning for Calibrated Decisions),目標是回傳校準過的決策機率;模型架構、訓練資料與損失函數沒有公開。公告另稱 Jev「neither small nor an LLM」、資料「all ourselves」。價格與速度同樣是廠商自報:輸入每百萬 token 0.042 美元、輸出免費,端到端 70–500 ms;首頁「193.6 倍快、444.6 倍便宜」來自自家 workflow evals,公告自承可能偏高,並刻意不公布公開 benchmark 成績。隱私政策寫明不用使用者輸入訓練或微調模型,但輸入仍會送到託管服務處理。
Cloudflare Clef 是 27B 多模態決策模型,由 Qwen3.8-27B 後訓;Clef-flash 是 9B 版本,由 Qwen3.5-9B 後訓。兩者都在基座模型上加一個 joint schema head,授權 Apache-2.0,權重公開於 Hugging Face。題型同樣是 noul、choice(2–255 個選項)、score(2–10 級),一次 1–64 題,輸入可以是文字、JSON 或影像;截至 2026-10 可在 Cloudflare Workers AI 呼叫,context 為 65,536 tokens。
| 規格 | Jev | Clef | Clef-flash |
|---|---|---|---|
| 取得方式 | 託管 API,early access | 開源權重,Apache-2.0 | 開源權重,Apache-2.0 |
| 大小 | 未公開 | 27B | 9B |
| Choice 選項數 | 最多 255 | 2–255 | 2–255 |
| 長度 | state 與問題約 32,000 tokens | Workers AI context 65,536 tokens | 同 Clef |
| 輸入 | 文字 state | 文字、JSON、影像 | 文字、JSON、影像 |
Cloudflare 在模型卡上公布的 Decision Index 0.2.1 內部執行(H200,廠商自報)中,中位延遲是 Clef 209.3 ms、Clef-flash 38.8 ms、Jev 524.1 ms;BFCL 是 Clef-flash 98.8、Jev 95.8;GPQA Diamond 是 Jev 78.3、Clef 48.0;MMLU-Pro 是 Jev 82.7、Clef 65.9。我們的解讀是:整張表大致是工具與 API 類任務 Clef 較強、困難推理題 Jev 較強。TypeSafe 自報的 70–500 ms 與這張表的 524.1 ms 是兩家廠商各自的數字,不是同一次測量。我們沒有 Jev 的憑證,沒有做頭對頭比較,文中 Jev 的數字全部來自廠商。
我們實測了什麼
我們在 2026-10-11 用開源權重的 Clef-flash 分類了 77 篇 PubMed 摘要的研究類型,決策模型答對 92.2%,regex 規則 71.4%,本機 35B 聊天模型 50.6%。
我們選擇不把資料送到託管的 Jev,改在自己的機器上跑:一台 Mac 以 MLX 4-bit 執行,一台 NVIDIA 工作站以 llama.cpp 執行 GGUF Q4_K_M 版,理由是 state 會離開本機,而且服務仍是 early access。
| 做法(2026-10-11,77 篇 PubMed 摘要) | 準確率 |
|---|---|
| 決策模型(Clef-flash) | 92.2% |
| regex 規則 | 71.4% |
| 本機 35B 聊天模型,自報信心 ≥ 0.75 才作答 | 50.6% |
聊天模型的低分不是因為答錯:它只對 51.9% 的論文作答,作答時約 97.5% 正確。題目有 9 個選項,但這批標準答案只落在其中 4 類,所以結果只代表這 4 類,不能當成決策模型的一般準確率。校準、信心門檻與這個限制的細節,在本系列第 3 篇(見系列目錄)。
什麼時候不該用
需要寫作、摘要、萃取、開放式推理、多步規劃或解釋理由,或是選項無法事先列出時,不該用決策模型。
文件寫明 choice 最多 255 個選項;超過時改成兩段式、先縮小範圍再問一次,是我們的建議。另外兩點也是我們的推論:Jev 的 Noul 沒有 confidence 欄位,門檻若只讀 confidence 就會漏掉 noul 題;每一個判斷各自校準,不代表串成管線之後整體仍然校準。
本系列怎麼讀
這一篇回答決策模型是什麼、和結構化輸出差在哪,以及什麼時候不該用;原理、校準、本機部署與 Agent 守門在後面四篇。
第 2 篇談原理與訓練:不生成也能給機率的道理,以及四種實作做法。第 3 篇用 77 篇 PubMed 論文檢驗校準,並附校準檢查器,在瀏覽器內計算 Brier、ECE 與 reliability diagram,不送出資料。第 4 篇在 Mac 上跑:題目設計與本機部署。第 5 篇讓 Agent 先問再做:守門與選型。