決策模型回傳的機率，不能直接讀成這一次有多大把握。校準要看的是一批案例：凡是被給到同一個分數的，實際答對的比例是否接近那個分數；要不要採用答案，則要另外用覆蓋和作答準確率一起定門檻。下面用 2026-10-11 的 77 篇 PubMed 標題與摘要，在一台 Mac 與一台 NVIDIA 工作站上的 Clef-flash，把這兩件事算出來。
本系列第 3 篇｜這篇回答：決策模型回傳的機率，能不能直接當成有多大把握？
機率和校準不是同一件事
模型給出 0.9，只代表它的分數分布；校準要求的是，在所有被給到 0.9 的案例裡，實際約有九成是對的。
可以把天氣預報的降雨機率拿來對照。報「九成會下雨」，指的不是明天這一天特別準，而是在所有報過九成的日子裡，大約九成後來真的下雨。決策模型的 0.9 也要這樣查。查的材料是一批有標準答案的案例，不是單一篇摘要上那個孤立的數字。
這次呼叫的決策模型，輸入是一段狀態加上事先列好選項的具型別問題。狀態（state）在這次測試裡就是論文的標題與摘要。它做一次前向計算，回傳每個選項的機率，不生成自由文字，也不必再把一段文字解析成答案。文件裡的「不會幻覺」，指的是輸出空間事先受 schema 限制。schema 是發問之前就定好的格式，所以型別錯誤不會發生，模型不會回傳一個選項清單裡沒有的類別。選項本身選得對不對，仍是機率問題，要靠校準和信心門檻處理。後面這句是我們的解讀。格式正確，不等於類別正確。
回應裡有兩種容易被當成同一件事的「信心」。一種是欄位 confidence，一種是最高類別機率，也就是機率最高的那個選項上的分數。2026-10-11，一台 Mac 以 MLX 4-bit 執行 Clef-flash，回傳的 confidence 等於最高類別機率。同一天，一台 NVIDIA 工作站以 llama.cpp 執行 GGUF Q4_K_M 版的 Clef-flash，兩個數字可以不一樣。原始預測的第 1 列就是例子：confidence 是 0.884，最高類別機率是 0.897。因此後面的門檻表要分機器讀。把 Mac 的階梯套到 NVIDIA 工作站，或反過來，比的就不是同一個欄位。
我們怎麼測：77 篇 PubMed 論文
測試集是 77 篇 PubMed 論文的標題與摘要。標準答案不是人工逐篇標註，而是把 PubMed 的 publication types 依優先順序對應到研究類型，並且每一類設了上限。
publication types 是 PubMed 給文章標上的類型。因為標準答案來自這層對應，後面看到的不一致，有一部分會是標記或類別定義的問題，不全是模型選錯類別。
題目是 choice，也就是從具名選項裡選一個。題目準備了 9 個選項，但這 77 篇的標準答案只落在其中 4 類：RCT 25 篇、review 25 篇、systematic review 25 篇、case report 2 篇。另外 5 類沒有任何標準答案，分別是 clinical study、in vivo、in vitro、computational、original research。這次測試沒有檢驗到它們。三種題型裡，noul 是是非題，回傳該陳述為真的機率；score 是有序等級。這一篇只測 choice，沒有測另外兩種。
跑的是開源權重的 Clef-flash，不是託管的 Jev，所以這裡的準確率不要讀成 Jev 的成績。實測用的是量化後的權重：Mac 為 MLX 4-bit，NVIDIA 工作站為 GGUF Q4_K_M。4-bit 與 Q4_K_M 都是把權重壓到較低位元的格式。下面的數字都屬於這兩個版本、這 77 篇和這一天，不是未量化權重，也不是別的題目。
TypeSafe 的文件寫明，System One 模型不寫回覆、不產生程式碼，也不產生推理說明。原文是 "System One models do not write replies, produce code, or generate explanations of their reasoning." 這句的主詞是 System One。這次測試同樣只要求模型在列好的類別裡給出機率，不要求它解釋為什麼這樣分。
結果：三種做法的準確率
在 2026-10-11 的這 77 篇上，決策模型答對 71 篇，準確率 92.2%；regex 規則是 71.4%；本機 35B 聊天模型只在自報信心至少 0.75 時才作答，整體準確率是 50.6%。
regex 是用正則表達式寫成的規則。這裡只報告準確率，不重建規則正文。三個百分比的分母並不相同，先分開再比較。
聊天模型的另外兩個數字是：作答覆蓋 51.9%，作答時約 97.5%。覆蓋是它有給出類別的篇數佔 77 篇的比例。作答時的準確率，分母只含它願意回答的那些篇。整體 50.6% 的分母則是全部 77 篇。它答的時候約 97.5%，看起來高於決策模型的 92.2%，但作答覆蓋只有 51.9%，整體的分母仍是全部 77 篇，所以整體是 50.6%。決策模型是每一篇都給出一個類別。把 97.5% 和 92.2% 單獨抽出來比，會把「不回答」藏掉。
聊天模型的信心是它自己報的數字；決策模型不生成答案，而是對事先列好的每個選項直接讀出機率。我們的解讀是：兩種「0.75」或「0.9」因此不是同一種分數，不能假設過了同一個門檻就代表同樣的意思。聊天模型這次用的門檻是自報信心 0.75；決策模型的門檻放在下一節，不是 0.75。
各類準確率在 Mac 與 NVIDIA 工作站上相同。下表要看的是答對篇數和分母，不要只看百分比。case report 的 100% 只有 2 篇，review 的 100% 有 25 篇；我們的解讀是，兩個 100% 的穩定程度不一樣。systematic review 是 21/25，也就是 84%；RCT 是 23/25，也就是 92%。
| 類別 | 答對篇數 | 準確率 |
|---|---|---|
| review | 25/25 | 100% |
| case report | 2/2 | 100% |
| RCT | 23/25 | 92% |
| systematic review | 21/25 | 84% |
6 筆不一致全部落在 systematic review（4 筆）和 RCT（2 筆）。review 與 case report 在這 77 篇上沒有不一致。我們人工檢查之後，其中 3 到 4 筆是標準答案本身或類別定義的問題。例如 PubMed 把一篇敘述性回顧標成系統性回顧，一篇以狗為對象的隨機試驗被標準答案當成人類 RCT。所以 92.2% 不是「模型與一位領域專家逐篇對過」的準確率。若把那 3 到 4 筆算成模型的錯，會把標記問題算進模型。
兩台機器對這 77 篇給出的標籤是 77/77 相同，準確率都是 92.2%。各類機率差平均 0.005，最大 0.217。我們的推論是：標籤一致只說明機率最高的選項相同，最大差 0.217 表示兩台機器給出的機率仍可能差一截，平均 0.005 不能拿來蓋過它。
信心門檻怎麼定
我們選 0.6 當上線門檻。兩台機器在 0.6 都是覆蓋 89.6%（69 篇）、作答準確率 97.1%（67/69）。
覆蓋是信心達到門檻、因而採用模型答案的篇數比例。作答準確率只計算這些被採用的篇。門檻從 0 開始，就是每一篇都採用，覆蓋 100%，作答準確率就是全體的 92.2%。把門檻提高，一部分篇會留在門檻下面，覆蓋下降。作答準確率會不會跟著上升，要看表，不能假設每一階都更高。只挑準確率最高的那一列，會看不到被放下的那些篇後來怎麼處理。
下表是 NVIDIA 工作站的階梯，用的是回應裡的 confidence 欄位。條件是 llama.cpp、GGUF Q4_K_M、77 篇、2026-10-11。請同時讀覆蓋和作答準確率兩欄。
| 門檻 | 覆蓋 | 作答準確率 |
|---|---|---|
| 0 | 100% | 92.2% |
| 0.5 | 92.2% | 94.4% |
| 0.6 | 89.6% | 97.1% |
| 0.7 | 85.7% | 97.0% |
| 0.8 | 81.8% | 98.4% |
| 0.9 | 58.4% | 97.8% |
從這張表可以直接讀到：門檻放到 0.6，覆蓋由 100% 降到 89.6%，作答準確率由 92.2% 升到 97.1%。再放到 0.7，作答準確率是 97.0%，並沒有比 0.6 更高，覆蓋卻降到 85.7%。放到 0.9，覆蓋只剩 58.4%，作答準確率 97.8%，還低於 0.8 那一列的 98.4%。在這 77 篇上，作答準確率沒有隨著門檻一路變高。
下表是同一 77 篇在 Mac 上的階梯。Mac 的 confidence 等於最高類別機率（MLX 4-bit），所以數字不能和上一張表逐列當成同一個欄位。請仍然同時看覆蓋和作答準確率。
| 門檻 | 覆蓋 | 作答準確率 |
|---|---|---|
| 0 | 100% | 92.2% |
| 0.5 | 94.8% | 94.5% |
| 0.6 | 89.6% | 97.1% |
| 0.7 | 85.7% | 98.5% |
| 0.8 | 85.7% | 98.5% |
| 0.9 | 71.4% | 98.2% |
Mac 的 0.7 與 0.8，覆蓋都是 85.7%，作答準確率都是 98.5%。在這一批資料上，把門檻從 0.7 調到 0.8 沒有改變採用範圍。0.5 的時候，Mac 覆蓋 94.8%，NVIDIA 工作站是 92.2%。0.9 的時候，Mac 還覆蓋 71.4%，NVIDIA 工作站只剩 58.4%。兩台機器的標籤雖然 77 篇全相同，階梯卻會在 0.6 以外的門檻分開。0.6 是這次兩張表重合的那個點：覆蓋都是 89.6%，作答準確率都是 97.1%。
上線的論文管線只對還沒有研究類型的新論文做分類。信心達到 0.6 就用決策模型的答案，否則改用 regex。兩種做法合併之後，這 77 篇的準確率是 90.9%。97.1% 的分母是通過門檻的 69 篇；90.9% 的分母是全部 77 篇。合併之後的數字低於「只看通過門檻的那一段」，是因為沒通過的篇改走 regex，整批的對錯要把那些篇算進去。90.9% 也低於每一篇都採用決策模型時的 92.2%。上線選 0.6，選的是兩台機器都能對上的覆蓋與作答準確率，不是合併分數的最大值。
Reliability diagram、Brier 與 ECE
以最高類別機率計算，這 77 篇的二元 Brier score 是 Mac 0.052、NVIDIA 工作站 0.063，ECE 是 Mac 0.057、NVIDIA 工作站 0.092。兩個指標都是越小越好。
二元 Brier score 是每一篇 (p - y) 的平方，再對所有篇平均。p 是最高類別機率。答對時 y 為 1，答錯時 y 為 0。很有把握而且答對，p 接近 1，這一項接近 0。很有把握但答錯，p 仍接近 1，y 卻是 0，這一項接近 1。它同時看兩件事：類別有沒有選對，以及當時的信心和結果差多遠。
多類別 Brier 看的是整個分布，不是只有最高的那一格。它把 9 類機率與 one-hot 的平方差加總，再對 77 篇平均。one-hot 是正確類為 1、其餘類為 0 的一組數。即使最高類別選對，其餘類別若仍分到機率，平方差就不會是 0。Mac 的多類別 Brier 是 0.118，NVIDIA 工作站是 0.138。
log loss 與 Brier score 都是嚴格正確的計分規則，英文叫 proper scoring rule。模型回報的機率等於真實機率時，期望分數才會最好，所以拿它們當訓練目標，會把模型推向在訓練分布上校準。這是統計學的標準結果，出處是 Brier（Monthly Weather Review 1950;78:1-3）以及 Gneiting 與 Raftery（JASA 2007;102:359-378）。它說明的是訓練分布上的期望分數。它不是這 77 篇的測量，也不能代替上面 Mac 0.052 與 NVIDIA 工作站 0.063 的實測。本文沒有把某一個 Brier 或 ECE 數值定成及格線。
ECE 是 expected calibration error，期望校準誤差。做法是把最高類別機率分進 10 個等寬區間：0 到 0.1、0.1 到 0.2，一直到 0.9 到 1.0。每個非空區間先算「平均信心」與「實際準確率」的差，再以該區間的篇數做加權平均。篇數多的區間對 ECE 影響大，只有一兩篇的區間影響小。這個定義與校準檢查器相同。Mac 的 0.057 低於 NVIDIA 工作站的 0.092，表示在這個做法、這 77 篇上，Mac 的加權差距較小。
Reliability diagram（可靠度圖）把每個區間的平均信心和實際準確率放在一起。下表是 Mac、以最高類別機率計算的非空區間，77 篇，MLX 4-bit，2026-10-11。請同時看篇數。篇數多的格子，比只有 2 或 3 篇的格子更能代表這一批資料。
| 區間 | 篇數 | 平均信心 | 準確率 |
|---|---|---|---|
| 0.3-0.4 | 2 | 0.347 | 50% |
| 0.4-0.5 | 2 | 0.430 | 50% |
| 0.5-0.6 | 4 | 0.546 | 50% |
| 0.6-0.7 | 3 | 0.658 | 66.7% |
| 0.8-0.9 | 11 | 0.859 | 100% |
| 0.9-1.0 | 55 | 0.942 | 98.2% |
Mac 的 0.9 到 1.0 有 55 篇，平均信心 0.942，準確率 98.2%。0.8 到 0.9 有 11 篇，平均信心 0.859，準確率 100%。高分的篇數集中在這兩格。0.6 以下的三格篇數分別是 2、2、4，準確率都寫成 50%。
下表是 NVIDIA 工作站的非空區間，同樣以最高類別機率計算，GGUF Q4_K_M，同一 77 篇。請看篇數只有 1 篇的格子：準確率會變成 0% 或 100%，那是一篇的對錯，不是一個穩定的比例。
| 區間 | 篇數 | 平均信心 | 準確率 |
|---|---|---|---|
| 0.3-0.4 | 4 | 0.369 | 75% |
| 0.4-0.5 | 1 | 0.468 | 100% |
| 0.5-0.6 | 1 | 0.524 | 0% |
| 0.6-0.7 | 3 | 0.634 | 33.3% |
| 0.7-0.8 | 5 | 0.756 | 80% |
| 0.8-0.9 | 13 | 0.882 | 100% |
| 0.9-1.0 | 50 | 0.942 | 98% |
NVIDIA 工作站的 0.9 到 1.0 有 50 篇，平均信心同樣是 0.942，準確率是 98%。0.5 到 0.6 只有 1 篇，平均信心 0.524，準確率 0%；0.4 到 0.5 也只有 1 篇，平均信心 0.468，準確率 100%。
我們的推論是：0.8 以上的高信心區間，實際準確率略高於平均信心，模型在這段偏保守。低信心區間每一格只有 1 到 4 篇，百分比會大幅晃動，不能拿來判斷校準好不好。上面 NVIDIA 工作站那兩格各 1 篇、一個 0% 一個 100%，就是這種晃動。
這 77 篇的 PMID、最高類別機率、對錯、預測與標準答案可以拿來重算。檔案是 pubmed-study-type-sample.csv，只有五欄：pmid、probability、outcome、predicted、gold。含 probability 與 outcome 兩欄的表，可以貼進校準檢查器。它在瀏覽器裡計算 Brier、ECE、reliability diagram 與信心門檻表，資料不會送出。
這個測試沒告訴你什麼
這次只有 77 篇、標準答案只涵蓋 4 類、而且只測研究類型這一題，不能外推成決策模型的一般準確率，也不能說明另外 5 類的表現。
標準答案來自 PubMed 的 publication types 對應，不是人工逐篇標註。case report 只有 2 篇，systematic review 是 21/25。這些百分比只描述這 77 篇。6 筆不一致裡又有 3 到 4 筆來自標記或定義，所以 92.2% 裡混著對照標準本身的落差。實測的權重是 MLX 4-bit 與 GGUF Q4_K_M，不是完整精度。Jev 沒有進入這次比較。本文的準確率、階梯、Brier 與 ECE，都是 Clef-flash 在上述兩台機器、這 77 篇上的數字。
我們的推論還有一句。每一個判斷各自校準，不代表把多個判斷串成管線之後，整體仍然校準。這一篇只問了研究類型一題。若一條管線連問好幾題，不能把這一題的 ECE 或 0.6 門檻直接當成整條管線的校準。題目怎麼設計、怎麼在 Mac 上部署，是系列第 4 篇。讓 agent 先問再做的守門與選型，是第 5 篇。