30 題的尺分不開前段班
三項各 30 題的 95% 區間約 ±8 個百分點，7 月的 Qwen3.6-27B OptiQ（83.3）和 9–10 月的新模型在統計上分不開。
總覽
平台
題目子集
7 月以來測過的本地模型，有逐題結果的都切到同一批題目重新計分，放在同一把尺上比較。
數字反映的是測試用的硬體、設定與抽樣題目，適合當選型參考，不是通用排名。
重點觀察
100 題才看得出差距，但條件要對齊
v1 100 題下，開思考的 occamy-1.0（91.0）與 MiniCPM-V-4.7（90.3）領先不開思考的 Ridge、OrcaSAQ（84.7）；差距有一部分來自思考模式與主機。
同一顆、同一批題目，重跑也會晃
同 30 題 MMLU，supergemma4 從 18 題變 22 題、gpt-oss 從 25 題變 23 題；單次 30 題的擺盪足以翻轉排名。
中文知識是 MoE 新模型的弱項
Ornith-1.5-35B-A3B Vision MTPLX 的 CMMLU 只有 36/100，同期 27B dense 系是 72–78。
每個點代表一次測試
點欄位排序 · 勾選測試以加入追蹤
各圖縱軸分別縮放
橫軸為對數刻度 · 越左上越好
量法不同，僅供量級參考
同題重新計分怎麼做
我們歷次抽題是巢狀的：7 月 n=30 的題目全部包含在 9 月凍結的 v1 100 題裡，7-28 的大樣本（n=100～1000）也包含這 100 題。因此每次測試都能從逐題結果中，挑出同一批 30 題或同一批 100 題重新計分。Windows 機的測試使用同一份凍結題庫（雜湊一致），題目 id 完全重疊。
三種題目範圍
- 同 30 題：所有測試都可比，但 95% 區間寬（單項 ±13～17 個百分點）。看長期演進用這個。
- v1 100 題：只有 9 月後與 7-28 大樣本有資料，精度較高；MMLU-Pro 與 TruthfulQA 只在這個範圍有共同題組。
- 原始回報：各次測試自己跑的樣本數，與報告數字一致，但不同次之間題目不同。
MathQA 預設不計入
7-28 逐題檢查發現，MathQA 要求「只回答字母」，會寫解題過程的模型在 603 字元上限被截斷：supergemma4 在 n=300 有 53% 題目抽不出答案，得分 8.7%，低於亂猜的 20%。這一項量到的是格式遵從與輸出上限，不是數學能力；需要時仍可手動勾選。
思考模式與主機條件
gpt-oss（部分基準）、occamy、MiniCPM-V-4.7 與 Ternary-Bonsai-27B 的 think 變體是開思考跑的，圖上以外圈標示。Windows 機的三顆固定 temperature=0、max_tokens=512、不開思考，Mac 則依各次設定。這些條件差異會影響分數，所以「主機」與「思考模式」篩選器可以拆開來看。
7-28 大樣本複測留下的教訓
supergemma4 的 MMLU 在 n=30 是 60.0、n=1000 是 80.5，落在 n=30 的 95% 區間外；gpt-oss 與 supergemma4 同題配對的 McNemar 檢定（MMLU 1000 題、HellaSwag 200、GSM8K 100）三項 p 都大於 0.05。
怎麼讀這張圖
9 張圖、78 題 · 兩個平台都列出
只有兩顆 27B 的判讀隨訊號增強而上升，而且要到等級 4–5 才過半；訊號有無與定量仍應交給演算法。
怎麼讀這張表
右側七欄是合成 dot blot 從空白到強訊號各等級，模型判定「有訊號」的平均機率。理想模型在空白欄接近 0，並由左到右單調上升；只有兩顆 27B 大致如此，而且要到等級 4–5 才越過 0.5。d3-flash 的機率與訊號強弱幾乎無關（空白 0.37、最弱 0.52），所以 Windows 上 d3-flash-q8 多答對的 4 題不代表看圖較好。「空白」題問的是哪個位置沒有點，寬鬆計分把肉眼無法與空白分辨的最弱一階也算對。每張圖的延遲因平台與引擎不同，只能在同平台內比較。我們的結論：訊號有無與定量交給演算法，模型只適合辨認明顯結構。
量法
決策模型只回答選項式問題，不產生文字，所以不放進推論模型分頁的基準矩陣。Mac 的 133 題在同一行程內載入模型，每題用原始、反轉、洗牌三種選項順序各跑一次，每次呼叫後清除快取，記憶體以行程實際佔用量測（一般的 RSS 看不到 Metal 快取）。沒有經過 HTTP，所以延遲只會比正式使用時低估。
Windows 重測（10-21）
同一份 133 題轉成 399 個 HTTP 請求（三種選項順序），由 llama.cpp b11588 提供服務，文字 ctx 4096。評分沿用 Mac 那一輪的同一支評分程式、不修改；Mac 三顆用同一路徑重算，與存檔完全相同。VRAM 是整張 GPU 的使用量，每 2 秒取樣，含約 0.7 GB 桌面程式，本頁以 GiB 呈現。載入時間包含切換模型的等待。沒有測與其他模型共駐，也沒有測併發。
跨平台能比什麼
準確率、校準、棄權與安全指標用同一份題目與同一支評分程式，可以直接跨平台比較。延遲只看方向：Mac 是行程內呼叫、與另一個常駐模型共駐，Windows 是經 HTTP 打本機 llama.cpp＋CUDA；HTTP 只會讓 Windows 的數字偏高，所以 d3-flash 在 Mac 8.5 秒、在 Windows 1.0 秒的方向可靠，倍數不能當真。記憶體量的不是同一種東西，不能比。