資料需要哪些欄位？

貼上或上傳 CSV／TSV，第一列需有欄名。預測機率欄命名為 probability 或 p；二元結果欄命名為 outcome、y 或 correct。結果值可用 0／1 或 true／false。

Brier 分數代表什麼？

Brier 分數是每筆預測機率與二元結果之間平方差的平均值。分數越低，代表這組資料的機率預測平方誤差越小。

預期校準誤差會先按機率區間分組，再依各箱資料占比加權計算預測機率與實際結果比例的差距。分箱寬度不同，資料分組也不同，因此 ECE 可能改變。

不代表。softmax 會把模型分數轉成總和為 1 的數值，但這項正規化無法證明某個信心水準的預測確實有相同的正確率。校準必須對照實際結果檢查。

研究工作台

比較預測機率與實際結果

預測機率與結果資料

選擇 CSV／TSV 檔案分箱數

接受 CSV／TSV；結果欄可用 0／1 或 true／false。貼上與上傳的資料只在瀏覽器本機處理。

貼上或載入含欄名的資料後，即可查看校準結果。

認識機率校準

若預測機率具備校準性，長期來看，預測為某一機率的案例，其實際結果比例會接近該機率。例如，預測機率約為 0.7 的案例中，結果應約有 70% 發生。校準衡量機率與結果的一致程度；它本身不代表模型區分陽性與陰性案例的能力。

Brier 分數

Brier 分數是 (p − y)² 的平均值，其中 p 是預測機率，y 是二元結果。它是機率預測的適當評分規則：分數越低，代表這批觀測值的平方機率誤差越小。解讀時仍須考量結果盛行率與比較目的。

預期校準誤差

預期校準誤差（ECE）會把機率範圍切成等寬分箱，逐箱比較平均預測機率與實際結果比例，再依該箱占全部觀測值的比例加權計算絕對差距。分組方式會影響 ECE，因此報告時應同時說明分箱數。本工具採用左閉右開區間，最後一箱包含 1.0。

閱讀可靠度圖

水平軸是各箱的平均預測機率，垂直軸是實際結果比例。點越接近對角線，兩者越一致。圓點大小依分箱列數縮放，因此觀測較少的分箱會以較小圓點呈現。這張圖是描述性摘要，不包含不確定區間。

softmax 信心分數與校準

softmax 會把一組模型分數轉成總和為 1 的類別機率，但正規化本身不保證機率已校準；模型可能持續高估或低估機率。應使用符合預定用途的資料對照預測與結果，並將校準程序與最終評估資料分開。