機率能信嗎:用 77 篇 PubMed 論文檢驗決策模型
決策模型回傳的機率不能直接當成有多大把握。高分只代表分數如何分到選項上;校準要看被給到同一分數的案例裡,實際答對的比例是否接近那個分數。本文說明怎麼做這項檢查,以及門檻為什麼必須同時看覆蓋和作答準確率,而不能只靠單一篇摘要上的數字。讀者可以據此決定要不要採用。
決策模型回傳的機率不能直接當成有多大把握。高分只代表分數如何分到選項上;校準要看被給到同一分數的案例裡,實際答對的比例是否接近那個分數。本文說明怎麼做這項檢查,以及門檻為什麼必須同時看覆蓋和作答準確率,而不能只靠單一篇摘要上的數字。讀者可以據此決定要不要採用。
決策模型不把答案逐 token 寫出來。讀完輸入後,它只取事先列好的選項 logit,用 softmax 一次變成各選項的機率,不必再解析文字。Jev 公開的訓練只到名稱 RLCD、自製資料與校準過的決策機率,架構與損失沒有公開。開源複製品則公開決策頭、LoRA 或正確計分規則的對照。
以虛構連鎖藥局的回診預測與客服助理為例,走完問題定義、資料清理、建模評估、A/B 測試、RAG、隱私與上線監控,並附線索與方法對照表與 10 題綜合練習。
假名化與匿名化、k-匿名、差分隱私、同態加密、聯邦學習的適用情境,資料安全控制,生成式 AI 的個資風險,個資法、GDPR 與歐盟 AI 法重點。
資料在預訓練、微調與偏好對齊的角色,嵌入與餘弦相似度、向量資料庫與近似最近鄰、RAG 流程與切塊、合成資料的風險。
大型語言模型如何一次預測一個 token、注意力與脈絡窗口的作用與限制、溫度與 top-p 取樣的計算,以及幻覺與知識截止的成因和降低方法。
一個神經元在算什麼、激活函數為什麼不可少、softmax、反向傳播與梯度消失、Dropout,以及 CNN、RNN、Transformer 與遷移學習各適合什麼資料。
鑑別式與生成式模型的差別,精確率、召回率、F1 的計算與選擇,ROC 與 PR 曲線,吉尼不純度、bagging 與 boosting,迴歸評估指標。
模型訓練就是調參數讓損失變小:MSE 與交叉熵、手算梯度下降、學習率太大或太小的後果、mini-batch 與 epoch、L1 與 L2 正則化、提早停止與學習曲線。
學習類型,訓練、驗證、測試集的角色,過擬合處理,資料洩漏的五種來源,分層與群組交叉驗證,SMOTE 的正確位置,特徵儲存庫與漂移監控。