機器學習流程：資料切分、洩漏、不平衡與漂移

標籤從哪裡來，決定學習類型。

監督式學習（supervised learning）使用現成標籤。預測類別是分類（classification），預測數值是迴歸（regression）。每一筆歷史都已經有答案，才有辦法算預測與答案的差距。

非監督式學習（unsupervised learning）沒有標籤。工作是分群（clustering）或降維（dimensionality reduction）：把相似的觀測放在一起，或把很多欄位壓成較少的表示。

強化學習（reinforcement learning）的學習訊號來自環境。學習者採取行動，環境狀態隨之改變，再依獎勵（reward）調整之後的行動。學習紀錄包含獎懲與互動時，學習類型就是這一種。

自監督學習（self-supervised learning）的標籤從資料本身造出來。做法例如把句子裡的字詞遮住，再預測被遮住的部分。大型語言模型的預訓練也屬這一類：用前文預測下一個詞，答案直接來自原文。

監督式流程把歷史資料分成三份，三份的工作固定。

訓練集（training set）學參數，讓模型在這些筆上的擬合變好。

驗證集（validation set）調超參數（hyperparameter）、比較模型。設定可以更換，驗證表現也可以再看。

測試集（test set）只在最後用一次，估計上線表現。它不參加選模型。看過測試分數又回頭改模型，這一份就轉去承擔驗證的工作，那個數字不再是未參與選擇的估計。

因此，任何會從資料估計統計量或挑選欄位的前處理、特徵選擇，都要放在切分之後，而且只對訓練側擬合。切分前對全體做，測試集就參加了這些估計。

過擬合（overfitting）：訓練表現好、驗證表現差。模型把訓練集裡的雜訊也記進去，換一批資料就對不上。

欠擬合（underfitting）：訓練與驗證都差。模型太簡單，訓練集裡的規律也沒有抓到。

中間是偏差（bias）與變異（variance）的權衡。模型越複雜，偏差下降、變異上升：它較能跟上彎曲的關係，也較會跟著手邊這一小批樣本搖。模型越簡單，偏差較高、變異較低。訓練遠好於驗證，表示變異已經偏高；兩邊都不好，表示偏差仍然偏高。

資料洩漏（data leakage）指訓練時用到預測當下拿不到的資訊。測試分數會偏樂觀，上線沒有那些資訊，表現就下滑。

切分前做前處理或特徵選擇。統計量與被選中的欄位若看過測試集，測試集就參與了訓練用的設定。

切分前做 SMOTE 這類過採樣。合成樣本來自少數類樣本與其鄰居的內插；鄰居後來若落在測試集，合成樣本就與測試筆相關。

目標洩漏（target leakage）：特徵其實是結果的後果。用「是否已退款」預測「是否退貨」時，退款多半出現在退貨決定之後，下單當下還沒有這個欄位。

時間洩漏（temporal leakage）：用未來資料預測過去或預測當下。本週之後才發生的交易，不能拿來預測本週的違約。

同一個人的多筆資料同時出現在訓練與測試。病患、顧客都是。模型可以記住「這個人」，測試就估不到「下一個沒見過的人」。

訓練遠好於驗證時，過擬合已經發生，變異偏高。改善的方向是讓模型較難記住訓練雜訊。

增加資料量之後，只存在於少數訓練筆的雜訊較難被當成穩定規律。資料擴增（data augmentation）對影像做翻轉、旋轉，標籤維持不變，畫面變化變多。正則化（regularization）的 L1、L2 懲罰過大的權重：L1 較會把一部分權重壓到零，L2 較會讓權重的平方和變小。提早停止（early stopping）在驗證表現不再變好時停下，其後只討好訓練集的輪次就不會留下。Dropout 在訓練時隨機關掉一部分單元，模型較難靠單一路徑記住特定訓練筆。減少特徵、改用較簡單的模型，直接把容量降低。交叉驗證（cross-validation）用來選超參數，選擇過程不使用測試集。

增加更多特徵，或延長訓練輪數，通常會讓過擬合更嚴重。容量變大，反覆看訓練集的次數變多，記住雜訊的機會也變多。

K-fold 把資料分成 K 份，輪流以其中一份當驗證集、其餘當訓練集，再綜合 K 次的驗證表現。

類別比例差很多時用分層 K-fold（Stratified K-fold）。每一折的類別比例與整體相同，驗證分數才不會因為某一折幾乎沒有少數類而跳動。

評估對象是沒見過的人時用群組 K-fold（GroupKFold）。同一群組，例如同一位病患、同一位使用者，只出現在同一側。以「筆」為單位隨機切開，守不住這件事。

時間序列用 TimeSeriesSplit。驗證段在訓練段之後，只用過去預測未來。

全體準確率在不平衡時會誤導。正常個案佔 99.5% 時，全部猜正常，準確率也是 99.5%，少數類可以一筆都沒抓到。

改看精確率（precision）、召回率（recall）、F1 與 PR 曲線（precision-recall curve）下面積。精確率是判成正例的筆數之中，真正屬於正例的比例。召回率是真正的正例之中，被抓到的比例。兩者合成為 F1 = 2 × 精確率 × 召回率 / (精確率 + 召回率)。PR 曲線以召回率與精確率為兩軸，曲線下面積把不同門檻下的取捨收成一個數。

類別權重（class weight）讓少數類的錯誤在訓練裡佔更重，資料筆數可以維持原樣。欠採樣（undersampling）減少多數類的筆數。過採樣（oversampling）增加少數類。SMOTE 在少數類樣本與其鄰居之間內插，產生合成樣本。重採樣只能做在訓練集，或交叉驗證的訓練折裡面。SMOTE 本身可以用，問題在位置：切分前對全體做就會洩漏。決策門檻（decision threshold）決定模型多容易把一筆判成少數類，從而更換精確率與召回率的組合。門檻若要調，放在驗證階段；用測試集反覆試到分數好看，測試集就參加了選擇。

特徵儲存庫（Feature Store）集中定義、計算、儲存特徵，供多個團隊與多個模型重用。風控與防弊都要「過去 30 天交易行為」時，共用同一段計算。

它對上兩種不一致。訓練／服務不一致（training-serving skew）指訓練用的特徵算法和線上推論不同，上線輸入已經偏離模型學過的數字。時間點正確（point-in-time correct）指取某一天的歷史特徵時，只用該時點之前已經存在的值，從而避開時間洩漏。

MLOps 把實驗到上線做成可重複的過程：實驗追蹤，例如 MLflow 記錄參數、指標與模型檔；模型註冊與版本；自動化訓練與部署；上線監控。監控用來發現漂移。

資料漂移（data drift）是輸入特徵的分佈改變，例如新客群湧入，金額、時段的分佈與訓練時不同。概念漂移（concept drift）是輸入與標籤的關係改變。特徵分佈可以差不多，同樣的特徵組合所對應的詐欺機率卻變了，因為手法變了。

偵測到其中一種，都要重新評估並重新訓練。

資料平行（data parallelism）：每台機器持有完整模型，各自處理不同資料，再同步梯度。模型放得進一台、資料量很大時，用這種拆法。

模型平行（model parallelism）：模型太大，一台放不下，把模型拆到多台機器。拆開的是模型本身。

分層切分要能重現，群組切分要把人留在同一側，時間切分只能由過去預測未來。SMOTE 放在 imblearn.pipeline.Pipeline 的第一步，模型放在後面；交叉驗證每次擬合，只把該折的訓練資料送進 SMOTE。

from imblearn.over_sampling import SMOTE
from imblearn.pipeline import Pipeline
from sklearn.model_selection import GroupKFold, StratifiedKFold, TimeSeriesSplit

stratified = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
grouped = GroupKFold(n_splits=5)
temporal = TimeSeriesSplit(n_splits=5)

# grouped.split(X, y, groups=patient_id): one patient stays on one side.
# temporal.split(X): validation uses a later block; training uses only earlier rows.


def make_resample_pipe(model):
    return Pipeline([
        ("smote", SMOTE()),
        ("model", model),
    ])

1. 判斷學習類型：現成標籤、沒有標籤、環境獎勵，或從資料自身造標籤。
2. 先切分，再做前處理、特徵選擇與重採樣。不平衡用分層，評估新的人用群組，有時間順序用 TimeSeriesSplit。
3. 只在訓練集或訓練折上學參數，並在同一範圍內做 SMOTE、欠採樣或類別權重。
4. 用驗證表現選模型、決定提早停止，也在這一階段調整決策門檻。測試集留到最後一次。
5. 上線特徵走特徵儲存庫，與訓練使用同一套計算，並取時間點正確的值。
6. 以實驗追蹤留下參數、指標與模型版本。上線後看資料漂移與概念漂移，發現了就重新評估、重新訓練。