資料收集與清理：缺失值、編碼、縮放與資料洩漏

結構化資料是表格，一列一筆、一欄一個欄位，缺值處理與編碼直接做在欄位上。半結構化資料有層級，欄位卻不固定，例如 JSON、XML 與 log。非結構化資料沒有固定欄位，例如文字、影像與音訊。後兩類要先整理成欄位，後面的編碼與縮放才接得上。

收集管道有資料庫匯出、API、網路爬蟲、物聯網（IoT）感測器與應用程式日誌。爬蟲必須遵守網站的 robots.txt 與服務條款。節奏分成兩種。批次收集一次取出一段期間的資料。即時串流收集則持續寫入。

交出去之前，用六個面向檢查這張表。

• 正確性：值是否符合事實。
• 完整性：該有的列與欄位是否都在。
• 一致性：單位、格式、文字編碼是否統一。
• 時效性：這批資料是否還對得上現在要預測的情境。
• 唯一性：同一筆是否被重複記入。
• 有效性：值是否落在合理範圍。

缺失是完整性的問題，單位混用是一致性的問題，重複列破壞唯一性，不可能的值破壞有效性。登錄錯誤可以修正。資料若已過時，把空格填上也不會使它對上現在的情境。

平均、標準差、最小值、最大值、中位數、四分位距（IQR）與類別對應，都是前處理的參數。這些參數只能用訓練集計算，再把同一組參數套到驗證集與測試集。

用全體資料計算時，測試集的特徵值會改寫這些參數。一個特別大的測試點會把全體的最大值或標準差拉高，訓練列轉換之後的數字跟著改變。模型在訓練階段就用到了測試集的特徵分佈。這叫做資料洩漏（data leakage）。離線評估會過度樂觀。上線遇到沒有參與當時計算的新資料，分數就往下掉。

順序因此固定：先切出訓練集、驗證集與測試集，再在訓練集上 fit，然後用同一個轉換器 transform 另外兩份。驗證集與測試集只接受套用，不參與這些參數的計算。

完全隨機缺失（MCAR，Missing Completely At Random）指缺不缺與任何變數都無關。隨機缺失（MAR，Missing At Random）指缺不缺與其他已經觀察到的變數有關，與這個欄位自己的值無關。例如某工廠的夜班比較常漏填溫度，而班別欄位是有記錄的。非隨機缺失（MNAR，Missing Not At Random）指缺不缺與這個值本身有關。高所得者比較不填所得，就是因為所得高才不填。

三者不能互換。把 MNAR 當成 MCAR，等於認定空值沒有集中在某一種人身上。後面若刪除或用平均插補，就會把這個篩選忽略掉，估計產生偏誤。

缺失少，而且有理由相信是 MCAR 時，刪除那一列比較安全：列被拿掉的理由與變數的值無關。缺得很多時，刪列會把其他欄位一起丟掉。

平均數、中位數與眾數插補實作簡單。數值常用平均數或中位數，類別常用眾數。空格被拉向集中趨勢之後，這欄的變異被壓縮，和別欄的關係也變弱。欄位裡已有離群值時，中位數比平均數穩，因為平均數會被極端值拉走。

時間序列必須保留順序。前值填補（forward fill）用中斷前最後一筆往後補；內插則依前後的觀測把中間補上。感測器每 5 分鐘一筆、中斷 10 分鐘，空的是時間軸上的短缺口，適合這兩種做法。前值填補讀的是表上的上一列，列要先依時間排好，否則上一列不是上一個時點。整欄平均會把不同時段合成一個常數，時間結構就沒了。

K 最近鄰插補（KNN imputation）用相似的其他列來估這個空格。模型預測插補另建一個模型，用其餘欄位預測這個欄位。兩者都用得上其他欄位，所以在 MAR、缺失與已觀察變數有關時，比整欄平均多利用那些線索。這裡的 KNN 是在補值，和後面當成預測模型的 KNN 不是同一步。補值模型自己的參數也只能從訓練集學。

缺失本身若有意義，尤其是 MNAR，可以加一個缺失指示欄（missing indicator）：這一格原本是空的就記 1，否則記 0。模型就能把「沒填」當成資訊。MNAR 時若直接刪除這些列，或用平均數填成一個普通值，偏誤會留在表裡。高所得者不填所得就是這種情況：刪列會少掉高所得者，平均插補會把他們拉向中間。

偵測常用三條。三條都只負責標示，不負責決定刪不刪。

IQR = Q3 − Q1，也就是第三四分位數減第一四分位數。1.5×IQR 規則把落在 Q1 − 1.5×IQR 之下或 Q3 + 1.5×IQR 之上的點標成離群值。

|z| > 3 用的是 z = (x − 平均) / 標準差。這個點離平均超過 3 個標準差就標出來。平均與標準差會被極端值拉動，所以門檻本身也受極端值影響。

領域知識不看統計門檻。年齡 200 在業務上不可能，直接視為無效值。

標出來之後先問：這是登錄錯誤，還是真實發生的極端？錯誤就修正或刪除。真實極端若直接刪掉，模型上線後仍可能遇到這種情況，卻沒學過。可以截尾（winsorize／capping），把超出界線的值改寫成界線上的值；也可以取對數，或改用對極端值比較不敏感的方法。用 IQR 或 z 訂出的界線也是參數，界線用訓練集來訂。

同一筆出現多次就去除重複列，否則模型會反覆看到同一筆，唯一性也不成立。不一致則把單位、日期格式、大小寫與文字編碼收成同一套。同一長度一半用公分、一半用公尺，模型會把單位差當成真實差異。

標籤編碼（Label Encoding）與順序編碼（Ordinal Encoding）把類別換成整數。滿意度這種有順序的變數適合：1 到 5 級的數字大小對應程度。名目變數沒有順序。若仍編成 1、2、3，邏輯斯迴歸（logistic regression）這類線性模型會把數字大小放進係數，以為編號差就是距離。決策樹（decision tree）與隨機森林（random forest）是在找切點，對這種假順序較不敏感。

One-Hot 編碼為每個類別開一欄，屬於該類別就是 1，否則是 0。它不假設順序。類別一多就成為高基數（high cardinality）：上萬個商品 ID 各開一欄，維度爆炸，矩陣幾乎全是 0，又稀疏。居住縣市若是固定的一小群類別，One-Hot 仍然合適。有哪些類別、各類別對應哪一欄，也是類別對應，用訓練集決定。

目標編碼（Target Encoding）用該類別的目標平均值取代類別本身。高基數時欄位仍只有一欄。計算必須用交叉驗證（cross-validation）的折外（out-of-fold）結果：某一列的編碼值，要用沒有包含這一列的那些折算出的平均。若用含自己的全體平均，該列的目標會漏進特徵，這是目標資訊的資料洩漏。

頻率編碼用類別出現次數取代類別名稱。它不使用目標值，因此沒有目標洩漏。次數仍然是從資料估出來的參數，只能在訓練集上算，再套到驗證集與測試集。它保留的是「這個類別有多常見」。

標準化（Z-score）就是 (x − 平均) / 標準差。轉換後這欄的平均是 0、標準差是 1。平均與標準差會被極端值拉動，少數超大額會讓中心與尺度都不穩。

Min-Max 正規化是 (x − min) / (max − min)，結果落在 [0, 1]。分母是全距。最大值若是極端大額，分母變大，其他值被擠在靠近 0 的一段。它對離群值敏感。

Robust Scaling是 (x − 中位數) / IQR。中位數與 IQR 不跟著少數極端值跑。交易金額有少數超大額時，這個縮放比 Min-Max 與標準化穩。

需要縮放的是以距離或梯度為基礎的方法：K 最近鄰（KNN）、K-means、支援向量機（SVM）、神經網路、含正則化的線性模型，以及主成分分析（PCA）。KNN、K-means 與 SVM 的計算依賴距離，某一欄的數字範圍特別大，結果就幾乎由那一欄決定。神經網路的梯度會被尺度大的欄位拉著走。正則化懲罰係數的大小；欄位因為單位而數字很大時，係數會變小來配合，懲罰就混進了單位。PCA 沿著變異較大的方向走，單位造成的大數字會顯得變異很大。

決策樹與隨機森林沿單一欄位找閾值來切分，不計算欄位之間的距離，對縮放不敏感。

離散化（分箱）把連續值切成區間。時間戳記可以切成早上、下午、晚上。切完之後，欄位表示的是時段，不再是一串會隨日期增大的秒數。

特徵衍生用舊欄位算出新欄位。體重指數寫成 BMI = 體重 / 身高²。從時間戳記取出星期幾。平均客單價寫成 平均客單價 = 總金額 / 次數。新欄位把已經存在的關係寫成模型可以直接使用的一欄。

交互作用特徵由兩個欄位組合而成，用來表示兩者同時發生才出現的效果。只用加總的線性模型，原本只能分別看到兩個欄位各自的貢獻。

右偏、少數值特別大的變數可取對數。取對數之後，大值之間的差距被壓縮，長尾縮短，單點較不容易拉住整欄的尺度。

下面假設 df 是完整資料表，X_train 與 X_test 是已經切好的數值欄位表。df.isna().sum() 只是看每欄缺多少，不估計任何參數，可以在切分前做。前值填補 ffill 只看同一條時間序列的上一筆，列要先依時間排好。中位數是參數，所以從 X_train 算出來，再用同一個值填訓練集與測試集。若寫成 df.fillna(df["x"].median())，會把 x 的中位數填進每一欄，而且用到了測試集。三個縮放器的 fit、transform 位置相同，這裡以標準化為例。

import pandas as pd
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler

df.isna().sum()                                     # inspect only
df = df.sort_values("time")
df["sensor"] = df["sensor"].ffill()                 # previous reading in time order

med = X_train["x"].median()                         # learned from the training set only
X_train["x"] = X_train["x"].fillna(med)
X_test["x"] = X_test["x"].fillna(med)

scalers = {
    "zscore": StandardScaler(),
    "minmax": MinMaxScaler(),
    "robust": RobustScaler(),
}
scaler = scalers["zscore"]
scaler.fit(X_train)
X_train_scaled = scaler.transform(X_train)
X_test_scaled = scaler.transform(X_test)

把字典的鍵換成 minmax 或 robust，fit 與 transform 的位置不變，參數仍只從 X_train 來。One-Hot 也一樣：pd.get_dummies(df, columns=["city"]) 寫起來最短，但類別清單取自整張表；正式流程用 scikit-learn 的 OneHotEncoder(handle_unknown="ignore") 在訓練集 fit，測試集出現訓練時沒看過的縣市時就全填 0。