常見分析方法：分群、關聯規則、降維與時間序列

問法決定方法。描述性分析（descriptive analytics）回答發生了什麼，例如某電商上個月哪些商品常出現在同一筆訂單。診斷性分析（diagnostic analytics）追問為什麼發生，例如是不是某個檔期讓兩類商品同時變多。預測性分析（predictive analytics）問接下來會發生什麼，例如未來一段時間的日銷售。處方性分析（prescriptive analytics）才問該怎麼做，例如庫存與搭售要不要調整。四層是問題的深度，不是可以互換的演算法。

學習方式也要先分開。監督式學習（supervised learning）需要標籤，每一筆已經有答案，模型學的是特徵如何對到那個答案。本篇的分群、關聯規則與降維屬於非監督式學習（unsupervised learning）：沒有「正確組別」或「正確規則」可對，目標是把資料裡的結構找出來。結構本身仍停在描述。把它當成進貨決策或下一週的銷售數字，是把層次跳過去了。

時間序列預測對準的是「會發生什麼」，而且觀測沿時間排列。異常偵測要標出不像多數點的觀察。這兩類跟分群、關聯規則、降維回答的不是同一種問題。

沒有人事先標好組別，只希望相似的點靠近、不相似的分開，用分群。

K-means 要先指定群數 k。它反覆做兩件事：把每個點分給目前最近的中心，再用該群的點更新中心，直到分組幾乎不再變。它假設各群大致呈球形，而且大小相近。特徵尺度差很多，或資料有離群值時，中心會被拉開，所以要先標準化。

k 不是越大越好。群數增加時，群內平方和（within-cluster sum of squares）通常還會下降，因為點離自己的中心更近；這個下降本身不是停止信號。手肘法（elbow method）看的是下降由陡變緩的轉折。輪廓係數（silhouette coefficient）的範圍是 −1 到 1，越高表示點越靠近自己的群、越遠離其他群。

階層式分群（hierarchical clustering）由下而上，每次合併最接近的兩群，過程畫成樹狀圖（dendrogram）。不必事先指定 k，切在樹的哪一層，就得到幾群。

DBSCAN 依密度分群。eps 是鄰域半徑，minPts 是一個點要成為核心點時，鄰域內至少要有的鄰居數。密度夠的區域連成一群，形狀不必是圓的；過於稀疏的點標成雜訊。它不需要指定 k。限制有兩項。各群密度差很多時，很難用同一組 eps 與 minPts 同時適合每一群。維度很高時，距離逐漸失去區辨力，也就是維度詛咒（curse of dimensionality），分群效果變差。

因此，GPS 軌跡若沿彎路排成帶狀，旁邊又有零星雜訊點，球形假設不成立，還要把稀疏點分開，應選 DBSCAN。群大致呈圓形、尺度已經標準化、也知道大約要幾群時，K-means 才對得上它的前提。

高斯混合模型（Gaussian mixture model, GMM）做軟分群：每個點不是只屬於一群，而是得到屬於各群的機率。落在邊界上的點可以對兩群都有部分歸屬。

問題若是「交易裡出現 A 時，B 有多常跟著出現」，資料又是一筆筆交易，用關聯規則。這裡沒有連續的預測目標，不必先做 K-means。

三個數的分母不同，不能互換。

支援度（support）是規則覆蓋全部交易的比例：

support(A→B) = 同時含 A 與 B 的交易數 / 總交易數

信賴度（confidence）是在 A 已經出現的條件下 B 出現的比例，即 P(B|A)：

confidence(A→B) = support(A,B) / support(A)

提升度（lift）再拿這個條件機率去和 B 自己的支援度比：

lift(A→B) = confidence(A→B) / support(B)

lift > 1 是正相關，lift = 1 是獨立（知道 A 並未改變 B 的出現比例），lift < 1 是負相關。只略大於 1 時，是弱的正相關。

某電商 10 筆交易，含尿布 6 筆、含啤酒 6 筆、同時含兩者 4 筆。規則「尿布→啤酒」：

support = 4/10 = 0.4

support(尿布) = 6/10 = 0.6，所以 confidence = 4/6 ≈ 0.667

support(啤酒) = 6/10 = 0.6，所以 lift = 0.667 / 0.6 ≈ 1.11

用分數再算一次：(4/6) / (6/10) = (4/6) × (10/6) = 40/36 = 10/9 ≈ 1.11。大於 1，所以是正相關；離 1 不遠，所以不強。若把信賴度 0.667 除以規則的支援度 0.4，會得到約 1.67，那是分母用錯，不是提升度。

Apriori 原理用來剪枝：頻繁項目集的所有子集也一定頻繁；某個項目集不頻繁，它的超集合也不頻繁。若 {尿布, 啤酒} 未達支援度門檻，就不必再數 {尿布, 啤酒, 餅乾}。

欄位多，而你要的是用較少的新變數保住主要變異，用降維。降維不負責把點分成群，也不負責預測下一期。

主成分分析（principal component analysis, PCA）是線性轉換，找出變異最大的正交方向，這些方向就是主成分，彼此不相關。留幾個，看解釋變異比例（explained variance ratio）累加到你要保留的程度。分析前要標準化。否則「年收入（元）」的尺度遠大於「年齡（歲）」，第一主成分會被年收入主導，反映的是單位，不是兩欄的相對變異。

PCA 得到的是原變數的線性組合。若分析需求是留下可解釋的原始欄位，那是特徵選擇，不是 PCA。

奇異值分解（singular value decomposition, SVD）把任意矩陣寫成 A = U Σ Vᵀ。Σ 對角線上的奇異值非負，且由大到小排列。取前 k 個奇異值、其餘當 0，得到低秩近似。推薦系統用它找潛在因子，文字用它做潛在語意分析（latent semantic analysis, LSA）。PCA 可由標準化資料的 SVD 算出。奇異值不能是負數。

t-SNE 與 UMAP 是非線性降維，主要用於視覺化。圖上群與群的距離、群看起來的大小，不宜直接解讀成原始空間的距離或群的規模。它們也不提供「這幾個成分解釋了多少變異」。

觀測沿時間排列，而且要用過去推論未來，用時間序列。日期打亂之後，就不再是這個問題。

序列可以做時間序列分解（time series decomposition）：趨勢（trend）是長期走向，季節性（seasonality）是固定週期的起伏，循環（cycle）是長度不固定的起伏，不規則雜訊（irregular noise）是其餘波動。移動平均（moving average）用來平滑短期抖動，方便看趨勢。

ARIMA 需要定態性（stationarity），即平均與變異不隨時間改變。序列若還帶著趨勢、平均一直移動，可先差分，再看差分後是否已接近定態。

驗證要依時間順序切分，用較早的資料訓練、用較晚的一段驗證，也就是以過去預測未來。隨機切成 80/20，或先打亂再做 K-fold，都會把未來混進訓練。scikit-learn 的 TimeSeriesSplit 就是沿時間展開的切法。只報整段期間的整體平均，等於沒有處理趨勢與季節性，也沒有檢驗對下一段時間的誤差。

目標是找出少數不像其他點的觀察，而不是把每個點都分進某一群時，用異常偵測。

Isolation Forest 用隨機切分隔離每個點：越容易被孤立的點越異常；落在密集區的點要切很多次才分得出來。

z 分數（z-score）以標準差為單位，看一個點離平均多遠：

z = (x − x̄) / σ

|z| 很大，表示這個點偏離多數觀察較遠。

下面是呼叫寫法。n_clusters=4 與 n_init=10 表示分成 4 群，並以不同的初始中心跑 10 次後留下較好的一次。min_samples=5 就是方法裡的 minPts。n_components=0.95 表示保留達到 95% 變異所需的主成分數。這些是介面範例，不是每份資料都該照抄的參數。

from sklearn.cluster import KMeans, DBSCAN
from sklearn.decomposition import PCA
from sklearn.model_selection import TimeSeriesSplit

# X_scaled 為已標準化的特徵矩陣
kmeans = KMeans(n_clusters=4, n_init=10).fit(X_scaled)
dbscan = DBSCAN(eps=0.5, min_samples=5)
pca = PCA(n_components=0.95).fit(X_scaled)
pca.explained_variance_ratio_
TimeSeriesSplit()

explained_variance_ratio_ 在 fit 之後給出每個主成分各自解釋的變異比例。TimeSeriesSplit 用來依時間順序切訓練與驗證。