統計學在大數據中的應用：抽樣、相關、迴歸與貝氏

樣本變大，會把隨機誤差壓低。同一種抽法重複做，統計量上下晃動的幅度變小，估計會更穩。它不會修正系統性偏誤。偏誤來自分法本身一直朝同一個方向歪；筆數增加，只是把那個歪更精密地重現出來。

常見的一種是選樣偏誤（selection bias）。某電商若只留下有打開 App 的紀錄，這些人已經比沒裝 App、或不常上網的顧客更活躍。樣本從很小增到很大，算出來的仍是 App 使用者的滿意度或消費，不是全體顧客。全體裡從沒進入資料的那一塊，不會隨筆數增加而補上。

樣本大了以後，另一個判斷也會變。只要差距不是恰好為零，檢定很容易達到統計顯著。顯著表示這個差距不太像純雜訊，並沒有回答差距在營運上值不值得動作。幅度要另看效果量（effect size）。Cohen's d 的定義是平均差除以合併標準差：Cohen's d = 平均差 / 合併標準差。分子是兩組差多少，分母是資料本身散得多開。d 小，表示差距相對資料的波動很輕，p 值再小也要分開看。

兩個變數一起升降，也推不出誰造成誰。它們可以同時受第三個干擾變數（confounder）推動。某工廠的加班時數與不良品數一起上升，背後可能是趕單那一週的產量與混線，加班只是和趕單綁在一起。沒把趕單納入，相關會把這段共用的變動算到加班上。

方向還可能因合併而反轉，這是辛普森悖論（Simpson's paradox）。每一組分開看，趨勢朝一邊；合併以後，趨勢朝另一邊。原因是各組佔整體的比例不同，比重大的那一組會把合併結果拉向自己的水準。可以想某工廠的兩條產線：每一條產線裡，新製程的不良率都低於舊製程，但新製程大部分用在原本不良率就比較高的那一條產線。合併之後，新製程的不良率反而較高。分組方向與合併方向要一起讀。

簡單隨機抽樣（simple random sampling）讓母體裡每一筆有相同機會入樣。少數群體很小時，抽到的人數會跟著那個小比例走，不能保證這一群有足夠筆數做單獨估計。

分層抽樣（stratified sampling）先依重要分群切開，再在各層裡抽。某電商的 VIP 只佔客群一小塊，若滿意度必須對 VIP 有把握，就把 VIP 與非 VIP 分成兩層，各自抽到夠用的人數。

系統抽樣（systematic sampling）是排序後每隔 k 筆取一筆。它仍大致沿用名單原本的比例，不會為了少數群體加碼。

叢集抽樣（cluster sampling）隨機抽整群，再調查被抽中的群。群可以是分店、產線或班級。抽中的單位是群，不是按某個稀有身份配額。

資料若是一路流進來的串流，事先不知道總筆數，就無法先依總筆數計算每一筆的抽中機率。水庫抽樣（reservoir sampling）維持一個固定大小的樣本，並讓目前看過的每一筆留在樣本裡的機會相同，得到固定大小的均勻樣本。

已經有一份樣本、又不假設統計量服從哪一種理論分佈時，用 Bootstrap。做法是從這份樣本裡放回抽樣，重複很多次，每次重算同一個統計量。這些重算值的分佈用來估計該統計量的分佈與信賴區間。必須放回：若不放回，從 n 筆裡抽 n 筆，每次都會得到同一組點。

Pearson 相關係數衡量線性關係，範圍從 −1 到 1。它適合連續、且近似常態的變數。計算用的是原始數值的距離，所以對離群值敏感，少數極端點就能把係數拉開。

Spearman 先把數值換成排名，再看排名之間的關係，衡量的是單調關係：一方增加時，另一方大致往同一方向走，不必是直線。它對離群值較穩健，適合順序資料。滿意度星等這類只有順序、相鄰等級不一定等距的變數，通常用它。

Kendall 依成對資料的順序是否一致來計算。樣本小，或同分（ties）很多、排名經常打平時，適合用它。

相關係數 r 的平方 r²，在簡單線性迴歸中，是另一個變數能解釋的變異比例。r = 0.8 與 r = −0.8 的 r² 都是 0.64：線性上能解釋的比例相同，方向相反。r² 不要讀回成相關係數本身。

線性迴歸寫成 y = β0 + β1x1 + … + ε。β0 是各自變數都取 0 時的平均水準。β1 要帶著「其他變數固定」來讀：x1 增加 1 單位，y 平均改變 β1。

R² 是模型解釋的變異比例，範圍 0 到 1。R² = 0.64 表示 y 的變異約有 64% 落在模型的擬合裡，其餘留在殘差 ε。它不是預測準確率，也不是「64% 的列被猜中」。

加入新的自變數，R² 不會下降，多一個變數最多讓擬合一樣好。變數個數不同的模型不能只比 R²。調整後 R²（adjusted R²）對變數個數做了懲罰；多加一個幾乎沒有幫助的變數時，它可能下降。比較要不要多留幾個特徵時，看調整後 R²。

自變數彼此高度相關，就是多重共線性（multicollinearity）。y 的變動可以用不同方式分給這幾個自變數，係數會不穩定，標準誤變大。檢查用 VIF（variance inflation factor）。常用經驗門檻是 VIF > 10，表示嚴重。

結果只有兩種，例如退款與否、故障與否，用邏輯斯迴歸（logistic regression）估計發生的機率。係數不直接是機率的增減。係數取指數後得到勝算比（odds ratio）。β = 0.693 時，exp(0.693) ≈ 2：該特徵增加 1 單位，勝算約變成原來的 2 倍。勝算是「發生對不發生」的比，機率 = 勝算 / (1 + 勝算)。勝算翻倍時，機率不會跟著翻倍，也不等於加上 0.693。

自變數很多、或彼此相關時，可用正則化（regularization）限制係數。Lasso（L1）會把一部分係數壓成 0，因此可做特徵選擇。Ridge（L2）把係數縮小，但不壓成 0，用來緩和共線性。

貝氏定理（Bayes' theorem）是 P(A|B) = P(B|A) × P(A) / P(B)。檢測時，A 可當作患病，B 當作陽性。P(A) 是盛行率，P(B|A) 是敏感度。分母是所有陽性的來源：真患病且陽性，加上未患病卻陽性。

盛行率 1%、敏感度 99%、特異度 95% 時，未患病的人佔 99%，其中呈陽性的比例是 1 − 0.95 = 0.05。

真陽性：0.01 × 0.99 = 0.0099。 偽陽性：0.99 × 0.05 = 0.0495。 分母：0.0099 + 0.0495 = 0.0594。 陽性者中真的患病的機率：0.0099 / 0.0594 ≈ 0.1667，約 16.7%。

99% 回答的是「若真的患病，有多常呈陽性」。16.7% 回答的是「已經呈陽性的人，有多少真的患病」。基礎率只有 1% 時，健康者遠多於患者，特異度 95% 仍留下 5% 的偽陽性；這 5% 乘上 99% 的健康者，人數上多於真陽性。檢測準，仍可能讓多數陽性是偽陽性。

A/B 測試用隨機分派把使用者分到不同版本，並事先決定樣本數與要看的指標。隨機分派讓兩組在實驗前的差異只剩機遇，版本之間的差距才有機會被單獨比較。

邊看邊停會把這個安排打亂：還沒到預定樣本數，就反覆偷看 p 值，一顯著就停。每一次偷看都有機會被隨機波動超過門檻，偷看次數增加，型一錯誤（Type I error）就提高，也就是實際上沒有差異、卻判定有差異的機會變大。樣本數與停止規則要在看結果之前定好。

兩欄的 Spearman 相關可以這樣算：

df[['a', 'b']].corr(method='spearman')

method='spearman' 指定用排名計算。

線性迴歸的係數、p 值與 R² 可以這樣列出：

import statsmodels.api as sm

result = sm.OLS(y, sm.add_constant(X)).fit()
result.summary()

sm.add_constant(X) 補上常數欄，模型才估得到截距 β0。summary() 會列出各係數、對應的 p 值，以及 R²。p 值進入「是否顯著」那一層；係數的大小與 R² 仍要分開讀。