假設檢定與統計推論：p 值、兩類錯誤與檢定選擇

拿到的幾乎都是樣本。要判斷的是母體的平均、比例，或組與組之間有沒有差異。假設檢定先寫下一個可被資料挑戰的說法，再問：若這個說法為真，眼前這批資料算不算罕見。

虛無假設（null hypothesis, H0）寫的是沒有差異、沒有效果。平台宣稱平均處理時間就是 50 秒時，H0 是母體平均 μ = 50。對立假設（alternative hypothesis, H1）是研究者想支持的方向：比 50 長、比 50 短，或只是不等於 50。檢定不從 H1 起算。它假設 H0 為真，再看「目前這麼極端，或更極端」的資料有多難得。難得的程度夠高，才拒絕 H0。

這個「難得的程度」是 p 值（p-value）：在 H0 為真的前提下，得到至少與觀察結果一樣極端的資料的機率。p 值不是「H0 為真的機率」，也不是效果大小。它不回答母體到底差了幾秒、差了幾個百分點。

拒不拒絕，用事先訂好的 顯著水準（significance level, α）當門檻，常用 0.05。p ≤ α 就拒絕 H0；p > α 則不拒絕 H0。不拒絕只表示這批樣本還沒有把 H0 推開，不是證明 H0 為真。樣本小、波動大時，真的有差異，也可能停在不拒絕。

兩種錯誤的方向相反。

型一錯誤（Type I error）是 H0 為真卻拒絕，也就是偽陽性，機率等於 α。α = 0.05 時，若 H0 確實為真，長期而言約有 0.05 的檢定會誤拒絕。

型二錯誤（Type II error）是 H0 為假卻沒有拒絕，也就是偽陰性，機率記為 β。檢定力（power）是 H0 為假時成功拒絕的機率，power = 1 − β。

n 固定時，兩種錯誤彼此拉扯。α 從 0.05 調到 0.01，拒絕區變窄，型一錯誤變少，但同一批資料更難跨過門檻，β 變大，檢定力下降。想讓型一與型二一起下降，要增加樣本數，而不是只把 α 調小。

尾的選擇跟 H1 的寫法綁在一起。H1 是 μ > μ0 或 μ < μ0 時，用單尾檢定（one-tailed test），極端只算指定的那一側。H1 只問「是否不同」（μ ≠ μ0）時，用雙尾檢定（two-tailed test），兩側都算。同一筆資料、同一個 α，雙尾把門檻分到兩側，臨界值離 0 更遠，比單尾更不容易拒絕 H0。研究假設已設定方向，就用該側的臨界值，不要改套雙尾的臨界值。

只有一組樣本，要檢驗母體平均是否等於 H0 所寫的 μ0。σ 已知時用 Z 檢定（Z-test）：

z = (x̄ − μ0) / (σ / √n)

分母 σ/√n 是樣本平均的標準誤。n 愈大，標準誤愈小，同樣的差距 x̄ − μ0 會得到愈大的 |z|。

以這個可手算的設計為例。H0: μ = 50，H1: μ > 50，σ = 12，n = 16，x̄ = 55。

σ/√n = 12/√16 = 12/4 = 3

z = (55 − 50) / 3 = 5/3 ≈ 1.67

右尾、α = 0.05 的臨界值是 1.645。1.67 > 1.645，拒絕 H0。這個 z 的右尾 p 值約為 0.048，也小於 0.05。若分母誤用 σ、沒有除以 √n，會得到 z = (55 − 50)/12 = 5/12 ≈ 0.42，結論就反了。

σ 未知、只有樣本標準差時，改用t 檢定（t-test）裡的單一樣本 t 檢定。標準誤改由樣本標準差估計，臨界值來自 t 分配，不能直接沿用常態的 1.645 或 1.96，除非分析規格另外提供 t 的臨界值。

兩群不同的人、各有一個平均，用獨立樣本 t 檢定（independent-samples t-test）。兩組變異數不相等時，改用 Welch t 檢定（Welch's t-test），不要再用假設變異數相等的那一版。

同一群人前後各量一次，或本來就配對的兩筆，用配對 t 檢定（paired t-test）。先算每一對的差值，再對差值做單一樣本 t，H0 通常是差值的母體平均為 0。把前後測拆成兩組獨立樣本，會忽略「是同一個人」這件事，問的就不再是這題的改變。

三組以上的平均，各組獨立，用單因子變異數分析（one-way ANOVA），統計量是 F。若研究資料近似常態且變異數相近，就符合這條。ANOVA 顯著只表示至少有一組與其他組不同，沒有指出是哪一組。要知道哪幾組不同，接事後比較（post hoc test），例如 Tukey HSD。若改做多次兩兩 t 檢定，每一次都帶著自己的 α，整體型一錯誤會膨脹，不能把「每一次都用 0.05」當成整體仍是 0.05。

兩個類別變數是否相關，用卡方獨立性檢定（chi-square test of independence）。表裡是次數。會員等級三類、回購只有是否，問的就是等級與回購是否獨立。觀察次數是否符合某個理論比例，用卡方適合度檢定（chi-square goodness-of-fit test）。兩種卡方都吃次數；同一人的前後測數值不進卡方。

兩組比例，例如 A/B 測試的轉換率，用兩比例 Z 檢定（two-proportion Z-test）。比的是比例，不是平均。

資料不符合常態，或變數只是順序，改用無母數檢定（nonparametric test）。兩組獨立用 Mann-Whitney U 檢定；配對用 Wilcoxon 符號等級檢定（Wilcoxon signed-rank test）；三組以上用 Kruskal-Wallis 檢定。對應仍是：獨立對獨立、配對對配對、多組對多組。

σ 已知時，母體平均的 95% 信賴區間（confidence interval, CI）是：

x̄ ± 1.96 × (σ / √n)

1.96 是標準常態在雙尾、兩側合計 0.05 時的臨界值。解讀指的是重複抽樣：用同樣方法抽很多次，約 95% 的區間會涵蓋真實的 μ。區間算出之後，不要把它說成「真實 μ 有 95% 的機率落在這一條區間裡」。

在同一參數、同一組假設下，雙尾檢定和信賴區間是同一件事的兩種寫法。雙尾 α = 0.05 時拒絕 H0，等價於 95% CI 不含 H0 所寫的值。比的若是兩組差距，H0 通常是差距 = 0；95% CI 不含 0，就對應這個顯著水準下拒絕 H0。區間是 [0.4%, 1.8%] 時，下界已經大於 0，不必再等一個 p 值才能做這個對應。區間若跨過 0，則同一水準下不拒絕 H0。

同時做 m 個檢定時，Bonferroni 校正（Bonferroni correction）把每一個檢定的門檻改為 α/m。它處理的是整體型一錯誤，不是把差異本身變大。門檻變嚴，個別檢定更不容易拒絕，和「n 不變、只把 α 調小」是同一種拉扯。

另一個陷阱在 n 非常大。標準誤的分母有 √n，n 一大，極小的差距也能跨過臨界值。顯著只表示這個差距不太像單純的抽樣波動。實務上要不要行動，還要看效果量（effect size），把差距的大小和決策在意的幅度放在一起。p 值小，不自動等於值得改做法。

scipy.stats 的呼叫與前面的選擇對上。a、b、before、after、g1、g2、g3 是數值資料，table 是列聯表的次數。

from scipy import stats

def welch_t(a, b):
    return stats.ttest_ind(a, b, equal_var=False)

def paired_t(before, after):
    return stats.ttest_rel(before, after)

def one_way_anova(g1, g2, g3):
    return stats.f_oneway(g1, g2, g3)

def chi2_independence(table):
    return stats.chi2_contingency(table)

equal_var=False 才是 Welch。前後測要用 ttest_rel，兩筆依同一順序配對；打散之後再送進 ttest_ind，就不再是配對設計。