單因子 ANOVA 顯著,只代表「各組平均數不全相等」,沒有指出是哪兩組不同。要回答哪兩組不同,需要事後檢定(post hoc test):所有組兩兩比較且變異數相近時用 Tukey HSD,變異數不等時用 Games–Howell,每一組只和對照組比時用 Dunnett。報告結果時,除了 p 值,還要附上效果量(effect size)與各組差異的信賴區間。
整體 F 檢定說了什麼、沒說什麼
單因子 ANOVA 把資料的總變異拆成兩部分:組間變異(各組平均數離總平均多遠)與組內變異(同一組內的數值彼此差多少)。F 值是組間均方除以組內均方。F 值越大,代表各組平均數的差距越難用組內的隨機波動解釋。
這個檢定一次看所有組,所以稱為整體 F 檢定(omnibus F test)。它的虛無假設是「所有組的母體平均數都相等」。拒絕這個假設後,只知道至少有一處不相等,以下三件事仍然未知:
- 是哪兩組不同。
- 差異的方向與大小。
- 差異在實務上是否重要。
逐對做 t 檢定為什麼不行
三組有 3 個成對比較,四組有 6 個,五組有 10 個。每個比較各自用 α = 0.05 時,「至少出現一次偽陽性」的機率會隨比較數增加。若各比較彼此獨立,3 個比較的機率約為 14.3%,6 個約為 26.5%,10 個約為 40.1%(計算式為 1 − 0.95 的 m 次方,m 為比較數)。事後檢定的工作,就是在做多個比較的同時,把這個機率壓回設定的水準。
只有兩組時不需要事後檢定,直接用 t 檢定即可。
族系錯誤率與偽發現率
多重比較的校正有兩種控制目標:
- 族系錯誤率(family-wise error rate, FWER):整組比較中,至少出現一次偽陽性的機率。Tukey HSD、Dunnett、Bonferroni、Holm 控制的都是族系錯誤率。
- 偽發現率(false discovery rate, FDR):在所有被判為顯著的結果中,偽陽性所占比例的期望值。Benjamini 與 Hochberg 在 1995 年提出的程序控制的是偽發現率。
ANOVA 之後的比較數通常只有幾個到十幾個,每一個結論都會被單獨引用,所以慣例是控制族系錯誤率。偽發現率適合比較數達到數百或數千的篩選型分析,例如基因表現資料:研究者接受顯著清單裡有一小部分是偽陽性,以換取較高的檢定力。兩者的定義不同,報告時要寫明採用哪一種。
整體檢定與事後檢定可能不一致
整體 F 檢定與事後檢定是兩個不同的檢定,結論偶爾會不一致。F 檢定顯著,但 Tukey HSD 沒有任何一對顯著,這種情況會發生:F 檢定對「各組平均數的整體散布」敏感,差異可能來自多組的組合,而沒有集中在某一對。反過來,F 檢定不顯著,但某一對在 Tukey HSD 下顯著,也可能發生。
Tukey HSD 與 Dunnett 本身就把族系錯誤率控制在 α,數學上不需要以 F 檢定顯著為前提。實務上常見的流程仍是先看整體檢定,再看事後檢定。採用哪一種流程,要在分析前決定並寫進方法段,不能看到結果後再換。
事後檢定怎麼選
選擇的依據有三個:要比較哪些組、各組變異數是否相近、資料是否適合用平均數描述。
依序回答下面三個問題,就能對到表格中的一列:
- 比較的範圍:所有組兩兩比較、每組只對對照組,或是事先指定的少數幾對。
- 變異數:各組標準差是否相近。最大與最小的標準差相差數倍,或 Brown–Forsythe 檢定顯著時,視為變異數不等。
- 資料型態:各組資料大致對稱時比較平均數;嚴重偏態或順序尺度時改用以等級為基礎的方法。
每組樣本數很小時,常態性與變異數同質的檢定本身檢定力不足,「不顯著」不能當成假設成立的證明。這時應同時看原始資料點的分布,並參考同類量測過去的經驗。
| 檢定 | 比較什麼 | 假設 | 適用情境 |
|---|---|---|---|
| Tukey HSD | 所有組兩兩比較 | 常態、變異數同質 | 傳統單因子 ANOVA 之後,每一對都想知道 |
| Games–Howell | 所有組兩兩比較 | 常態,不要求變異數同質 | 各組變異數或樣本數差異大;搭配 Welch ANOVA |
| Dunnett | 每個處理組對同一個對照組 | 常態、變異數同質 | 只關心處理組與對照組的差異 |
| Bonferroni/Holm | 事先指定的少數比較 | 不限定檢定種類,只校正 p 值 | 分析前就寫明的幾個計畫性比較 |
| Dunn 檢定 | 所有組兩兩比較(以等級為基礎) | 不要求常態 | Kruskal–Wallis 檢定之後 |
Tukey HSD
Tukey 在 1949 年提出這個方法。它以 studentized range 分布為基礎,使用 ANOVA 的組內均方作為共同的誤差估計,一次處理所有成對比較,並把族系錯誤率控制在 α。各組樣本數不等時使用的修正版稱為 Tukey–Kramer,多數軟體會自動套用。Tukey HSD 同時給出每一對差異的信賴區間,區間不包含 0 就代表該對顯著。
Games–Howell
Tukey HSD 假設各組變異數相等。這個假設不成立、樣本數又不相等時,共同的誤差估計會失準。Games–Howell 對每一對各自計算標準誤,並用 Welch 的方式修正自由度,所以不需要變異數同質。整體檢定用 Welch ANOVA 時,事後檢定就用 Games–Howell,兩者的假設一致。
Dunnett
實驗設計是「一個對照組加上數個處理組」,而且只關心每個處理組和對照組的差異時,用 Dunnett。k 組資料用 Tukey HSD 要比 k(k−1)/2 對,用 Dunnett 只比 k−1 對。比較數較少,校正幅度也較小,所以同一份資料在這些比較上的檢定力比 Tukey HSD 高。代價是處理組之間的差異不在檢定範圍內。
Bonferroni 與 Holm
Bonferroni 把 α 除以比較數 m,或等價地把每個 p 值乘以 m。它不依賴特定分布,任何檢定的 p 值都能套用,但比較數多時偏保守。Holm 在 1979 年提出逐步版本:把 p 值由小到大排序,最小的乘以 m,次小的乘以 m−1,依序遞減。Holm 同樣控制族系錯誤率,檢定力不低於 Bonferroni,所以兩者擇一時用 Holm。這兩種方法適合事先指定的少數比較;要比完所有組合時,Tukey HSD 通常較有檢定力。
Dunn 檢定
資料明顯偏離常態或屬於順序尺度時,整體檢定改用 Kruskal–Wallis,事後檢定用 Dunn 檢定。Dunn 檢定把所有資料合併排序,比較兩組的平均等級,再對 p 值做多重比較校正(常見做法是 Bonferroni 或 Holm)。它比較的是等級,結論應寫成「某組的數值傾向高於另一組」,不寫成平均數的差。
完整算例:三組資料
以下為說明用的虛構資料,不是實際實驗結果。假設量測某蛋白的相對表現量(任意單位),分為對照組、低劑量組、高劑量組,每組 6 個獨立樣本。
| 組別 | 原始數值 | 平均數 | 標準差 |
|---|---|---|---|
| 對照組 | 4.2, 4.8, 5.1, 4.5, 5.0, 4.6 | 4.70 | 0.33 |
| 低劑量組 | 5.0, 5.6, 4.9, 5.8, 5.3, 5.5 | 5.35 | 0.35 |
| 高劑量組 | 6.4, 5.9, 6.8, 6.1, 7.0, 6.3 | 6.42 | 0.42 |
各組的平均數與標準差可用描述統計工具先算出來,順便檢查有沒有輸入錯誤或離群值。
第一步:整體 F 檢定
三組標準差相近(0.33 至 0.42),以中位數為中心的 Levene 檢定(Brown–Forsythe 檢定)得到 F(2, 15) = 0.10、p = 0.90,沒有變異數不等的證據,所以採用傳統單因子 ANOVA。
| 變異來源 | 平方和 | 自由度 | 均方 |
|---|---|---|---|
| 組間 | 9.014 | 2 | 4.5072 |
| 組內 | 2.043 | 15 | 0.1362 |
| 總和 | 11.058 | 17 |
F(2, 15) = 4.5072 ÷ 0.1362 = 33.09,p < 0.001(p = 3.2 × 10⁻⁶)。三組平均數不全相等。
第二步:效果量
η² = 組間平方和 ÷ 總平方和 = 9.014 ÷ 11.058 = 0.815。ω² = (9.014 − 2 × 0.1362) ÷ (11.058 + 0.1362) = 0.781。虛構資料的組間差距設定得很明顯,所以效果量偏大;實際實驗的數值通常小得多。
第三步:Tukey HSD
三組都要兩兩比較,變異數相近,所以用 Tukey HSD。
| 比較 | 平均數差 | 95% 信賴區間 | 校正後 p 值 |
|---|---|---|---|
| 低劑量組 − 對照組 | 0.65 | 0.10 至 1.20 | 0.021 |
| 高劑量組 − 對照組 | 1.72 | 1.16 至 2.27 | < 0.001 |
| 高劑量組 − 低劑量組 | 1.07 | 0.51 至 1.62 | < 0.001 |
Tukey HSD 的判定門檻可以直接算出來。三組、誤差自由度 15、α = 0.05 時,studentized range 的臨界值是 3.673;門檻等於 3.673 × √(0.1362 ÷ 6) = 0.55。任何一對的平均數差超過 0.55 就顯著,表中三對的差(0.65、1.72、1.07)都超過這個值。
三對的信賴區間都不包含 0,三對都顯著。低劑量組與對照組的差異最小,區間下限 0.10 很接近 0,這一對的證據最弱。
同一對比較若改用 Bonferroni 校正(未校正 p = 0.0081,乘以 3),得到 p = 0.024,略高於 Tukey HSD 的 0.021。比較數只有 3 時兩者差距很小;比較數越多,Bonferroni 相對於 Tukey HSD 越保守。
若這份資料的 Brown–Forsythe 檢定顯著,流程要改為 Welch ANOVA 加 Games–Howell;若資料嚴重偏態,改為 Kruskal–Wallis 加 Dunn 檢定。整體檢定與事後檢定要成套更換。若研究問題只有「各劑量是否不同於對照組」,則應改用 Dunnett,只做兩個比較。
效果量與結果寫法
η² 與 ω²
p 值回答「差異是否可能來自隨機波動」,效果量回答「分組解釋了多少變異」。兩者都要報告。
- η²(eta squared):組間平方和占總平方和的比例。計算簡單,但它描述的是樣本,用來估計母體時會高估,樣本越小高估越多。
- ω²(omega squared):在公式中扣除誤差項,偏誤比 η² 小。Lakens(2013)整理了兩者的算法,並指出 ω² 的偏誤較小。樣本數不大時,建議報告 ω²,或兩者並列。
η² 與 ω² 描述的是整體分組效果。讀者通常更關心特定兩組差多少,所以每個成對比較都應附上平均數差與 95% 信賴區間,單位與原始量測相同,最容易判讀。
寫進報告的句子
一段完整的結果敘述包含五項:使用的整體檢定、F 值與兩個自由度、p 值、效果量,以及事後檢定的名稱與各對結果。以上面的算例為例:
單因子 ANOVA 顯示三組的相對表現量不全相等,F(2, 15) = 33.09,p < 0.001,η² = 0.82,ω² = 0.78。以 Tukey HSD 進行事後檢定,高劑量組高於對照組(平均數差 1.72,95% 信賴區間 1.16 至 2.27,p < 0.001),高劑量組高於低劑量組(平均數差 1.07,95% 信賴區間 0.51 至 1.62,p < 0.001),低劑量組高於對照組(平均數差 0.65,95% 信賴區間 0.10 至 1.20,p = 0.021)。
方法段另外要交代四件事:每組樣本數與樣本的定義(獨立個體或重複量測)、檢查了哪些假設、顯著水準,以及使用的軟體與版本。
四個常見錯誤
- 只寫「ANOVA 顯著,p < 0.05」,沒有事後檢定,也沒有指出哪兩組不同。
- 整體檢定用 Welch ANOVA 或 Kruskal–Wallis,事後檢定卻用 Tukey HSD。前後假設不一致。
- 看完資料才決定只比較差異最大的幾對,再用 Bonferroni 除以這幾對的數目。比較的範圍必須在看資料之前決定,否則校正不足。
- 把「不顯著」寫成「兩組相同」。不顯著只代表證據不足,應以信賴區間說明差異可能的範圍。
用工具跑一次
ANOVA 工具在瀏覽器內完成計算,可選傳統單因子 ANOVA、Welch ANOVA 或 Kruskal–Wallis,也可以讓工具依資料建議方法。成對比較隨整體檢定自動配對:傳統 ANOVA 搭配 Tukey HSD,Welch ANOVA 搭配 Games–Howell,Kruskal–Wallis 搭配以 Holm 校正的 Dunn 檢定。結果會列出各組的 Shapiro–Wilk 檢定、Brown–Forsythe 檢定、效果量與每一對的校正後 p 值。這個工具目前沒有 Dunnett 檢定與偽發現率校正,需要時請改用 R 或其他統計軟體。
不確定資料該用哪一種檢定時,可以先用自動統計檢定工具。
參考文獻
- Tukey JW. Comparing individual means in the analysis of variance. Biometrics. 1949;5(2):99–114. doi:10.2307/3001913
- Games PA, Howell JF. Pairwise multiple comparison procedures with unequal N's and/or variances: a Monte Carlo study. J Educ Stat. 1976;1(2):113–125. doi:10.3102/10769986001002113
- Dunnett CW. A multiple comparison procedure for comparing several treatments with a control. J Am Stat Assoc. 1955;50(272):1096–1121. doi:10.1080/01621459.1955.10501294
- Dunn OJ. Multiple comparisons using rank sums. Technometrics. 1964;6(3):241–252. doi:10.1080/00401706.1964.10490181
- Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. J R Stat Soc Series B. 1995;57(1):289–300. doi:10.1111/j.2517-6161.1995.tb02031.x
- Lakens D. Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs. Front Psychol. 2013;4:863. doi:10.3389/fpsyg.2013.00863