跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
實驗方法

ANOVA 顯著之後:事後檢定怎麼選

單因子 ANOVA 顯著只代表各組平均數不全相等。本文說明 Tukey HSD、Games–Howell、Dunnett、Bonferroni/Holm 與 Dunn 檢定的適用情境,並附三組資料算例、效果量與結果寫法。

作者
CY
發表
生醫原理與技術 · 第 8/10 篇

單因子 ANOVA 顯著,只代表「各組平均數不全相等」,沒有指出是哪兩組不同。要回答哪兩組不同,需要事後檢定(post hoc test):所有組兩兩比較且變異數相近時用 Tukey HSD,變異數不等時用 Games–Howell,每一組只和對照組比時用 Dunnett。報告結果時,除了 p 值,還要附上效果量(effect size)與各組差異的信賴區間。

整體 F 檢定說了什麼、沒說什麼

單因子 ANOVA 把資料的總變異拆成兩部分:組間變異(各組平均數離總平均多遠)與組內變異(同一組內的數值彼此差多少)。F 值是組間均方除以組內均方。F 值越大,代表各組平均數的差距越難用組內的隨機波動解釋。

這個檢定一次看所有組,所以稱為整體 F 檢定(omnibus F test)。它的虛無假設是「所有組的母體平均數都相等」。拒絕這個假設後,只知道至少有一處不相等,以下三件事仍然未知:

  • 是哪兩組不同。
  • 差異的方向與大小。
  • 差異在實務上是否重要。

逐對做 t 檢定為什麼不行

三組有 3 個成對比較,四組有 6 個,五組有 10 個。每個比較各自用 α = 0.05 時,「至少出現一次偽陽性」的機率會隨比較數增加。若各比較彼此獨立,3 個比較的機率約為 14.3%,6 個約為 26.5%,10 個約為 40.1%(計算式為 1 − 0.95 的 m 次方,m 為比較數)。事後檢定的工作,就是在做多個比較的同時,把這個機率壓回設定的水準。

只有兩組時不需要事後檢定,直接用 t 檢定即可。

族系錯誤率與偽發現率

多重比較的校正有兩種控制目標:

  • 族系錯誤率(family-wise error rate, FWER):整組比較中,至少出現一次偽陽性的機率。Tukey HSD、Dunnett、Bonferroni、Holm 控制的都是族系錯誤率。
  • 偽發現率(false discovery rate, FDR):在所有被判為顯著的結果中,偽陽性所占比例的期望值。Benjamini 與 Hochberg 在 1995 年提出的程序控制的是偽發現率。

ANOVA 之後的比較數通常只有幾個到十幾個,每一個結論都會被單獨引用,所以慣例是控制族系錯誤率。偽發現率適合比較數達到數百或數千的篩選型分析,例如基因表現資料:研究者接受顯著清單裡有一小部分是偽陽性,以換取較高的檢定力。兩者的定義不同,報告時要寫明採用哪一種。

整體檢定與事後檢定可能不一致

整體 F 檢定與事後檢定是兩個不同的檢定,結論偶爾會不一致。F 檢定顯著,但 Tukey HSD 沒有任何一對顯著,這種情況會發生:F 檢定對「各組平均數的整體散布」敏感,差異可能來自多組的組合,而沒有集中在某一對。反過來,F 檢定不顯著,但某一對在 Tukey HSD 下顯著,也可能發生。

Tukey HSD 與 Dunnett 本身就把族系錯誤率控制在 α,數學上不需要以 F 檢定顯著為前提。實務上常見的流程仍是先看整體檢定,再看事後檢定。採用哪一種流程,要在分析前決定並寫進方法段,不能看到結果後再換。

事後檢定怎麼選

選擇的依據有三個:要比較哪些組、各組變異數是否相近、資料是否適合用平均數描述。

依序回答下面三個問題,就能對到表格中的一列:

  1. 比較的範圍:所有組兩兩比較、每組只對對照組,或是事先指定的少數幾對。
  2. 變異數:各組標準差是否相近。最大與最小的標準差相差數倍,或 Brown–Forsythe 檢定顯著時,視為變異數不等。
  3. 資料型態:各組資料大致對稱時比較平均數;嚴重偏態或順序尺度時改用以等級為基礎的方法。

每組樣本數很小時,常態性與變異數同質的檢定本身檢定力不足,「不顯著」不能當成假設成立的證明。這時應同時看原始資料點的分布,並參考同類量測過去的經驗。

檢定 比較什麼 假設 適用情境
Tukey HSD 所有組兩兩比較 常態、變異數同質 傳統單因子 ANOVA 之後,每一對都想知道
Games–Howell 所有組兩兩比較 常態,不要求變異數同質 各組變異數或樣本數差異大;搭配 Welch ANOVA
Dunnett 每個處理組對同一個對照組 常態、變異數同質 只關心處理組與對照組的差異
Bonferroni/Holm 事先指定的少數比較 不限定檢定種類,只校正 p 值 分析前就寫明的幾個計畫性比較
Dunn 檢定 所有組兩兩比較(以等級為基礎) 不要求常態 Kruskal–Wallis 檢定之後

Tukey HSD

Tukey 在 1949 年提出這個方法。它以 studentized range 分布為基礎,使用 ANOVA 的組內均方作為共同的誤差估計,一次處理所有成對比較,並把族系錯誤率控制在 α。各組樣本數不等時使用的修正版稱為 Tukey–Kramer,多數軟體會自動套用。Tukey HSD 同時給出每一對差異的信賴區間,區間不包含 0 就代表該對顯著。

Games–Howell

Tukey HSD 假設各組變異數相等。這個假設不成立、樣本數又不相等時,共同的誤差估計會失準。Games–Howell 對每一對各自計算標準誤,並用 Welch 的方式修正自由度,所以不需要變異數同質。整體檢定用 Welch ANOVA 時,事後檢定就用 Games–Howell,兩者的假設一致。

Dunnett

實驗設計是「一個對照組加上數個處理組」,而且只關心每個處理組和對照組的差異時,用 Dunnett。k 組資料用 Tukey HSD 要比 k(k−1)/2 對,用 Dunnett 只比 k−1 對。比較數較少,校正幅度也較小,所以同一份資料在這些比較上的檢定力比 Tukey HSD 高。代價是處理組之間的差異不在檢定範圍內。

Bonferroni 與 Holm

Bonferroni 把 α 除以比較數 m,或等價地把每個 p 值乘以 m。它不依賴特定分布,任何檢定的 p 值都能套用,但比較數多時偏保守。Holm 在 1979 年提出逐步版本:把 p 值由小到大排序,最小的乘以 m,次小的乘以 m−1,依序遞減。Holm 同樣控制族系錯誤率,檢定力不低於 Bonferroni,所以兩者擇一時用 Holm。這兩種方法適合事先指定的少數比較;要比完所有組合時,Tukey HSD 通常較有檢定力。

Dunn 檢定

資料明顯偏離常態或屬於順序尺度時,整體檢定改用 Kruskal–Wallis,事後檢定用 Dunn 檢定。Dunn 檢定把所有資料合併排序,比較兩組的平均等級,再對 p 值做多重比較校正(常見做法是 Bonferroni 或 Holm)。它比較的是等級,結論應寫成「某組的數值傾向高於另一組」,不寫成平均數的差。

完整算例:三組資料

以下為說明用的虛構資料,不是實際實驗結果。假設量測某蛋白的相對表現量(任意單位),分為對照組、低劑量組、高劑量組,每組 6 個獨立樣本。

組別 原始數值 平均數 標準差
對照組 4.2, 4.8, 5.1, 4.5, 5.0, 4.6 4.70 0.33
低劑量組 5.0, 5.6, 4.9, 5.8, 5.3, 5.5 5.35 0.35
高劑量組 6.4, 5.9, 6.8, 6.1, 7.0, 6.3 6.42 0.42

各組的平均數與標準差可用描述統計工具先算出來,順便檢查有沒有輸入錯誤或離群值。

第一步:整體 F 檢定

三組標準差相近(0.33 至 0.42),以中位數為中心的 Levene 檢定(Brown–Forsythe 檢定)得到 F(2, 15) = 0.10、p = 0.90,沒有變異數不等的證據,所以採用傳統單因子 ANOVA。

變異來源 平方和 自由度 均方
組間 9.014 2 4.5072
組內 2.043 15 0.1362
總和 11.058 17

F(2, 15) = 4.5072 ÷ 0.1362 = 33.09,p < 0.001(p = 3.2 × 10⁻⁶)。三組平均數不全相等。

第二步:效果量

η² = 組間平方和 ÷ 總平方和 = 9.014 ÷ 11.058 = 0.815。ω² = (9.014 − 2 × 0.1362) ÷ (11.058 + 0.1362) = 0.781。虛構資料的組間差距設定得很明顯,所以效果量偏大;實際實驗的數值通常小得多。

第三步:Tukey HSD

三組都要兩兩比較,變異數相近,所以用 Tukey HSD。

比較 平均數差 95% 信賴區間 校正後 p 值
低劑量組 − 對照組 0.65 0.10 至 1.20 0.021
高劑量組 − 對照組 1.72 1.16 至 2.27 < 0.001
高劑量組 − 低劑量組 1.07 0.51 至 1.62 < 0.001

Tukey HSD 的判定門檻可以直接算出來。三組、誤差自由度 15、α = 0.05 時,studentized range 的臨界值是 3.673;門檻等於 3.673 × √(0.1362 ÷ 6) = 0.55。任何一對的平均數差超過 0.55 就顯著,表中三對的差(0.65、1.72、1.07)都超過這個值。

三對的信賴區間都不包含 0,三對都顯著。低劑量組與對照組的差異最小,區間下限 0.10 很接近 0,這一對的證據最弱。

同一對比較若改用 Bonferroni 校正(未校正 p = 0.0081,乘以 3),得到 p = 0.024,略高於 Tukey HSD 的 0.021。比較數只有 3 時兩者差距很小;比較數越多,Bonferroni 相對於 Tukey HSD 越保守。

若這份資料的 Brown–Forsythe 檢定顯著,流程要改為 Welch ANOVA 加 Games–Howell;若資料嚴重偏態,改為 Kruskal–Wallis 加 Dunn 檢定。整體檢定與事後檢定要成套更換。若研究問題只有「各劑量是否不同於對照組」,則應改用 Dunnett,只做兩個比較。

效果量與結果寫法

η² 與 ω²

p 值回答「差異是否可能來自隨機波動」,效果量回答「分組解釋了多少變異」。兩者都要報告。

  • η²(eta squared):組間平方和占總平方和的比例。計算簡單,但它描述的是樣本,用來估計母體時會高估,樣本越小高估越多。
  • ω²(omega squared):在公式中扣除誤差項,偏誤比 η² 小。Lakens(2013)整理了兩者的算法,並指出 ω² 的偏誤較小。樣本數不大時,建議報告 ω²,或兩者並列。

η² 與 ω² 描述的是整體分組效果。讀者通常更關心特定兩組差多少,所以每個成對比較都應附上平均數差與 95% 信賴區間,單位與原始量測相同,最容易判讀。

寫進報告的句子

一段完整的結果敘述包含五項:使用的整體檢定、F 值與兩個自由度、p 值、效果量,以及事後檢定的名稱與各對結果。以上面的算例為例:

單因子 ANOVA 顯示三組的相對表現量不全相等,F(2, 15) = 33.09,p < 0.001,η² = 0.82,ω² = 0.78。以 Tukey HSD 進行事後檢定,高劑量組高於對照組(平均數差 1.72,95% 信賴區間 1.16 至 2.27,p < 0.001),高劑量組高於低劑量組(平均數差 1.07,95% 信賴區間 0.51 至 1.62,p < 0.001),低劑量組高於對照組(平均數差 0.65,95% 信賴區間 0.10 至 1.20,p = 0.021)。

方法段另外要交代四件事:每組樣本數與樣本的定義(獨立個體或重複量測)、檢查了哪些假設、顯著水準,以及使用的軟體與版本。

四個常見錯誤

  • 只寫「ANOVA 顯著,p < 0.05」,沒有事後檢定,也沒有指出哪兩組不同。
  • 整體檢定用 Welch ANOVA 或 Kruskal–Wallis,事後檢定卻用 Tukey HSD。前後假設不一致。
  • 看完資料才決定只比較差異最大的幾對,再用 Bonferroni 除以這幾對的數目。比較的範圍必須在看資料之前決定,否則校正不足。
  • 把「不顯著」寫成「兩組相同」。不顯著只代表證據不足,應以信賴區間說明差異可能的範圍。

用工具跑一次

ANOVA 工具在瀏覽器內完成計算,可選傳統單因子 ANOVA、Welch ANOVA 或 Kruskal–Wallis,也可以讓工具依資料建議方法。成對比較隨整體檢定自動配對:傳統 ANOVA 搭配 Tukey HSD,Welch ANOVA 搭配 Games–Howell,Kruskal–Wallis 搭配以 Holm 校正的 Dunn 檢定。結果會列出各組的 Shapiro–Wilk 檢定、Brown–Forsythe 檢定、效果量與每一對的校正後 p 值。這個工具目前沒有 Dunnett 檢定與偽發現率校正,需要時請改用 R 或其他統計軟體。

不確定資料該用哪一種檢定時,可以先用自動統計檢定工具。

參考文獻

  • Tukey JW. Comparing individual means in the analysis of variance. Biometrics. 1949;5(2):99–114. doi:10.2307/3001913
  • Games PA, Howell JF. Pairwise multiple comparison procedures with unequal N's and/or variances: a Monte Carlo study. J Educ Stat. 1976;1(2):113–125. doi:10.3102/10769986001002113
  • Dunnett CW. A multiple comparison procedure for comparing several treatments with a control. J Am Stat Assoc. 1955;50(272):1096–1121. doi:10.1080/01621459.1955.10501294
  • Dunn OJ. Multiple comparisons using rank sums. Technometrics. 1964;6(3):241–252. doi:10.1080/00401706.1964.10490181
  • Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. J R Stat Soc Series B. 1995;57(1):289–300. doi:10.1111/j.2517-6161.1995.tb02031.x
  • Lakens D. Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs. Front Psychol. 2013;4:863. doi:10.3389/fpsyg.2013.00863

參考文獻

  1. Tukey JW. Comparing individual means in the analysis of variance. Biometrics. 1949;5(2):99–114.
  2. Games PA, Howell JF. Pairwise multiple comparison procedures with unequal N's and/or variances: a Monte Carlo study. Journal of Educational Statistics. 1976;1(2):113–125.
  3. Dunnett CW. A multiple comparison procedure for comparing several treatments with a control. Journal of the American Statistical Association. 1955;50(272):1096–1121.
  4. Dunn OJ. Multiple comparisons using rank sums. Technometrics. 1964;6(3):241–252.
  5. Benjamini Y, Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society Series B. 1995;57(1):289–300.
  6. Lakens D. Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs. Frontiers in Psychology. 2013;4:863.

常見問題

ANOVA 顯著之後一定要做事後檢定嗎?

只要研究問題是「哪幾組不同」,就需要。整體 F 檢定只說明各組平均數不全相等,沒有指出是哪兩組。只有兩組時不需要事後檢定,直接用 t 檢定。

Tukey HSD 和 Bonferroni 該選哪一個?

要比較所有組的兩兩組合、且各組變異數相近時,用 Tukey HSD,檢定力通常較高。只做事先指定的少數幾個比較時,用 Bonferroni 或 Holm;兩者之中 Holm 的檢定力不低於 Bonferroni。

各組變異數不相等時該用哪一種事後檢定?

用 Games–Howell。它對每一對各自計算標準誤並修正自由度,不要求變異數同質,整體檢定則搭配 Welch ANOVA。

Kruskal–Wallis 檢定顯著之後要用什麼事後檢定?

用 Dunn 檢定,並以 Holm 或 Bonferroni 校正 p 值。Dunn 檢定比較的是等級,結論應寫成某組數值傾向較高,不寫成平均數的差。

覺得有幫助? RSS · X · 請我喝杯咖啡