跳到主要內容
Lab Grimoire
TW EN
請喝咖啡
實驗方法

統計檢定怎麼選:該用 t 檢定還是 ANOVA

兩組資料用 t 檢定,三組以上用 ANOVA。本文依組數、獨立或配對、常態性與變異數整理成一張判斷表,說明 Student 與 Welch 的差別、多重比較為何增加偽陽性,並附一個算到效果量與信賴區間的範例。

作者
CY
發表
生醫原理與技術 · 第 9/10 篇

兩組資料用 t 檢定,三組以上用 ANOVA,再依各組是獨立樣本或配對樣本選對應的版本。兩組獨立樣本預設用 Welch t 檢定;三組以上的獨立樣本若變異數不相等,用 Welch ANOVA;樣本明顯偏態或含極端值時,改用以等級計算的 Mann–Whitney、Wilcoxon signed-rank 或 Kruskal–Wallis 檢定。報告結果時,p 值之外還要附上效果量與 95% 信賴區間。

以下依判斷順序說明:先看實驗設計,再看資料條件,最後決定要報告哪些數字。

先看實驗設計

檢定的種類主要由實驗設計決定,在收資料之前就能確定。需要回答的有三件事。

比較幾組

兩組用 t 檢定這一類方法,三組以上用 ANOVA 這一類方法。ANOVA 用在兩組時,結論與 Student t 檢定相同(F 等於 t 的平方),所以兩者是同一套方法在不同組數下的形式。

獨立樣本或配對樣本

獨立樣本指各組由不同的個體組成,例如對照組與處理組各用不同的小鼠。

配對樣本指兩個數值來自同一個個體或同一個配對單位,例如同一隻小鼠給藥前後、同一位捐贈者的細胞分成兩份各做一種處理、同一批次裡成對處理的孔。

配對樣本要用配對 t 檢定,它檢定的是每一對的差值。配對資料若誤用獨立樣本的檢定,個體之間的差異會被算進誤差,檢定力下降;獨立資料若誤用配對檢定,則是把不存在的對應關係放進計算。

n 是獨立實驗單位的數目

同一個樣本重複上機三次,得到的是三個技術重複(technical replicate),n 仍然是 1。先把技術重複平均成一個值,再以獨立的生物重複(biological replicate)作為 n 進入檢定。把技術重複當成 n,會低估變異,p 值偏小。

一個因子或兩個因子

實驗同時有兩個因子時(例如基因型與藥物),要用 two-way ANOVA,才能檢定兩個因子之間的交互作用。把四種組合當成四組做 one-way ANOVA,無法回答「藥物的效果是否因基因型而不同」。下面的判斷表只涵蓋單一因子的設計。

單尾或雙尾

預設使用雙尾檢定。單尾檢定只適用於收資料之前就已決定方向、而且相反方向的結果沒有意義的情況。看到資料之後才改成單尾,等於把 p 值減半,會增加偽陽性。

再看資料條件

設計決定了檢定的類別,資料條件決定用這個類別裡的哪一個版本。

設計 資料條件 檢定
兩組,獨立樣本 各組近似常態 Welch t 檢定(預設)
兩組,獨立樣本 各組近似常態,且有依據認為變異數相等 Student t 檢定
兩組,獨立樣本 明顯偏態、含極端值,或資料是順序尺度 Mann–Whitney U 檢定
兩組,配對樣本 差值近似常態 配對 t 檢定
兩組,配對樣本 差值明顯偏態或含極端值 Wilcoxon signed-rank 檢定
三組以上,獨立樣本 殘差近似常態,變異數相等 one-way ANOVA,事後檢定用 Tukey HSD
三組以上,獨立樣本 殘差近似常態,變異數不相等 Welch ANOVA,事後檢定用 Games–Howell
三組以上,獨立樣本 明顯偏態、含極端值,或資料是順序尺度 Kruskal–Wallis 檢定,事後檢定用 Dunn 檢定
三組以上,同一批個體重複量測 差值近似常態 repeated-measures ANOVA;條件不符時用 Friedman 檢定

常態性看的是什麼

t 檢定與 ANOVA 假設的是各組內的數值(也就是殘差)來自常態分布,配對 t 檢定假設的是差值來自常態分布。把所有組的數值合在一起畫直方圖,看到的是組間差異加上組內分布,不能用來判斷這個假設。

每組只有 3 到 6 個樣本時,Shapiro–Wilk 這類常態性檢定的檢定力很低,沒有顯著只代表沒有看到偏離的證據。比較可靠的做法是把每一個資料點畫出來,並參考同類量測過去的分布。比值、倍數變化、濃度這類右偏的資料,常先取對數再做檢定。

極端值的處理

看到極端值時,先查來源:加樣錯誤、儀器異常、紀錄錯誤都能從實驗紀錄確認。有明確技術原因的數值可以排除,並在方法中說明。沒有技術原因時,這個數值就是資料的一部分;可以改用以等級計算的檢定,或同時報告包含與排除該數值的結果。排除的準則要在分析之前訂定。

Student 與 Welch 的差別

Student t 檢定把兩組的變異數合併成一個估計值,前提是兩組的母體變異數相等。Welch t 檢定分別使用兩組的變異數,並依資料調整自由度(Welch, 1947),所以自由度通常不是整數。

兩組變異數相等時,Welch 與 Student 的結果很接近。兩組變異數不等、樣本數又不同時,Student t 檢定的型一錯誤率會偏離設定的 5%,Welch t 檢定則維持在接近 5%。因此 Ruxton(2006)與 Delacre 等人(2017)都建議把 Welch t 檢定當作兩組獨立樣本的預設選擇,不必先用變異數同質性檢定決定要用哪一個。處理常常同時改變平均值與離散程度,實驗資料的變異數不相等並不少見。

以等級計算的檢定

Mann–Whitney U 檢定把所有數值排序後比較兩組的等級,Wilcoxon signed-rank 檢定是它在配對樣本的對應方法,Kruskal–Wallis 檢定(Kruskal & Wallis, 1952)則用在三組以上。這些檢定不要求常態分布,受極端值的影響較小。

有兩個限制要知道。第一,樣本很少時,等級檢定能得到的 p 值有下限。每組 3 個樣本時,Mann–Whitney 精確檢定的雙尾 p 值最小是 0.10,無論差異多大都不會小於 0.05。第二,Mann–Whitney 檢定比較的是一組數值是否傾向大於另一組;只有兩組分布形狀相同時,才能解讀為中位數的比較。兩組離散程度不同時,它同樣會受影響(Ruxton, 2006)。

三組以上用 ANOVA 與多重比較

重複做 t 檢定會增加偽陽性

每一次檢定以 α = 0.05 判定,代表在沒有真實差異時仍有 5% 的機率得到顯著結果。比較的次數越多,至少出現一次偽陽性的機率越高。若各次比較互相獨立,這個機率是 1 − 0.95ᵏ,k 是比較次數。

組數 兩兩比較次數 至少一次偽陽性的機率
3 3 14.3%
4 6 26.5%
5 10 40.1%

實際的兩兩比較共用同一批資料,並非完全獨立,數值會略有出入,方向相同。

ANOVA 之後的事後檢定

one-way ANOVA 用一個 F 檢定回答「各組平均是否全部相等」,把整體的型一錯誤率維持在 5%。F 檢定顯著只說明至少有一組不同,要知道是哪幾組,需要事後檢定。

  • 所有組兩兩比較:Tukey HSD。
  • 每一組只和對照組比較:Dunnett 檢定。
  • 變異數不相等:Welch ANOVA 搭配 Games–Howell。
  • Kruskal–Wallis 之後:Dunn 檢定,並校正 p 值。

只關心少數幾個事先決定的比較時,也可以直接做這幾個檢定,再用 Bonferroni 或 Holm 方法校正。要比較哪幾組,應在看到資料之前決定。

計算範例:兩組獨立樣本

以下是為了說明計算過程而虛構的數字,不是真實實驗資料。假設以 qPCR 量測某基因的相對表現量,對照組與處理組各有 6 個獨立培養的樣本。

組別 數值 平均 標準差
對照組 1.02、0.95、1.10、0.98、1.05、0.90 1.00 0.072
處理組 1.35、1.80、1.12、2.05、1.52、1.28 1.52 0.348

**設計。**兩組,各組是不同的培養樣本,屬於獨立樣本,使用 t 檢定這一類方法。

**資料條件。**Shapiro–Wilk 檢定在對照組得到 W = 0.995、p = 0.997,在處理組得到 W = 0.951、p = 0.747,沒有偏離常態的證據;n = 6 時這個檢定的檢定力有限,仍要看資料點的分布。處理組的標準差是對照組的 4.8 倍,變異數比是 23.5。以中位數為中心的 Levene 檢定得到 F(1, 10) = 6.26、p = 0.031。兩組的離散程度明顯不同,使用 Welch t 檢定。

**檢定。**兩組平均差是 0.52,標準誤是 0.145,t = 3.58,自由度 5.43,雙尾 p = 0.014。平均差的 95% 信賴區間是 0.16 至 0.88。Welch t 檢定的自由度介於較小一組的 n − 1 與兩組合計的 n₁ + n₂ − 2 之間,本例是 5 到 10;處理組的變異數遠大於對照組,所以自由度接近 5。

**效果量。**合併標準差是 0.251,Cohen d = 2.07;以小樣本校正後,Hedges g = 1.91。兩組標準差相差很大時,合併標準差只是折衷的尺度,報告時要同時列出兩組各自的標準差。

**與其他檢定比較。**同一筆資料用 Student t 檢定,t 同樣是 3.58(兩組樣本數相等時兩者的 t 值相同),但自由度是 10,p = 0.005,信賴區間是 0.20 至 0.84。Student t 檢定假設變異數相等,這筆資料不符合,所以它給出的區間偏窄。Mann–Whitney 檢定得到 U = 36、精確 p = 0.0022,原因是處理組的 6 個數值全部大於對照組;這個 p 值沒有提供差異大小的資訊。

**報告寫法。**處理組的相對表現量高於對照組(平均 1.52 對 1.00;平均差 0.52,95% 信賴區間 0.16 至 0.88;Welch t(5.43) = 3.58,p = 0.014;Hedges g = 1.91)。

報告效果量與信賴區間

p 值之外要寫的數字

p 值說明的是:在虛無假設成立時,得到目前這樣或更極端資料的機率。美國統計學會 2016 年的聲明指出,p 值不能衡量效應的大小或結果的重要性,科學結論也不應只依據 p 值是否低於某個門檻(Wasserstein & Lazar, 2016)。樣本數夠大時,很小的差異也能得到很小的 p 值;樣本數少時,值得注意的差異可能不顯著。

一份完整的結果至少包含下列內容。

  • 每組的 n,並說明 n 是什麼單位(動物、捐贈者、獨立實驗)。
  • 每組的平均與標準差;偏態資料改列中位數與四分位距。
  • 使用的檢定名稱與版本(例如 Welch 或 Student、單尾或雙尾)。
  • 檢定統計量、自由度與確切的 p 值。
  • 效果量與 95% 信賴區間。兩組比較常用平均差與 Cohen d 或 Hedges g,ANOVA 常用 η² 或 ω²(Lakens, 2013)。
  • 多重比較的校正方法。

怎麼讀效果量與信賴區間

Cohen d 與 Hedges g 是以標準差為單位的平均差,d = 2 表示兩組平均相差兩個標準差。0.2、0.5、0.8 分別稱為小、中、大的分級只是慣例,效應是否重要要依該領域的量測與問題判斷(Lakens, 2013)。

信賴區間呈現估計的精確程度。計算範例的區間是 0.16 至 0.88,表示從不大的差異到將近一倍的差異都與這筆資料相容;每組 6 個樣本時,估計並不精確。同樣的道理,不顯著的結果不能解讀為「兩組沒有差異」。區間很寬又包含 0,表示資料不足以下結論。

用工具檢查自己的選擇

Lab Grimoire 的自動統計分析工具會依資料結構(幾組、是否配對)挑選檢定。已經確定方法時,可以直接使用 t 檢定工具或 ANOVA 工具;檢定之前,先用描述統計工具看每組的平均、標準差與分布。這些工具在瀏覽器裡以 R(webR)計算,會顯示假設檢查的結果,並提供可以在自己電腦上重跑的 R 程式碼。工具負責計算;組別是否獨立、n 是什麼單位,仍要由了解實驗設計的人判斷。

參考文獻

  • Welch BL. The generalization of ‘Student's’ problem when several different population variances are involved. Biometrika. 1947;34(1–2):28–35. doi:10.1093/biomet/34.1-2.28
  • Kruskal WH, Wallis WA. Use of ranks in one-criterion variance analysis. J Am Stat Assoc. 1952;47(260):583–621. doi:10.1080/01621459.1952.10483441
  • Ruxton GD. The unequal variance t-test is an underused alternative to Student's t-test and the Mann–Whitney U test. Behav Ecol. 2006;17(4):688–690. doi:10.1093/beheco/ark016
  • Delacre M, Lakens D, Leys C. Why psychologists should by default use Welch's t-test instead of Student's t-test. Int Rev Soc Psychol. 2017;30(1):92–101. doi:10.5334/irsp.82
  • Lakens D. Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs. Front Psychol. 2013;4:863. doi:10.3389/fpsyg.2013.00863
  • Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. Am Stat. 2016;70(2):129–133. doi:10.1080/00031305.2016.1154108

參考文獻

  1. The generalization of 'Student's' problem when several different population variances are involved
  2. Use of ranks in one-criterion variance analysis
  3. The unequal variance t-test is an underused alternative to Student's t-test and the Mann–Whitney U test
  4. Why psychologists should by default use Welch's t-test instead of Student's t-test
  5. Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs
  6. The ASA statement on p-values: context, process, and purpose

常見問題

該用 t 檢定還是 ANOVA?

比較兩組用 t 檢定,比較三組以上用 ANOVA。ANOVA 用在兩組時,結論與 Student t 檢定相同(F 等於 t 的平方)。選定類別後,再依各組是獨立樣本或配對樣本、變異數是否相等,決定用哪一個版本。

三組資料可以兩兩做 t 檢定嗎?

不建議。三組有 3 個兩兩比較,若各次比較互相獨立且都以 α = 0.05 判定,至少出現一次偽陽性的機率約為 14.3%;四組是 26.5%,五組是 40.1%。應先做 ANOVA,再用 Tukey HSD 或 Dunnett 等事後檢定;只做少數事先決定的比較時,用 Bonferroni 或 Holm 方法校正。

Student t 檢定和 Welch t 檢定該選哪一個?

兩組獨立樣本預設用 Welch t 檢定。Student t 檢定假設兩組變異數相等;變異數不等、樣本數又不同時,它的型一錯誤率會偏離 5%。兩組變異數相等時,Welch 與 Student 的結果很接近,所以不必先做變異數同質性檢定再決定。

每組只有 3 個樣本,可以用 Mann–Whitney 檢定嗎?

可以計算,但不會得到小於 0.05 的結果。每組 3 個樣本時,Mann–Whitney 精確檢定的雙尾 p 值最小是 0.10。樣本這麼少時,常態性檢定的檢定力也很低,比較可靠的做法是畫出每一個資料點,並報告效果量與 95% 信賴區間。

覺得有幫助? RSS · X · 請我喝杯咖啡