2015年9月30日 星期三

Probability and Statistics - 假設檢定:基本流程總整理 Process of Hypothesis Testing Statistics

 

假設檢定流程為:(1) 提出相關的虛無假設和對立假設、(2)選擇檢定統計量、(3)選擇顯著水準並決定決策法則、(4)比較樣本統計量與臨界值並下結論。

本篇將整個假設檢定流程大略走一遍,幫助理解統計這個學科,並讓一個局外人看完這篇對初統有初步的認識,甚至厲害一點的人可以馬上學會初統!

2015.11.7 各種優化並豐富數學內涵
2015.9.30 以假設檢定流程為主軸重新編排內容
2015.3.31 初版




一、提出虛無假設和對立假設



1. 虛無假設和對立假設


  1. $H_0$,虛無假設(null hypothesis):零假設通常由研究者決定,反應研究者對未知參數的看法。
  2. $H_1$,對立假設(alternative hypothesis):它通常反應了執行檢定的研究者對參數可能數值的另一種看法。


[用心去感覺] 對立假設通常才是研究者最想知道的
把想要檢定的假設定為 H1,H0 則為其相反之假設。也就是說,虛無假設是「一般情形」,而對立假設是你想證明的「特殊觀點」。



2. 假設檢定中可能的錯誤


型 I 誤差 (Type I Error):
  • 當 $H_0$ 為真,而拒絕 $H_0$ 所發生的錯誤。
  • P(Type I error) = α,α 又稱為顯著水準(significance level)。

型 II 誤差 (Type II Error):
  • 當 $H_0$ 為假,而不拒絕 H0 所發生的錯誤(也就是 $H_1$ 為真,沒有接受 $H_1$ 為真所發生的錯誤)。
  • P(Type II error) = β





二、選擇檢定統計量(test statistic)


檢定統計量是由樣本所算出來的一個值,用來決定是否接受或拒絕 $H_0$。常用的檢定統計量有:Z, t, F 與 χ2。

1. Z檢驗:使用常態分配做檢定


Z分配:標準正態分佈。

Z檢驗:一般用於大樣本(即樣本容量大於30)平均值差異性檢驗的方法。它是用標準正態分佈的理論來推斷差異發生的機率,從而比較兩個平均數的差異是否顯著。

[注意] 當已知標準差時,驗證一組數的均值是否與某一期望值相等時,用Z檢驗。但是這種方法理論上成立,事實上由於總體參數標準差未知,因此一般使用T檢驗。


2. T檢驗:使用T分配做檢定


T分配:T分配相似於常態分配的曲線,不同的是他是依著自由度來改變分配的形狀。常態分配其實是T分配的的一個特例,當df=∞,T分配就是常態分配。實際的例子上,只要df=30,t分配就已經很接近常態分配。

T檢驗 (單樣本):檢驗零假說為一群來自常態分配獨立樣本 $x_i$ 之母體期望值 $μ$ 為 $μ_0$ 可利用以下統計量

 $t = \frac{\overline{x} - \mu_0}{s/\sqrt{n}} $

其中 $i = 1 \ldots n,\overline{x} = \frac{\sum_{i=1}^{n} x_i}{n}$ 為樣本平均數,$s = \sqrt{\frac{\sum_{i=1}^{n}(x_i-\overline{x})^2}{n-1}}$ 為樣本標準偏差,$n$ 為樣本數。該統計量 $t$ 在零假說:$μ = μ_0$ 為真的條件下服從自由度為 $n − 1$ 的 $t$ 分布。


[用心去感覺] Z檢定與T檢定的選擇

在母體平均數的假設檢定裡,不同的情形下使用不同的檢定統計量。

  • 母體已知:無論樣本數大小,皆使用常態分配
  • 母體未知:
    • 當樣本數 n > 30,可以使用 z 分配 (常態分配)
    • 當樣本數 n < 30,使用 t 分配



3. 卡方檢驗:使用卡方分配做檢定


卡方分配:卡方分配為一定義在大於等於0(正數)範圍的右偏分配,不同的自由度決定不同的卡方分配。卡方分配只有一個參數即自由度,表為 $v$。

常態分配其實是卡方分配的的一個特例,卡方分配當自由度增加而逐漸對稱,當自由度趨近於無窮大時,卡方分配會趨近於常態分配。

卡方檢定:卡方檢定適用於探討兩個類別變數的相關,是實務上最常用到的方法之一。

The value of the test-statistic is

 $\chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i} =  N \sum_{i=1}^n p_i \left(\frac{O_i/N - p_i}{p_i}\right)^2$

where

$\chi^2$ = Pearson's cumulative test statistic, which asymptotically approaches a \chi^2 distribution.
$O_i$ = the number of observations of type i.
$N$ = total number of observations
$E_i = N p_i$ = the expected (theoretical) frequency of type i, asserted by the null hypothesis that the fraction of type i in the population is  $p_i$
$n$ = the number of cells in the table.



[用心去感覺] 說好的證明呢(?)

初等統計大多數都是背背背,沒有證明各種分配是怎麼來的,學起來毛毛的。但是證明也十分複雜一時間無法領會,待往後有機會參透時補齊。




三、決定決策法則


A. 第一種決策法則 - Traditional method - Using Rejection Regions (critical value approach)


決策法則通常是決定一個接受域與拒絕域

  • 接受域: 接受 H0
  • 拒絕域: 接受 H1
  • 臨界點(Critical Point):接受域與拒絕域的接點,稱為臨界點。

臨界值的決定,是根據顯著水準α並利用機率分配計算而得,分成單尾和雙尾檢定兩種。


單尾檢定(One-tailed test)
  • 對於調查之理論方向是十分清楚,我們是應採用要單尾檢定。
  • 例如在語句當中有「是否高於?」、「是否低於?」、「是否優於?」、「是否劣於?」等等。
  • 對於變數在群體間的變化方向是單方向的,我們應當採取單尾t檢定。

雙尾檢定(Two-tailed test)
  • 對於理論變化的方向不很清楚,原則上則要採取雙尾檢定。
  • 例如:對於男、女性別的不一樣,對於捐血的態度,兩者的看法有什麼區別?凡是在調查語句當中採取兩者(或兩者以上)「有何區別?」、「有何不同」、「有什麼不一樣時」,是採取雙尾檢定 。
  • 對於變數之間在群體的變化方向,可能是雙方向的,我們就應採取雙尾t檢定。



B. 第二種決策法則 - p-value


p-value是在假設虛無假設為真的前提下,觀察到檢定統計量比取樣得到的值更極端的機率。p-value越小,表示檢定的結果越顯著,越可以拒絕假設檢定中的虛無假設。

p值用簡單的語言說,就是此測試結果有百分之幾的可能是由於機率因素,所以p<0.05的意思就是此檢定小於5%的可能是由於機率。





四、比較樣本統計量與臨界值並下結論


  • 結果若是接受 H0,不表示 H0 為真,僅是樣本沒有足夠證據推翻他。
  • 結果若是拒絕 H0,即表示樣本提供足夠證據接受H1 為真。

最後是一張檢定使用時機的整理表,統計的路途還很長呢!





[例題]  假設檢定小例題

test the null hypotheses that the value of beta is 1. The model is estimated over 62 daily observations. Test this hypothesis against a one-sided alternative that the security is more risky than the market, at the 5% level.

1. 寫出 $H_0, H_1$

$H_0 : \beta = 1$
$H_2 : \beta > 1$

2. 算出檢定量

$test stat = \frac{\hat \beta - beta^*}{SE(\hat \beta)} = \frac{(1.147 - 1)}{0.0548} = 2.682$

3. 查 t-table (5% in one tail, T-2 degree = 60)

2.682 > 1.671, 在拒絕域,否定虛無假設!







Reference

Ch10 假設檢定 Tests of Hypothesis
http://web.ntpu.edu.tw/~wtp/statpdf/Ch_10.pdf

Murphy的書房 - [學習筆記] 統計學:假設檢定 Hypothesis Testing
http://murphymind.blogspot.tw/2011/12/hypothesis-testing.html

散點透視 - p-value、顯著水準、Type I error, Type 2 error
http://blog.xuite.net/metafun/life/82541806-p-value%E3%80%81%E9%A1%AF%E8%91%97%E6%B0%B4%E6%BA%96%E3%80%81Type+I+error,+Type+2+error

EMPIRICAL FILTRATION - 淺談p值(p-value)
http://yenchic-blog.logdown.com/posts/159549-talking-about-the-p-value-p-value






技術提供:Blogger.