2015年11月6日 星期五

Time Series Analysis - ARMA 模型進階觀念

 

介紹 Box-Jenkins Approach ,以 ACF、PACF 鑑定的方法來造一個 ARIMA模型。

20151127 : 這篇數學寫的很完整,我寫的很不清楚...數學部分請參考這篇,這篇務必熟讀,有以下重點。

  • ARMA的 moment 推導
  • AR MA 之間的互換 (Wold's Decomposition Theorem)
  • Yule-Walker equation

http://faculty.chicagobooth.edu/ruey.tsay/teaching/uts/lec2-08.pdf




一、Wold分解理論 (Wold's Decomposition Theorem)


Wold分解理論是時間序列分析的基本,它明確證明任何平穩時間序列分成兩個不同的部份。

  • 第一部份是決定性部份,以他自己過去的資料線性組合描述(AR)
  • 第二部份是無窮階的移動平均表示法的成分(MA)。

即任一平穩時間序列 = AR + MA,$Y_t=\sum_{j=0}^\infty b_j \varepsilon_{t-j}+\eta_t,$




二、檢驗時間序列型態的基本工具:ACF、PACF



1. 自我相關函數(autocorrelation function, ACF)


自相關函數反映了同一序列在不同時刻的取值之間的相關程度。

  • $ρ_k$ 稱為第 k 時間差之自我相關係數(The kth-lag Autocorrelation)
  • $\{ρ_k\}^{\infty}_{k=0}$ 稱為自我相關函數 ACF (Autocorrelation Function)

例子:白雜訊的自相關函數為δ函數:$r_{nn} = \mathbb{E} \{ n(t) n(t-\tau) \} = \delta ( \tau )$


2. 偏自我相關函數(partial autocorrelation function, PACF)


k期偏自我相關函數是在移除 $Z_{t-1}, ... ,Z_{t+(k-1)}$ 的線性相關下,兩觀測值的線性相關程度。

  • At lag 1, the acf = pacf always
  • At lag 2, $\tau_{22} = (\tau_2 - \tau_1^2) / (1 - \tau_1^2) $
  • For lags 3+, the formulae are more complex.




三、AR, MA, ARMA 模式鑑定


自我相關函數和偏自我相關函數是判斷ARMA落後期數的兩種基本方法,平穩型過程自我相關係數有兩種趨勢:

  • 遞減 (Die out) : 隨著時差之增加而漸漸消失之趨勢
  • 截斷 (Cut off) : 在某一特殊時差 k=q 之後切斷之趨勢(即當所有 k>q 時)

而模式鑑定方式如下:

  • 在AR(p)模型中,ACF為指數遞減,PACF為在p期截斷。
  • 在MA(q)模型中,PACF為為指數遞減,ACF為q期截斷。
  • 在ARMA(q)模型中,ACF和PACF皆為指數遞減。



ACF and PACF for a more rapidly decaying AR(1) Model: $y_t = 0.5y_{t-1} + u_t$



ACF and PACF for a more rapidly decaying AR(1) Model with Negative Coefficient: $y_t = -0.5y_{t-1} + u_t$



ACF and PACF for an MA(1) Model: $y_t = – 0.5u_{t-1} + u_t$


ACF and PACF for an MA(2) Model: $y_t = 0.5u_{t-1} - 0.25u_{t-2} + u_t$


ACF and PACF for an ARMA(1,1): $y_t = 0.5y_{t-1} + 0.5u_{t-1} + u_t$



ACF and PACF for a Non-stationary Model (i.e. a unit coefficient): $y_t = y_{t-1} + u_t$





四、Box-Jenkins Approach:ARIMA模型運用的流程


Box-Jenkins模型是時間序列分析領域中最普遍、應用最廣的模型。Box-Jenkins模型可分為五個步驟:

1. 非恆定序列之轉換

  • 根據自相關函數和偏自相關函數圖識別其平穩性:一般的作法是觀察時間序列的ACF圖,非恆定的序列其ACF圖不會逐漸消失
  • 對非平穩的序列進行平穩化處理:先n階差分以得到恆定的序列


2. 初步鑑定

計算樣本的自我相關函數與偏自我相關函數,判斷ARMA(p,q)的階數

  • 平穩化處理後,若偏自相關函數是截尾的,而自相關函數是拖尾的,則建立AR模型;
  • 若偏自相關函數是拖尾的,而自相關函數是截尾的,則建立MA模型;
  • 若偏自相關函數和自相關函數均是拖尾的,則序列適合ARMA模型。


3. 參數估計

選擇參數使得隨機誤差的平方加總為最小。


4. 診斷檢定

以AIC (Akaike Information Criterion) 或 SIC (Schwartz Information Criterion) 準則來選取。


5. 預測 

進行樣本內、樣本外預測。





五、簡單ARIMA模擬 - 使用 R


可調整ARIMA(p,d,q) 和 ar, ma 的係數來模擬ARIMA訊號。

layout(matrix(1:4,ncol=2,nrow=2))
y <- arima.sim(model=list(order = c(1,0,0), 
                          ar=c(0.8),
                          # ma=c(0.2),
                          sd = sqrt(0)), 
                          n=10000)

ts.plot(y,main="Time series data")
acf(y,main="ACF")
pacf(y,main="PACF")





References


Introductory Econometrics for Finance’ © Chris Brooks 2013

wiki - Wold's theorem
https://en.wikipedia.org/wiki/Wold%27s_theorem

ARIMA models
http://140.123.5.6/deptfin/course_data/Data/L03_ARIMA.pdf










技術提供:Blogger.