Time Series Analysis - ARMA 模型進階觀念

介紹 Box-Jenkins Approach ，以 ACF、PACF 鑑定的方法來造一個 ARIMA模型。

20151127 : 這篇數學寫的很完整，我寫的很不清楚...數學部分請參考這篇，這篇務必熟讀，有以下重點。

ARMA的 moment 推導
AR MA 之間的互換 (Wold's Decomposition Theorem)
Yule-Walker equation

http://faculty.chicagobooth.edu/ruey.tsay/teaching/uts/lec2-08.pdf

一、Wold分解理論 (Wold's Decomposition Theorem)

Wold分解理論是時間序列分析的基本，它明確證明任何平穩時間序列分成兩個不同的部份。

第一部份是決定性部份，以他自己過去的資料線性組合描述(AR)
第二部份是無窮階的移動平均表示法的成分(MA)。

即任一平穩時間序列 = AR + MA，$Y_t=\sum_{j=0}^\infty b_j \varepsilon_{t-j}+\eta_t,$

二、檢驗時間序列型態的基本工具：ACF、PACF

1. 自我相關函數(autocorrelation function, ACF)

自相關函數反映了同一序列在不同時刻的取值之間的相關程度。

$ρ_k$ 稱為第 k 時間差之自我相關係數（The kth-lag Autocorrelation)
$\{ρ_k\}^{\infty}_{k=0}$ 稱為自我相關函數 ACF (Autocorrelation Function)

例子：白雜訊的自相關函數為δ函數：$r_{nn} = \mathbb{E} \{ n(t) n(t-\tau) \} = \delta ( \tau )$

2. 偏自我相關函數(partial autocorrelation function, PACF)

k期偏自我相關函數是在移除 $Z_{t-1}, ... ,Z_{t+(k-1)}$ 的線性相關下，兩觀測值的線性相關程度。

At lag 1, the acf = pacf always
At lag 2, $\tau_{22} = (\tau_2 - \tau_1^2) / (1 - \tau_1^2) $
For lags 3+, the formulae are more complex.

三、AR, MA, ARMA 模式鑑定

自我相關函數和偏自我相關函數是判斷ARMA落後期數的兩種基本方法，平穩型過程自我相關係數有兩種趨勢：

遞減 (Die out) : 隨著時差之增加而漸漸消失之趨勢
截斷 (Cut off) : 在某一特殊時差 k=q 之後切斷之趨勢（即當所有 k>q 時）

而模式鑑定方式如下：

在AR(p)模型中，ACF為指數遞減，PACF為在p期截斷。
在MA(q)模型中，PACF為為指數遞減，ACF為q期截斷。
在ARMA(q)模型中，ACF和PACF皆為指數遞減。

ACF and PACF for a more rapidly decaying AR(1) Model: $y_t = 0.5y_{t-1} + u_t$

ACF and PACF for a more rapidly decaying AR(1) Model with Negative Coefficient: $y_t = -0.5y_{t-1} + u_t$

ACF and PACF for an MA(1) Model: $y_t = – 0.5u_{t-1} + u_t$

ACF and PACF for an MA(2) Model: $y_t = 0.5u_{t-1} - 0.25u_{t-2} + u_t$

ACF and PACF for an ARMA(1,1): $y_t = 0.5y_{t-1} + 0.5u_{t-1} + u_t$

ACF and PACF for a Non-stationary Model (i.e. a unit coefficient): $y_t = y_{t-1} + u_t$

四、Box-Jenkins Approach：ARIMA模型運用的流程

Box-Jenkins模型是時間序列分析領域中最普遍、應用最廣的模型。Box-Jenkins模型可分為五個步驟：

1. 非恆定序列之轉換

根據自相關函數和偏自相關函數圖識別其平穩性：一般的作法是觀察時間序列的ACF圖，非恆定的序列其ACF圖不會逐漸消失
對非平穩的序列進行平穩化處理：先n階差分以得到恆定的序列

2. 初步鑑定

計算樣本的自我相關函數與偏自我相關函數，判斷ARMA(p,q)的階數

平穩化處理後，若偏自相關函數是截尾的，而自相關函數是拖尾的，則建立AR模型；
若偏自相關函數是拖尾的，而自相關函數是截尾的，則建立MA模型；
若偏自相關函數和自相關函數均是拖尾的，則序列適合ARMA模型。

3. 參數估計

選擇參數使得隨機誤差的平方加總為最小。

4. 診斷檢定

以AIC (Akaike Information Criterion) 或 SIC (Schwartz Information Criterion) 準則來選取。

5. 預測

進行樣本內、樣本外預測。

五、簡單ARIMA模擬 - 使用 R

可調整ARIMA(p,d,q) 和 ar, ma 的係數來模擬ARIMA訊號。

layout(matrix(1:4,ncol=2,nrow=2))
y <- arima.sim(model=list(order = c(1,0,0), 
                          ar=c(0.8),
                          # ma=c(0.2),
                          sd = sqrt(0)), 
                          n=10000)

ts.plot(y,main="Time series data")
acf(y,main="ACF")
pacf(y,main="PACF")

References

Introductory Econometrics for Finance’ © Chris Brooks 2013

wiki - Wold's theorem
https://en.wikipedia.org/wiki/Wold%27s_theorem

ARIMA models
http://140.123.5.6/deptfin/course_data/Data/L03_ARIMA.pdf

Pages

2015年11月6日星期五

Time Series Analysis - ARMA 模型進階觀念