Technical Note - Autoregressive Model

 
Technical Note – Autoregressive Model  ‐1‐  © Spider Financial Corp, 2014 
 
Technical Note: Auto‐Regressive Model
We originally composed these technical notes after sitting in on a time series analysis class. Over the 
years, we’ve maintained these notes and added new insights, empirical observations and intuitions 
acquired. We often go back to these notes for resolving development issues and/or to properly address 
a product support matter. 
In this paper, we’ll go over another simple, yet fundamental, econometric model: the auto‐regressive 
model. Make sure you have looked over our prior paper on the moving average model, as we build on 
many of the concepts presented in that paper. 
This model serves as a cornerstone for any serious application of ARMA/ARIMA models. 
Background
The auto‐regressive model of order  p (i.e.  ( ) AR p ) is defined as follows: 
 
1 1 2 2 2
...
~ i.i.d ~ (0,1)
t o t t p t t
t t
t
x x x x a
a
N
| | | |
c o
c
÷ ÷ ÷
= + + + + +
= ×   
Where 
-
t
a is the innovations or shocks for our process 
- o is the conditional standard deviation (aka volatility) 
Essentially, the  ( ) AR p is merely a multiple linear regression model where the independent 
(explanatory) variables are the lagged editions of the output (i.e.
1 2
, ,...,
t t t p
x x x
÷ ÷ ÷
). Keep in mind that 
1 2
, ,...,
t t t p
x x x
÷ ÷ ÷
may be highly correlated with each other. 
Why do we need another model?
First, we can think of an AR model as a special (i.e. restricted) representation of a MA( ) ·  process. Let’s 
consider the following stationary AR (1) process: 
 
1 1
1 1 1 1
1 1
(1 )( )
t o t t
t o t t
t o t
x x a
x x a
L x a
| |
µ | µ | µ | | µ
| µ | µ | µ
÷
÷
= + +
÷ = ÷ + + ÷ +
÷ ÷ = ÷ + +
  
Now, by subtracting the long‐run mean from the response variable (
t
x ), the process now has zero long‐
run (unconditional/marginal) mean. 
 
Technical Note – Autoregressive Model  ‐2‐  © Spider Financial Corp, 2014 
 
 
1
1
1
0
1
1
o
o
| µ | µ
|
µ
|
|
÷ + =
¬ =
÷
¬ =
  
Next, the process can be further simplified as follows: 
 
1 1
1
(1 )( ) (1 )
1
t t t
t
t
L x L z a
a
z
L
| µ |
|
÷ ÷ = ÷ =
=
÷
  
For a stationary process, the
1
1 | <   
 
2 2 3 3
1 1 1 1
1
(1 ... ...)
1
N N t
t t
a
z L L L L a
L
| | | |
|
= = + + + + + +
÷
  
In sum, using the AR(1) model, we are able to represent this  MA( ) · model  using a smaller storage 
requirement. 
We can generalize the procedure for a stationary AR(p) model, and assuming an  MA( ) · representation 
exists, the MA coefficients’ values are solely determined by the AR coefficient values: 
 
1 1 2 2
1 2 1 1 1 2 2 2
2
1 2 1 2
...
... ...
(1 ... )( ) ..
t o t t p t p t
t o p t t p t p p t
p
p t o p t t
x x x x a
x x x x a
L L L x a a
| | | |
µ | µ | µ | µ | µ | | µ | | µ | | µ
| | | µ | µ | µ | µ | µ
÷ ÷ ÷
÷ ÷ ÷
= + + + + +
÷ = ÷ + + + + + ÷ + ÷ + + ÷ +
÷ ÷ ÷ ÷ ÷ = ÷ + + + + + =
  
Once again, by design, the long‐run mean of the revised model is zero. 
 
1 2
1 2
1
.. 0
1 ...
1
o p
o
p
p
i
i
| µ | µ | µ | µ
|
µ
| | |
|
=
÷ + + + + =
¬ =
÷ ÷ ÷ ÷
¬ =
¿
  
Hence, the process can be represented as follows: 
 
2
1 2
2
1 2 1 2
(1 ... )
( )
1 ... (1 L)(1 L)..(1 L)
p
p t t
t t
t t p
p p
L L L z a
a a
x z
L L L
| | |
µ
| | | ì ì ì
÷ ÷ ÷ ÷ =
÷ = = =
÷ ÷ ÷ ÷ ÷ ÷ ÷
  
 
Technical Note – Autoregressive Model  ‐3‐  © Spider Financial Corp, 2014 
 
By having 1, {1, 2,.., }
i
i p ì < ¬ e , we can use the partial‐fraction decomposition and the geometric 
series representation; we then construct the algebraic equivalent of the  MA( ) · representation.  
Hint: By now, this formulation looks enough like what we have done earlier in the MA technical note, 
since we inverted a finite order MA process into an equivalent representation of ( ) AR · . 
The key point is being able to convert a stationary, finite‐order AR process into an algebraically 
equivalent  MA( ) · representation. This property is referred to as causality. 
Causality
Definition: A linear process { }
t
X  is causal (strictly, a causal function of{ }
t
a ) if there is an equivalent 
MA( ) ·  representation. 
 
0
( )
i
t t i t
i
X L a La ¢
·
=
= + =
¿
  
Where: 
 
1
i
i
¢
·
=
< ·
¿
  
Causality is a property of both{ }
t
X and{ }
t
a . 
In plain words, the value of { }
t
X is solely dependent on the past values of{ }
t
a . 
IMPORTANT: An AR(p) process is causal (with respect to { }
t
a ) if and only if the characteristics roots (i.e.
1
i
ì
) fall outside the unit circle (i.e. 
1
1 1
i
i
ì
ì
> ¬ < ). 
Let’s consider the following example: 
 
1
(1 )( ) (1 ) z
1
z z
t t t
t t t
L x L a
a
| µ |
|
|
÷
÷ ÷ = ÷ =
>
= +
  
Now, let’s re‐organize the terms in this model: 
 
1
"
1
1
z (z )
z z 1
t t t
t t t
a
a
|
¢ ¢
÷
÷
= ÷
= + <
  
 
Technical Note – Autoregressive Model  ‐4‐  © Spider Financial Corp, 2014 
 
 
" " 2 " "
2 2 1 2 2 1
3 2 " " "
3 3 2 1
1 " 2 " " "
1 2 1
" " 2 " "
1 2 3 1
z ( z ) z
z z
z z ...
z ... ...
t t t t t t t
t t t t t
N N N
t t N t N t N t t
N
t t t t t N
a a a a
a a a
a a a a
a a a a
¢ ¢ ¢ ¢
¢ ¢ ¢
¢ ¢ ¢ ¢
¢ ¢ ¢
+ + + + + +
+ + + +
÷ ÷
+ + + ÷ + +
+ + + + +
= + + = + +
= + + +
= + + + + +
= + + + + +
  
The process above is non‐causal, as its values depend on future values of 
"
{ }
t
a observations.  However, it 
is also stationary.  
Going forward, for an AR (and ARMA) process, stationarity is not sufficient by itself; the process must be 
causal as well. For all our future discussions and application, we shall only consider stationary causal 
processes. 
Stability
Similar to what we did in the moving average model paper, we will now examine the long‐run marginal 
(unconditional) mean and variance. 
(1) Let’s assume the long‐run mean ( µ ) exists, and: 
 
1
[ ] [ ] ... [ ]
t t t p
E x E x E x µ
÷ ÷
= = = =   
Now, subtract the long‐run mean from all output variables: 
 
1 1 1 2 2 2
1 1 2 2
1 2
( ) ( ) ... ( )
( ) ( ) ( ) ... ( )
+ (1 ... )
t o t t p t p p t
t t t p t p t
o p
x x x x a
x x x x a
µ µ | | µ | µ | µ | µ | µ | µ
µ | µ | µ | µ
| µ | | |
÷ ÷ ÷
÷ ÷ ÷
÷ + = + ÷ + + ÷ + + + ÷ + +
÷ = ÷ + ÷ + + ÷ +
÷ ÷ ÷ ÷ ÷
  
Take the expectation from both sides: 
 
1 1 2 2
1 2
1 2
1 2
1
[ ] [ ( ) ( ) ... ( ) ]
+ (1 ... )
0 (1 ... )
1 ...
1
t t t p t p t
o p
o p
o
p
p
i
i
E x E x x x a µ | µ | µ | µ
| µ | | |
| µ | | |
|
µ
| | |
|
÷ ÷ ÷
=
÷ = ÷ + ÷ + + ÷ +
÷ ÷ ÷ ÷ ÷
= ÷ ÷ ÷ ÷ ÷
=
÷ ÷ ÷ ÷
=
¿
  
In sum, for the long‐run mean to exist, the sum of values of the AR coefficients can’t be equal to 
one. 
 
Technical Note – Autoregressive Model  ‐5‐  © Spider Financial Corp, 2014 
 
(2)  To examine the long‐run variance of an AR process, we’ll use the equivalent  MA( ) ·  
representation and examine its long‐run variance. 
 
1 1 2 2 3 3
2
1 2
2
1 2
...
(1 ... )
1 ...
t t t t t p t p t
p
p t t
t
t p
p
x y y y y y a
L L L y a
a
y
L L L
µ | | | |
| | |
| | |
÷ ÷ ÷ ÷
÷ = = + + + + +
÷ ÷ ÷ ÷ =
=
÷ ÷ ÷ ÷
  
Using partial‐fraction decomposition: 
 
1 2
1 2
...
1 1 1
p
t t
p
c
c c
y a
L L L ì ì ì
(
= + + +
(
÷ ÷ ÷
(
¸ ¸
  
For a stable MA process, all characteristics roots (i.e. 
1
i
ì
) must fall outside the unit circle (i.e. 
1
i
ì <  ): 
 
2 2 2 2
1 2 1 1 2 2 1 1 2 2
( ... ) ( ... ) L ( ... ) L ...
t p p p p p t
y c c c c c c c c c a ì ì ì ì ì ì ( = + + + + + + + + + + + +
¸ ¸
  
Next, let’s examine the convergence property of the MA representation: 
 
1 1 2 2
lim ... 0
k k k
p p
k
c c c ì ì ì
÷·
+ + + =   
Finally, the long‐run variance of an infinite MA process exists if the sum of its squared 
coefficients is finite. 
 
2 2
1 2 1 1 2 2
2 2
1 1 2 2
2 2
1 1 2 2
1 1 1
Var[ ] (1 ( ... ) ( ... ) ...
+ ( ... ) ...)
( ... ) ( )
T k p p p
k
k k k
p p
p
i i i i
p p j j
i i j
x c c c c c c
c c c
c c c c
ì ì ì
ì ì ì o
ì ì ì ì
+
÷·
· ·
= = =
= + + + + + + + + +
+ + + +
+ + + = < ·
¿ ¿ ¿
  
Furthermore, for the AR(p) process to be causal, the sum of absolute coefficient values is finite 
as well. 
 
1 1 1
p
i
k j j
k i j
c ¢ ì
· ·
= = =
= < ·
¿ ¿ ¿
  
 
Technical Note – Autoregressive Model  ‐6‐  © Spider Financial Corp, 2014 
 
Example: AR(1)
 
2 2
2
2 4 6 2
2
(1 )
(1 ...)
1
Var[ ] (1 ...)
1
t t
t
t t
t
L y a
a
y L L a
L
y
|
| |
|
o
| | | o
|
÷ =
= = + + +
÷
= + + + + =
÷
  
Assuming all characteristic roots (
1
i
ì
) fall outside the unit circle, the AR(p) process can be viewed as a 
weighted sum of p‐stable MA processes, so a finite long‐run variance must exit. 
Impulse Response Function (IRF)
Earlier, we used AR(p) characteristics roots and partial‐fraction decomposition to derive the equivalent 
of an infinite order moving average representation. Alternatively, we can compute the impulse response 
function (IRF) and find the MA coefficients’ values. 
The impulse response function describes the model output triggered by a single shock at time t.  
 
0 1
1 1
t
t
a
t
= ¦
=
´
=
¹
  
 
1 1
2 1 1 1
3 1 2 2 1
4 1 3 2 2 3 1
5 1 4 2 3 3 2 4 1
1 1 2 1 3 2 1
2 1 1 2 3 1 2
1 1 2 2 3 3
1
...
...
...
...
...
p p p p p
p p p p p
p k p k p k p k p k
y a
y y
y y y
y y y y
y y y y y
y y y y y
y y y y y
y y y y y
| |
| |
| | |
| | | |
| | | |
| | | |
| | | |
+ ÷ ÷
+ + ÷
+ + ÷ + ÷ + ÷
= =
= =
= + =
= + +
= + + +
= + + + +
= + + + +
= + + + +
  
The procedure above is relatively simple (computationally) to perform, and can be carried on for any 
arbitrary order (i.e. k). 
Note: Recall the partial fraction decomposition we did earlier: 
 
1 2
1 2
...
1 1 1
p
t t
p
c
c c
y a
L L L ì ì ì
(
= + + +
(
÷ ÷ ÷
(
¸ ¸
  
 
Technical Note – Autoregressive Model  ‐7‐  © Spider Financial Corp, 2014 
 
We derived the values for the MA coefficients as follows:    
2 2 2 2
1 2 1 1 2 2 1 1 2 2
( ... ) ( ... ) L ( ... ) L ...
t p p p p p t
y c c c c c c c c c a ì ì ì ì ì ì ( = + + + + + + + + + + + +
¸ ¸
 
In principle, the IRF values must match the MA coefficients values. So we can conclude: 
(1) The sum of denominators (i.e. 
i
c ) of the partial‐fractions equals to one (i.e. 
1
1
1
p
i
i
c y
=
= =
¿
). 
(2)  The weighted sum of the characteristics roots equals to 
1
|  (i.e. 
2 1
1
p
i i
i
c y ì |
=
= =
¿
). 
(3) The weighted sum of the squared characteristics roots equals to 
2
1 2
| | +  (i.e. 
2 2
3 1 2
1
p
i i
i
c y ì | |
=
= = +
¿
). 
Forecasting
Given an input data sample
1 2
{ , ,..., }
T
x x x , we can calculate values of the moving average process for 
future (i.e. out‐of‐sample) values as follows: 
 
1 1 2 2
...
T T T p T p T
y y y y a | | |
÷ ÷ ÷
= + + + +   
 
1 1 2 1 1
2 1 1 2 2
2
1 2 1 2 3 1 1 1 2 2
[ ] ...
[ ] [ ] ...
= ( ) ( ) ... ( )
T T T p T p
T T T p T p
T T p p T p p T p
E y y y y
E y E y y y
y y y y
| | |
| | |
| | || | || | |
+ ÷ + ÷
+ + + ÷
÷ ÷ + ÷ + ÷
= + + +
= + + +
+ + + + + + +
  
We can carry this calculation to any number of steps we wish. 
Next, for the forecast error: 
 
2
1 1 2 1 1 1
2 2
2 1 1 2 2 2 1
3 1 2 2 1 3 3
1 1 1 2 2 2
Var[ ] Var[ ... ]
Var[ ] Var[ ... ] (1 )
Var[ ] Var[ ... ]
Var[ ( ...
T T T p T p T
T T T p T p T
T T T p T p T
T T p T p T
y y y y a
y y y y a
y y y y a
y y y a
| | | o
| | | | o
| | |
| | | |
+ ÷ + ÷ +
+ + + ÷ +
+ + + + ÷ +
+ + ÷ +
= + + + + =
= + + + + = +
= + + + +
= + + + +
2 1 3 3
2 2 2 2 2
1 2 1 1 2 3 1 1 2
) ... ]
Var[( ) .... .... ] (1 ( ) )
T p T p T
T T T
y y a
y a a
| |
| | | | | | o
+ + ÷ +
+ + +
+ + + +
= + + + + + = + + +
  
As the number of steps increase, the formulas become more cumbersome. Alternately, we can use the 
MA( ) ·  equivalent representation and compute the forecast error. 
 
Technical Note – Autoregressive Model  ‐8‐  © Spider Financial Corp, 2014 
 
 
2
1 2
IRF={ } (1 ...)
t t t
z z L L a u u = + + +   
And the forecast error is expressed as follows: 
 
2
1
2 2
2 1
2 2 2
3 1 2
2 2 2 2
1 2 1
2 2 2
1 2
Var[y ]
Var[y ] (1 )
Var[y ] (1 )
....
Var[y ] (1 ... )
....
Var[y ] (1 ...)
T
T
T
T k k
T k
k
o
u o
u u o
u u u o
u u o
+
+
+
+ ÷
+
÷·
=
= +
= + +
= + + + +
= + + +
  
Note: The conditional variance grows cumulatively over an infinite number of steps to reach its long‐run 
(unconditional) variance. 
Correlogram
What do the auto‐regressive (AR) correlogram plots look like? How can we identify an AR process (and 
its order) using only ACF or PACF plots? 
First, let’s examine the ACF for an AR process: 
  ACF(k)
k
k
o
¸
µ
¸
= =   
Where: 
 
2
[( )( )] (covariance for lag j)
[( ) ] (long-run variance)
j t t j
o t
E x x
E x
¸ µ µ
¸ µ
÷
= ÷ ÷
= ÷
  
Let’s first compute the auto‐covariance function 
j
¸ . 
 
1 1 1
1 1 1 2 2 1 1 2 1 3 2 1
2 1 3 2 1 1
[( )( )] [ ]
[( .. ) ] ...
(1 ) ...
t t t t
t t p t p t t o p p
p p o
E x x E z z
E z z z a z
¸ µ µ
¸ | | | | ¸ | ¸ | ¸ | ¸
| ¸ | ¸ | ¸ | ¸
÷ ÷
÷ ÷ ÷ ÷ ÷
÷
= ÷ ÷ = ×
= + + + + × = + + + +
÷ ÷ ÷ ÷ =
 
 
2 1 1 2 2 2 1 3 1 2 4 2 2
1 3 1 4 2 5 3 2 2
[( .. ) ] ( ) ...
( ) ( 1) ...
t t p t p t t o p p
p p o
E z z z a z ¸ | | | | | ¸ | ¸ | ¸ | ¸
| | ¸ | ¸ | ¸ | ¸ | ¸
÷ ÷ ÷ ÷ ÷
÷
= + + + + × = + + + + +
÷ + ÷ ÷ ÷ ÷ ÷ =
  
 
Technical Note – Autoregressive Model  ‐9‐  © Spider Financial Corp, 2014 
 
Next, for the 3
rd
 lag covariance; 
 
3 1 1 2 2 3
3 1 2 2 1 3 4 1 5 2 6 3 2
2 4 1 1 5 2 6 3 7 4 2 3
[( .. ) ]
...
( ) ( ) ( 1) ...
t t p t p t t
o p p
p p o
E z z z a z ¸ | | |
¸ | ¸ | ¸ | ¸ | ¸ | ¸ | ¸ | ¸
| | ¸ | | ¸ | ¸ | ¸ | ¸ | ¸
÷ ÷ ÷ ÷
÷
÷
= + + + + ×
= + + + + + + +
÷ + ÷ + ÷ ÷ ÷ ÷ ÷ =
  
In sum, for an AR(p) process, we need to construct and solve p‐1 linear systems to compute the values 
of the first p‐1 auto‐covariances.   
2 3 4 5 6 1
1 3 4 5 6 7
2 4 1 5 6 7 8
3 5 2 6 1 7 8 9
4 6 3 7 2 8 1 9 10
3 1 4 5 4 5
1 .
( ) 1 . 0
( ) ( ) 1 . 0 0
( ) ( ) ( ) 1 . 0 0
( ) ( ) ( ) ( ) 1 . 0 0
. . . . . . . .
( ) ( ) .
p p
p
p p p p p p p
¢ ¢ ¢ ¢ ¢ ¢ ¢
¢ ¢ ¢ ¢ ¢ ¢ ¢
¢ ¢ ¢ ¢ ¢ ¢ ¢
¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢
¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢ ¢
¢ ¢ ¢ ¢ ¢ ¢ ¢
÷
÷ ÷ ÷ ÷ ÷ ÷
÷ ÷ ÷ ÷ ÷ ÷ ÷
÷ + ÷ ÷ ÷ ÷ ÷
÷ + ÷ + ÷ ÷ ÷
÷ + ÷ + ÷ + ÷ ÷
÷ + ÷ + ÷ + ÷ + ÷
÷ + ÷ + ÷ ÷ ÷
1 1
2 2
3 3
4 4
5 5
2 2
2 3 4 5 6 1 1 1
. .
0 0
( ) . 1
o
p p
p p p p p p p p
¸ ¢
¸ ¢
¸ ¢
¸ ¢
¸
¸ ¢
¸ ¢
¢ ¢ ¢ ¢ ¢ ¢ ¢ ¸ ¢
÷ ÷
÷ ÷ ÷ ÷ ÷ ÷ ÷
( ( (
( ( (
( ( (
( ( (
( ( (
( ( (
= ×
( ( (
( ( (
( ( (
( ( (
( ( (
÷ + ÷ ÷ ÷ ÷ ÷
( ( (
¸ ¸ ¸ ¸ ¸ ¸
 The auto‐covariance for lags greater than p‐1 is computed iteratively as follows: 
 
1 1 2 2 1 1
1 1 2 1 1 2 1
2 1 1 2 1 3 2
1 1 2 2 1 1
...
...
...
...
...
p p p p p o
p p p p p
p p p p p
p k p k p k p k p k
¸ | ¸ | ¸ | ¸ | ¸
¸ | ¸ | ¸ | ¸ | ¸
¸ | ¸ | ¸ | ¸ | ¸
¸ | ¸ | ¸ | ¸ | ¸
÷ ÷ ÷
+ ÷ ÷
+ + ÷
+ + ÷ + ÷ ÷ +
= + + + +
= + + + +
= + + + +
= + + + +
  
Example: For an AR(5) process, the linear system of equations of the auto‐covariance functions is 
expressed below: 
 
2 3 4 5 1 1
1 3 4 5 2 2
2 4 1 5 6 3 3
3 5 2 1 4 4
1
( ) 1 0
( ) ( ) 1 0
( ) 1
o
¢ ¢ ¢ ¢ ¸ ¢
¢ ¢ ¢ ¢ ¸ ¢
¸
¢ ¢ ¢ ¢ ¢ ¸ ¢
¢ ¢ ¢ ¢ ¸ ¢
÷ ÷ ÷ ÷ ( ( (
( ( (
÷ + ÷ ÷
( ( (
= ×
( ( ( ÷ + ÷ + ÷
( ( (
÷ + ÷ ÷
¸ ¸ ¸ ¸ ¸ ¸
  
Q: what do they look like in the ACF plot?  
‐ Due to the causality effect, ACF values of a true AR process don’t drop to zero at any lag 
number, but rather tail exponentially.  
‐ This property helps us to qualitatively identify the AR/ARMA (vs. MA) process in the ACF plot. 
‐ Determining the actual order (i.e. p) of the underlying AR process is, in most cases, difficult.  
 
Technical Note – Autoregressive Model  ‐10‐  © Spider Financial Corp, 2014 
 
Example: Let’s consider the AR(1) process: 
 
1 t t t
z z a ¢
÷
= +   
 
1 1
2
2 2 1
3
3 2
1
[ ]
[ ]
...
t t o
t t o
o
k
k k o
E z z
E z z
¸ ¢¸
¸ ¢¸ ¢ ¸
¸ ¢¸ ¢ ¸
¸ ¢¸ ¢ ¸
÷
÷
÷
= × =
= × = =
= =
= =
  
The ACF for an AR(1) process can be expressed as follows: 
  ACF(k)
k k
o
¸
¢
¸
= =   
The ACF values don’t drop to zero at any lag number, but rather decline exponentially.  
Q: What about a higher order AR process? 
The ACF plot can get increasingly more complex, but it will always tail exponentially. This is due to the 
model’s causal property. We can tell the difference between an MA process and an AR/ARMA process 
by this qualitative difference. 
We need a different tool or plot to help identify the exact order of the AR process and its order: a plot 
that drops to zero after the p‐th lags when the true model is AR(p). This tool or plot is the partial auto‐
correlation plot (PACF). 
Partial auto‐correlation function (PACF)
The partial auto‐correlation function (PACF) is interpreted as the correlation between 
t
x  and 
t h
x
÷
 , 
where the linear dependency of the intervening lags (
1 2 1
, ,...,
t t t h
x x x
÷ ÷ ÷ +
) has been removed. 
 
1 2 1
PACF( ) ( , | , ,..., )
t t h t t t h
h Corr x x x x x
÷ ÷ ÷ ÷ +
=   
Note that this is also how the parameters of a multiple linear regression (MLR) models are interpreted. 
Example: 
 
2
1
2
1 2
t o
t o
x t
x t t
| |
| | |
= +
= + +
  
 
Technical Note – Autoregressive Model  ‐11‐  © Spider Financial Corp, 2014 
 
In the first model, 
1
| is interpreted as the linear dependency between 
2
t and
t
x . In the second model, 
the 
2
| is interpreted as the linear dependency between 
2
t and 
t
x , but with the dependency between  t
and 
t
x  already accounted for. 
In sum, the PACF has a very similar interpretation as the coefficients in the multiple regression situations 
and the PACF values are estimated using those coefficient values. 
(1) Construct a series of regression models and estimate the parameters values: 
 
0,1 1,1 1
0,2 1,2 1 2,2 2
0,3 1,3 1 2,3 2 3,3 3
0,4 1,4 1 2,4 2 3,4 3 4,4 4
0, 1, 1 2, 2 3, 3 ,
...
...
t t t
t t t t
t t t t t
t t t t t t
t k k t k t k t k k t k t
x x a
x x x a
x x x x a
x x x x x a
x x x x x a
| |
| | |
| | | |
| | | | |
| | | | |
÷
÷ ÷
÷ ÷ ÷
÷ ÷ ÷ ÷
÷ ÷ ÷ ÷
= + +
= + + +
= + + + +
= + + + + +
= + + + + + +
  
(2) The PACF(k) is estimated by 
, k k
| . 
Notes: 
(1) To estimate the PACF of the first k‐lags, we’d need to solve k regression models, which can be 
slow for larger data sets. A number of algorithms (e.g. Durbin‐Levenson algorithm and Yule‐
Walker estimations) can be employed to expedite the calculations. 
(2) The PACF can be calculated from the sample auto‐covariance. For example, to estimate the 
PACF(2), we solve the following system: 
 
1,2 1 1
2,2 1 2
o
o
| ¸ ¸ ¸
| ¸ ¸ ¸
÷
( ( (
=
( ( (
¸ ¸ ¸ ¸ ¸ ¸
  
For PACF (3), we solve the following system: 
 
1 2 1,3 1
1 1 2,3 2
2 1 3,3 3
o
o
o
¸ ¸ ¸ | ¸
¸ ¸ ¸ | ¸
¸ ¸ ¸ | ¸
÷ ÷
÷
(
( (
(
( (
=
(
( (
(
( (
¸ ¸ ¸ ¸
¸ ¸
  
Using the Durbin‐Levenson algorithm improves the calculation speed dramatically by re‐using prior 
calculations to estimate current ones. 
  [( )( )]
j t t j
E x x ¸ µ µ
÷
= ÷ ÷   
 
Technical Note – Autoregressive Model  ‐12‐  © Spider Financial Corp, 2014 
 
By definition, the auto‐covariance of lag order zero (
o
¸ ) is the unconditional (marginal) variance. 
By design, for a true AR(p) process, the corresponding PACF plot drops to zero after p‐lags. On the other 
hand, the ACF plot tails (declines) exponentially. 
Using only the PACF plot, I should be able to construct an AR model for any process, right? No.   
The PACF plot mainly examines whether the underlying process is a true AR process and identifies the 
order of the model. 
Conclusion
To recap, in this paper, we laid the foundation for a slightly more complex model: the autoregressive 
model (AR). First, we presented the AR process as a restricted form of an infinite‐order MA process. 
Next, armed with a few mathematical tricks (i.e. IRF, partial fraction decomposition and geometric 
series), we tackled many more complex characteristics of this process (e.g. forecasting, long‐run 
variance, etc.) by representing it as an MA process.  
Later on, we introduced a new concept: Causality. A process is defined as causal if and only if its values 
{ }
t
X  are dependent on the process’s past shocks/innovations
1 2
{ , , ,...}
t t t
a a a
÷ ÷
. We showed that 
stationarity is not a sufficient condition for our models; they must be causal as well. 
Finally, we delved into AR process identification using correlogram (i.e. ACF and PACF) plots. We showed 
that the ACF of an AR process does not drop to zero, but rather tails exponentially in all cases. 
Furthermore, we looked into PACF plots and outlined that fact that PACF, by design, drops to zero after 
p‐lags for a true AR process.   
As we go on to discuss more advanced models in future technical notes, we will often refer to the MA 
and AR processes and the material presented here. 



References
- Hamilton, J .D.; Time Series Analysis , Princeton University Press (1994), ISBN 0-691-04289-6
- D. S.G. Pollock,; Handbook of Time Series Analysis, Signal Processing, and Dynamics , Academic Press (1999),
ISBN: 0125609906
- Box, J enkins and Reisel; Time Series Analysis: Forecasting and Control , J ohn Wiley & SONS. (2008) 4th
edition, ISBN:0470272848