Chương 8

Mô hình AR, MA và ARMA

1. Giới thiệu
2. Mô hình AR
3. Mô hình MA
4. Mô hình ARMA

1 Nguyễn Phước Bảo Duy - HCMUT

8.1. Giới thiệu
Các mô hình AR, MA và ARMA được sử dụng để ước lượng mật
độ phổ công suất (power spectral density - PSD) của một tín hiệu,
tên gọi chung là ước lượng có tham số (parametric methods).
Lưu ý là các phương pháp periodogram và correlogram gọi
chung là ước lượng không tham số (nonparametric methods).
Một số hạn chế của nonparametric methods:
 Chỉ sử dụng trực tiếp giá trị của tín hiệu, không tận dụng
được các thông tin khác về nguồn gốc tín hiệu.
Không thể xây dựng mô hình dự báo tín hiệu.
Độ phân giải của phổ ước lượng kém
Parametric methods khắc phục được các nhược điểm trên.

2 Nguyễn Phước Bảo Duy - HCMUT

8.1. Giới thiệu
Phân hoạch phổ (spectral factorization - xem lại chương 5)
- Lọc nhiễu trắng qua bộ lọc tuyến tính

- Trường hợp liên tục

Py ( s)  H( s)H * (  s * )Pe ( s)  H( s)H * (  s * ) e2
 Py ( f ) | H( j2f ) |2  e2
- Nếu nhiễu trắng có variance = 1
Py ( f ) | H( j2f ) |2

3 Nguyễn Phước Bảo Duy - HCMUT

8.1. Giới thiệu
- Trường hợp rời rạc
Py ( s)  H( z)H * (1 / z * )Pe ( z)  H( z)H * (1 / z * ) e2
 Py ( f ) | H(e j 2fTS ) |2  e2
- Nếu nhiễu trắng có variance = 1
Py ( f ) | H(e j 2fTS ) |2
 Có thể ước lượng phổ công suất của y bằng cách ước lượng các
tham số của mô hình H(z).
- Giả sử H(z) có dạng phân thức
1 q
N( z) b0  b1z  ...  bq z
H ( z)  
D( z) 1  a 1z 1  ...  a p z  p

 cần ước lượng các tham số ai và bj.

4 Nguyễn Phước Bảo Duy - HCMUT

Chương 8
Mô hình AR, MA và ARMA

1. Giới thiệu
2. Mô hình AR
3. Mô hình MA
4. Mô hình ARMA

5 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
i. Mô hình AR (autoregressive)
- Giả sử tín hiệu y(n) là ngõ ra của hệ thống với
b0 Y ( z)
H ( z)  
1  a 1z 1  ...  a p z  p E ( z)

khi ngõ vào là nhiễu trắng với variance = 1.

- Phương trình sai phân
y(n) = -a1y(n-1) - a2y(n-2) - … - apy(n-p) +b0e(n)
- Ước lượng các thông số ai từ các dữ liệu y(0), y(1), …, y(N-1) quan
sát được.
- Ước lượng mật độ phổ công suất: Py ( f ) | H(e j 2fTS ) |2

6 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
ii. Phương pháp bình phương tối thiểu (Least Square Method)
- Thành lập hệ phương trình tuyến tính

 y( p)    y( p  1)  y( p  2) ...  y(0)   a1   e( p) 
 y( p  1)    y( p)  
 y( p  1) ...  y(1)   a2  e( p  1) 
    b
 ...   ... ... ... ...   ...   ...  0
      
 y ( N  1)   y(N  2)  y(N  3) ...  y(N  p  1)  a p  e(N  1) 
 ~y  R  b e~
0

trong đó  = [a1 a2 … ap]T là tham số cần ước lượng.

- Bình phương tối thiểu:
min ~y  R
2

7 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
- Chứng minh được:
min ~y  R    [RT R]1 RT ~y
2

- Giá trị b0 xác định theo giá trị ước lượng của 
~y  R 2

b0 
Np

Ví dụ 8.2.1: Lấy mẫu tín hiệu với tần số 40Hz, thu được các mẫu
y(n) = [0; 0.71; 1; 0.71; 0; -0.71; -1; -0.71]
Ước lượng mô hình AR bậc 2 dùng Least Square Estimation và vẽ
phổ ước lượng.

8 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Đáp án: [a1 a2]T = [-1.4138 0.9980]T; b0 = 0.0043
Phổ công suất :

9 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Ví dụ 8.2.2: Cho y(n) = [0.43; -1.73; -1.49; 0.80; 1.99; 0.43], ước lượng
mô hình AR bậc 3 dùng Least Square Method, biết tần số lấy mẫu là
50Hz.

Đáp án: [a1 a2 a3]T = [-0.0090 0.6219 0.6105]T; b0 = 1.81310-16.

10 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Ví dụ 8.2.3: Mô hình AR bậc 20 cho dữ liệu y(n) trong file
Example_8_2_3.mat dùng Least Square Method.

Bài tập 8.1: Viết m-file cho ví dụ trên (file dữ liệu Example_8_2_3.mat
trên BKeL) (biết fS = 1000Hz).

11 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
iii. Giải thuật bình phương tối thiểu đệ quy (recursive least square
algorithm)
- Thành lập (N - p - 2) phương trình tuyến tính từ N mẫu quan sát:
 y( p)    y( p  1)  y( p  2) ...  y(0)   a1   e( p) 
 y( p  1)    y( p)  
 y( p  1) ...  y(1)   a2  e( p  1) 
    b
 ...   ... ... ... ...   ...   ...  0
      
a
 y(N  1)   y(N  2)  y(N  3) ...  y(N  p  1)   p  e(N  1) 
~
 y1   y( p)   1T 
 ~y  
y ( p  1)   T 
 ~y  
2 
    2   b e~
 ...   ...   ...  0

~     T 
 yN p2   y(N  1)  N p2 

12 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Với mô hình AR bậc p:  = [a1 a2 … ap]T là tham số cần ước lượng.
Giải thuật đệ quy
(0) Khởi động: 1 = [0 0 … 0]T;
G1 = aIp (a lớn, Ip là ma trận đơn vị pp)
(1) Với k = 1,2,3,…
Gkk
Kk  1  ( p  1)
1  kT Gkk
 k  1   k  Kk  1 [~yk  kT k ] ( p  1)
Gk  1  [Ip  Kk  1kT ]Gk ( p  p)

Quay lại (1)

13 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Ví dụ 8.2.4: Lấy mẫu tín hiệu với tần số 40Hz, thu được các mẫu
y(n) = [0; 0.71; 1; 0.71; 0; -0.71; -1; -0.71; 0; 0.71; 1; 0.71; 0; -0.71; -1; -0.71]
Ước lượng mô hình AR bậc 2 dùng giải thuật đệ quy.
Đáp án:
Khởi động: 0 10 0 
1   ; G1    a  10
0  0 10
 0.71 ~y  1
1    ; 1
 0 

Với k = 14:
 1.3587
 15   
 0.9427 

14 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Ví dụ 8.2.5: Sử dụng dữ liệu y(n) trong file Example_8_2_3.mat, với p
= 10, so sánh các tham số ước lượng dùng công thức bình phương
tối thiểu và giải thuật đệ quy.
Đáp án:
 recursive =  Least_Square = [ -0.0740 0.4257 0.2055 -0.1678 -0.1306
0.0235 0.0432 0.0588 0.1563 -0.0863]T

Bài tập 8.2: Viết m-file cho ví dụ 8.2.5, kiểm tra với các giá trị p khác
nhau.

15 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
iv. Phương pháp autocorrelation và covariance
- Đây là các biến thể của phương pháp Least Square.
- Xét hệ phương trình tuyến tính
 y(N1 )    y(N1  1)  y(N1  2) ...  y(N1  p)   a1   e(N1 ) 
 y(N  1)    y(N )  
 y(N1  1) ...  y(N1  1  p)   a2  e(N1  1) 
 1  1   b
 ...   ... ... ... ...   ...   ...  0
      
 y ( N2 )   y(N2  1)  y(N2  2) ...  y(N2  p)  a p   e(N2 ) 

trong đó 0  N1  N2  N - 1, với các dữ liệu y(0), y(1),…, y(N - 1) (giả sử

y(n) = 0 với n < 0 hoặc n > N - 1).

16 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Phương pháp autocorrelation: chọn N1 = 0; N2 = N + p - 1
   
 y(0)   0 0 ... 0 
   
 y(1)    y(0) 0 ... ... 
   
 ...   ... ... ... 0 
 y( p)    y( p  1)  y( p  2) ...  y(0) 
   
 y( p  1)     y( p)  y( p  1) ...  y(1) 

 ...   ... ... ... ... 
   
 y(N  1)    y(N  2)  y(N  3) ...  y(N  p  1) 
 0    y(N  1)  y(N  2) ...  y(N  p) 
   
 0   0  y(N  1) ... ... 
 0   ... ... ... ... 
   
 0   0 ... 0  y(N  1) 

17 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Phương pháp covariance: chọn N1 = p, N2 = N - 1 (đây chính là phương
pháp Least Square đã giới thiệu, còn có tên khác là postwindow
method).
- Ngoài ra còn có prewindow method: N1 = 0, N2 = N - 1
- Tất cả các biến thể này đều có dạng
~y  R    [RT R]1 RT ~y

Ví dụ 8.2.6: với giá trị y(n) = [1.26; 4.23; 4.91; 2.93; -0.64; -3.86], ước
lượng mô hình AR bậc 3 dùng phương pháp autocorrelation và
covariance.

18 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Đáp án:
Covariance method:
 = [ 5.3200 -8.8886 6.7838]T

Autocorrelation method:
 = [ -0.8848 0.4487 0.0473]T

Lưu ý:
- Số mẫu nhỏ  sai số lớn
- Hệ số b0 là khác nhau với ước lượng  khác nhau.

19 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
v. Phương trình Yule-Walker
- Là phương trình xác định các tham số của mô hình AR sử dụng các
giá trị của hàm tự tương quan ry.

Nhắc lại về hàm tự tương quan của dãy y(n)

 Khái niệm ry (k)  E { y (n) y * (n  k)}
 Có 2 cách xấp xĩ hàm tương quan
1 N1
ry (k)  
N  k n k
y ( n) y *
(n  k ) , 0  k  N  1

1 N1
ry (k)   y (n) y * (n  k), 0  k  N  1 (**)
N n k

20 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
 Trong môn học này, công thức (**) được chọn để sử dụng.
 Với k < 0 thì ry(k) = ry*(-k), k = -N + 1,…,0.
 Lưu ý là ry(0)  R+.

- Quay lại mô hình AR:

p
Y ( z) b0
 H ( z)  1 p
 y (n)   ai y (n  i)  b0e(n)
E ( z) 1  a1z  ...  a p z i 1

- Nhân 2 vế với y*(n - k) và lấy kỳ vọng E{.}:

p
ry (k)   ai ri (k  i)  b0E {e(n) y * (n  k)}
i 1

21 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
- Nếu H(z) là bộ lọc nhân quả và ổn định thì
 
Y ( z)
H( z)   hs z s   y(n)   hse(n  s) (h0  b0 )
s 0 E( z) s 0
Khi đó
p
 
 
ry (k)   ai ri (k  i)  b0E e(n) hs e (n  k  s)   b0  hs*re (k  s)
* *

i 1  s 0  s 0

- Nhắc lại về tính chất của nhiễu trắng

E {[e(n)  me ][e(n  k)  me ]}   2 (k)  re (k)  me2  re (k)   2 (k)  me2
Ở đây xét nhiễu trắng với me = 0 và variance = 1 nên
 1, k  0
re (k)   (k)  
0, k  0

22 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
- Ngoài ra, hs = 0 với s < 0, nên

  h *
s, ks 0
 *
hs re (k  s)  
s 0 0, otherwise
 h0  b0 , k  s  0
*

- Nếu chỉ xét k  0  hs r (k  s)  

*

s 0 0, otherwise

- Như vậy, với k = 0, 1, …, p, có phương trình

p
b02 , k  0
ry (k)   ai ri (k  i)  
i 1  o, k  0

23 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Phương trình Yule-Walker
ry (0) ry ( 1) ... ry (  p)   1  b02 
 r (1) r ( 0 ) ... r (  p  1) a   
 y y y   1    0  (YW  1)
 ... ... ... ...   ...   ... 
    
ry ( p) ry ( p  1) ... ry (0)  a p   0 

- Để giải phương trình Yule-Walker (từ đó xác định ai), chuyển

phương trình về dạng
 ry (1)   ry (0) ry ( 1) ... ry (  p  1)   a1   0 
 r (2)   r (1) ry (0) ... ry (  p  2)   a2   0 
 y  y       (YW  2)
 ...   ... ... ... ...   ...  ...
      
ry ( p)  ry ( p  1) ry ( p  2) ... ry (0)  a p   0 

24 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
- Giải phương trình (YW-2) để xác định ai:
(YW-2): rn + Rn = 0   = -Rn-1rn
- Xác định b0 từ phương trình thứ nhất của hệ (YW-1)
p
ry (0)   airy ( i)  b02
i 1

Ví dụ 8.2.7: với giá trị y(n) = [0; 0.71; 1; 0.71; 0; -0.71; -1; -0.71], ước
lượng mô hình AR bậc 2 dùng phương trình Yule-Walker, ước lượng
phổ Py(f) bằng các vẽ phổ |H(f)|2, biết tần số lấy mẫu fS = 40Hz.

Đáp án:  = [a1 a2]T = [-1.2367 0.7490]T, b0 = 0.3320

25 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Phổ |H(f)|2 của ví dụ 8.2.7

26 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Ví dụ 8.2.8: với giá trị
y(n) = [0.43; -1.73; -1.49; 0.80; 1.99; 0.43; -1.73; -1.49],
ước lượng mô hình AR bậc 3 dùng phương trình Yule-Walker, ước
lượng phổ Py(f) bằng các vẽ phổ |H(f)|2, biết tần số lấy mẫu fS = 50Hz.
Đáp án:  = [a1 a2 a3]T = [-0.6133 0.7867 0.7867]T, b0 = 0.8737

Bài tập 8.3: Viết m-file, sử dụng dữ liệu y(n) lưu trong file
Example_8_2_3.mat, dùng phương trình Yule-Walker, ước lượng mô
hình bậc p (thử nghiệm với nhiều p khác nhau). (fS = 1000Hz)
Đáp án:
với p = 5:  = [-0.0891 0.4371 0.2468 -0.1030 -0.1515]T, b0 = 1.3014

27 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
vi. Lựa chọn bậc p của mô hình
- Có nhiều tiêu chuẩn để lựa chọn bậc tối ưu cho mô hình AR, nguyên
tắc chung là, tùy theo độ dài N của mẫu dữ liệu, lựa chọn p sao cho
cực tiểu hàm tiêu chí. Một vài hàm tiêu chí thường sử dụng:
 Akaike Information Criterion
2p
AIC   ln(b02 )
N
 Final Prediction Error
N  ( p  1) 2
FPE  b0
N  ( p  1)
 Bayesian Information Criterion
p. ln(N)
BIC   ln(b02 )
N

28 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
vii. Dự báo tuyến tính
- Mô hình AR thường được dùng để làm mô hình dự báo tuyến tính
(linear predictive model).
p
y (n)   ai y (n  i)  b0e(n)
i 1

- Nếu đã biết dữ liệu trong quá khứ y(n - 1), y(n - 2), …, thì có thể dự
báo dữ liệu tiếp theo
p
yˆ (n)   ai y (n  i)
i 1

- Sai số dự báo  (n)  y(n)  yˆ (n)  b0e(n) trực giao với các quan sát
quá khứ nếu e(n) là nhiễu trắng.

29 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR
Bài tập 8.4: Sử dụng dữ liệu y(n) lưu trong file Problem_8_4.mat, viết
m-file:
- Dùng n1 mẫu dữ liệu đầu tiên để ước lượng mô hình AR bậc p (có
thể dùng Least Square hoặc phương trình Yule-Walker).
- Dùng mô hình AR tìm được, dự báo các mẫu dữ liệu từ y(n1) đến
y(N-1), so sánh với dữ liệu gốc.

Kết quả minh họa với p = 10, n1 = 100 thể hiện ở slide sau.

30 Nguyễn Phước Bảo Duy - HCMUT

8.2. Mô hình AR

31 Nguyễn Phước Bảo Duy - HCMUT

Chương 8
Mô hình AR, MA và ARMA

1. Giới thiệu
2. Mô hình AR
3. Mô hình MA
4. Mô hình ARMA

32 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
i. Mô hình MA (moving average)
- Giả sử tín hiệu y(n) là ngõ ra của hệ thống với
q
Y ( z)
1
H( z)  b0  b1z  ...  bq z q
  bi z 
i

i 0 E ( z)
khi ngõ vào là nhiễu trắng với variance = 1.
- Phương trình sai phân
q
y (n)   bi e(n  i)
i 0
- Các đặc trưng thống kê
E { y (n)}  0
q
E { y 2 (n)}   bi2
i 0

33 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
ii. Các phương pháp ước lượng mật độ phổ công suất
Phương pháp 1:
- Ước lượng các tham số bi từ các dữ liệu y(0), y(1), …, y(N-1).
- Mật độ phổ công suất
q 2
fS fS
Py ( f ) | H(e j 2fTS
)| 
2
b e
i 0
i
 j 2fTSi
,  f
2 2
Phương pháp 2
- Ước lượng mật độ phổ công suất thông qua hàm tự tương quan
2
q
fS f
Py ( f )  y
r (
m q
m) e  j 2fTSm
, 
2
f S
2

34 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
iii. Nhận dạng mô hình MA
Phương pháp moment
- Là phương pháp ước lượng các thông số bi thông sử dụng hàm tự
tương quan ry(m)
- Từ hàm truyền
Y ( z)
H( z)  b0  b1z 1  ...  bq z q 
E ( z)
 y (n)  b0e(n)  b1e(n  1)  ...bq e(n  q)

- Nhân 2 vế với y*(n - k):

q
y (n) y (n  k )  y (n  k )  bme(n  m)
* *
(* * *)
m 0

35 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- Để đơn giản, giả sử y(n)  R, n
q
y * ( n  k )  y ( n  k )   bi e ( n  k  i )
i 0

- Thay vào (***) và lấy kỳ vọng E{.}

q
 q

ry (k )   bm .E e(n  m)  bi e(n  k  i) 
m 0  i 0 
- Tính chất của nhiễu trắng (với trị trung bình bằng 0, variance 1)

 q
  bi ; m  k  i bmk ; i  m  k
E e(n  m)  bi e(n  k  i)    
 i 0  0; otherwise 0; otherwise

36 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- Do đó hàm tự tương quan được xác định bởi
q
ry (k )   bmbmk , m  k  0
m 0

- Có hệ phương trình
ry (0)  b02  b12  ...  bq2 b0 b1 ... bq  b0  ry (0) 

r
y ( 1)  b b  b b  ...  b b
b b2 ... 0   b1   ry (1) 

1 0 2 1 q q 1
  1     
 ...  ... ... ... ...   ...   ... 
 ry (q)  bq b0     
 bq 0 ... 0  bq  ry (q) 

- Có thể sử dụng các phương pháp lặp để giải hệ phương trình trên.

37 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
Phương pháp Newton-Raphson giải hệ phương trình phi tuyến
- Xét hệ phương trình phi tuyến
f1 ( x 1 , x2 ,..., xn )  0
 f ( x , x ,..., x )  0
2 1 2 n

 ...
 fn ( x 1 , x2 ,..., xn )  0
với x = (x1 x2 … xn)T  Rn và fi là các hàm phi tuyến.
- Công thức lặp Newton

x ( k )  x ( k 1)  Jx ( k 1)  F x ( k 1) 

1

38 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- J(x) là ma trận Jacobi; F: Rn  Rn
 f1 f1 f1 
 x ...
x2 xn   f1 ( x 1 , x2 ,..., xn ) 
 1   f ( x , x ,..., x ) 
 f2 f2
...
f2 
F ( x 1 , x2 ,..., xn )  
2 1 2 n 
J( x)   x 1 x2 xn  ;
 ...  ... 
... ... ...   
 fn fn fn  f (
n 1 2 x , x ,..., x )
n 
 ... 
 x 1 x2 xn 

Ưu điểm: thuật toán đơn giản, áp dụng được cho nhiều bài toán.
Nhược điểm: khối lượng tính toán nhiều (nghịch đảo ma trận), có khả
năng phép lặp không hội tụ.

39 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
Ví dụ 8.3.1: Dùng phương pháp Newton giải hệ phương trình
x 12  2x22  x 32  1.75
 2
 2x 1x2  x 3  1
 x 1x2 x 3  1

Đáp án: x = [-0.6463; -0.8240; 1.8777]T

40 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
Ví dụ 8.3.2: Cho dữ liệu
y(n) = [-0.60; -0.55; -0.43; -0.41; 2.00; -0.60; -0.55; -0.44]
Ước lượng mô hình MA bậc 2 dùng phương pháp moment.
Đáp án:
- Hàm tự tương quan: ry(k) = [0.7340; -0.0881; -0.1208]
- Hệ phương trình  b02  b12  b22  0.7340

b1b0  b2b1  0.0881
 b2b0  0.1208

- Chọn giá trị b(0) = [-1 1 1]T  b(5) = [-0.4173 0.6899 0.2895]T.

41 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
Một số nhận xét
- Không phải với bộ dữ liệu nào cũng có thể ước lượng được mô hình
MA với sai số nhỏ.
- Chọn một điều kiện đầu không hợp lý có thể dẫn đến việc thuật
toán lặp không hội tụ, hoặc không tính được.
Ví dụ: chọn b(0) = [1 1 1]T  ma trận J suy biến (singular), không tính
được ma trận nghịch đảo.
- Bài toán có thể có nhiều nghiệm.
Ví dụ: với b(0) = [-1 -2 -2]T  b(6) = [0.1447 0.1278 -0.8347]T.

42 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
Phương pháp Durbin
- Mô hình MA: H(z) = B(z) = b0 + b1z-1 + … + bqz-q = Y(z)/E(z)
 b1  1 bq q 
H( z)  b0  1  z  ...  z   b0 1  b1' z 1  ...  bq' z q 
 b0 b0 
- Để đơn giản (và phù hợp với ký hiệu của nhiều tài liệu tham khảo
khác), viết lại
Y ( z)
H ( z)   1  b1z 1  ...  bq z q
E ( z)
với e(n) là nhiễu trắng có variance 2 = b02.
- Phương trình sai phân
y(n)  b1e(n  1)  ...  bqe(n  q)  e(n)

43 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- Dạng ma trận:
z  Z  e (* * **)
trong đó: z = [y(L) y(L+1) … y(N-1)]T,  = [b1 b2 … bq]T, e = [e(L)
e(L+1) … e(N-1)]T, (với L là hằng số, L > q) và
  e(L  1)  e(L  2) ...  e(L  q) 
  e(L)  e(L  1) ...  e(L  q  1) 
Z  
 ... ... ... ... 
 
 e(N  2)  e(N  3) ...  e(N  q  1) 

- Nếu biết ma trận Z thì theo phương pháp Least Square:

  ( Z T Z) 1 Z T z

44 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- Do chưa biết ma trận Z, nên ước lượng mô hình AR:
Eˆ( z)  Y ( z) A( z)  Y ( z)1  a1z 1  ...  aK z K , K  q
 eˆ(n)  y(n)  a1 y(n  1)  ...  aK y(n  K)
- Các hệ số ai của mô hình AR có thể ước lượng bằng Least Square
method hoặc phương trình Yule-Walker.
- Khi có ai, tính eˆ(n) theo mô hình AR trên.
- Thay eˆ(n) vào (****) (thay cho e(n) trong ma trận Z) với L = K+q,
ước lượng được các giá trị  = [b1 b2 … bq]T theo Least Square.
- Giá trị b0 có thể ước lượng bởi
1 ~T ~ ~
2
b0  e e , e  Z  z
NL

45 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- Điều kiện để ước lượng chính xác: N >> K >> q.
- Ngoài ra Durbin (1959) đã chứng minh được các hệ số bi có thể ước
lượng bằng cách giải hệ phương trình tuyến tính.
 K 2 K 1 K q  1
  K 1 
  ai a a i i1 ...  a a
i i q 1 
 b    i i1 
a a
 K i10 i 0
K
i 0
K q  2   
1  i 0
K 2 
   b2   aa 
  i   
2
ai ai  1 a ... a a
i 0 i 0 i 0
i i  q 2
  ...  i 0
i i 2

 ... ... ... ...    ... 
 K  q  1 K   bq   K q 
  ai ai q 1    ai ai  q 
 i 0
... ... i 0
ai 
2

  i 0 

(ma trận vuông có các giá trị trên tất cả các đường chéo bằng nhau).
*Lưu ý: hệ phương trình này chỉ để tham khảo thêm.

46 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
Ví dụ 8.3.3: Cho dữ liệu
y(n) = [-0.60; -0.55; -0.43; -0.41; 2.00; -0.60; -0.55; -0.44]
Ước lượng mô hình MA bậc 2 dùng phương pháp Durbin

Đáp án:
- Để minh họa phương pháp Durbin, với q = 2, chọn K = 3 (số mẫu nhỏ,
bậc K nhỏ  ước lượng sẽ không chính xác).
- Ước lượng mô hình AR bậc 3 dùng Least Square .
[a1 a2 a3] = [0.5004 0.4820 0.4958]T

47 Nguyễn Phước Bảo Duy - HCMUT

8.3. Mô hình MA
- Từ mô hình AR, xác định được
eˆ (n) = [-0.6000 -0.8521 -1.0068 -1.2014 1.3036 -0.0129 -0.0577
-0.0165 -0.7964 -0.4949 -0.2200]T
- Thay giá trị vào hệ (****), sau đó ước lượng theo Least Square
 0.8218
  ( Z Z) Z z  
T 1 T

  0.4107 

*Lưu ý: Phương pháp Durbin còn gọi là phương pháp two-stages least
squares.

48 Nguyễn Phước Bảo Duy - HCMUT

Chương 8
Mô hình AR, MA và ARMA

1. Giới thiệu
2. Mô hình AR
3. Mô hình MA
4. Mô hình ARMA

49 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
i. Mô hình ARMA
- Là mô hình lọc nhiễu trắng qua bộ lọc
1 q
Y ( z) b0  b1z  ...  bq z
H ( z)  
E ( z) 1  a1z 1  ...  a p z  p
(ở đây nhiễu trắng có trung bình = 0, variance = 1).
- Phương trình sai phân
p q
y (n)   ai y (n  i)   bj e(n  j)
i 1 j 0

- Các đặc trưng thống kê

E { y (n)}  0
p q
E { y 2 (n)}   ai ry (i)   bj rye ( j)
i 1 j 0

50 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
ii. Nhận dạng mô hình ARMA
Phương pháp sử dụng phương trình Yule-Walker cải tiến (modified
Yule-Walker method)
- Để đơn giản, giả sử dữ liệu thực: y* = y.
- Nhân 2 vế phương trình sai phân với y(n - k) và lấy kỳ vọng E{.}
p q
y (n) y (n  k)   ai y (n  i) y (n  k)   bj e(n  j) y (n  k)
i 1 j 0
p q
 ry (k)   ai r (k  i)   bj Ee(n  j) y (n  k)
i 1 j 0

51 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
- Do H(z) là nhân quả và ổn định nên
b0  b1z 1  ...  bq z  q  
H ( z)  1 p
  hs z  y (n)   hse(n  s), (h0  b0 )
s

1  a1z  ...  a p z s 0 s 0

- Từ đó
 
  hs , j  s  k
Ee(n  j) y (n  k)  E e(n  j) hse(n  s  k)   
 s 0  0, otherwise
 q

 ry (k)   ai r (k  i)  
p
 b j hj k , k  q
j 0
i 1  0, k q
- Sử dụng các giá trị k > q để tạo phương trình Yule-Walker cải tiến.

52 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
- Với k = q + 1, q + 2, …, q + p:
 ry (q) ry (q  1) ... ry (q  p  1)   a1   ry (q  1) 
 r (q  1) ry (q) ... ry (q  p  2)   a2   r (q  2) 
 y      y 
 ... ... ... ...   ...   ... 
    
ry (q  p  1) ry (q  p  2) ... ry (q)  a p  ry (q  p) 
- Sau khi xác định được ai từ hệ phương trình tuyến tính trên, xác
định w(n):
p q
w(n)  y(n)   ai y(n  i)  w(n)   bj e(n  j)
i 1 j 0

- Có 2 các để ước lượng mật độ phổ công suất Py(f).

53 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
 Cách 1: ước lượng Py(f) sử dụng Pw(f)
2
q
Pw ( f )
Pw ( f )  r w (m)e  j 2fmTS
 Py ( f ) 
p 2

n
m  q  j 2fnTS
a e
q n 0

 Cách 2: từ phương trình w(n)   bj e(n  j)

j 0

Ước lượng bj theo các kỹ thuật đã trình bày ở mô hình MA, sau
đó ước lượng 2 q

n
b e  j 2fnTS

Py ( f )  n 0
p

n
a e
n 0
 j 2fnTS

54 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
Ví dụ 8.4.1: Cho dữ liệu
y(n) = [0.65; -3.55; -2.85; 1.79; 3.96; 0.65; -3.55; -2.85]
Ước lượng mô hình ARMA với q = 2, p = 3.
Đáp án:
- Hàm tự tương quan
ry(m) = [7.6476 2.5226 -4.2800 -4.0484 0.6603 2.6434]
- Tính ai từ phương trình Yule-Walker
[a1 a2 a3] = [-1.7371 1.2863 -0.8671]T
- Tính w(n) = [0.6500 -4.6791 4.1528 1.6107 0.2628 -1.4551 -
1.1374 0.7191 -0.1793 -0.5878 2.4713]

55 Nguyễn Phước Bảo Duy - HCMUT

- Tính rw(m) = [4.7854 -1.4893 -0.7361]
- Ước lượng
2
q
Pw ( f )
Pw ( f )  r w (m)e  j 2fmTS
 Py ( f ) 
p 2

n
m  q  j 2fnTS
a e
n 0

Bài tập 8.5: Sử dụng dữ liệu trong file Problem_8_5, ước lượng mô
hình ARMA với một số p, q khác nhau, vẽ Py(f).

56 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
Phương pháp Durbin
- Có thể mở rộng phương pháp Durbin đã trình bày ở mô hình MA để
áp dụng cho mô hình ARMA
- Để áp dụng phương pháp Durbin, viết lại H(z) dưới dạng:
1  b1z 1  ...  bq z  q Y ( z)
H ( z)  
1  a1z 1  ...  a p z  p E ( z)
trong đó e(n) là nhiễu trắng với variance = b0.
- Phương trình sai phân
p p
y (n)   ai y (n  i)  q bj e(n  j)  e(n)
i 1 j 1

57 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
- Với L > max{p,q}, có thể lập hệ phương trình:
z  Z  e (* * **)
trong đó: z = [y(L) y(L+1) … y(N-1)]T,  = [a1 a2 … ap | b1 b2 … bq]T, e =
[e(L) e(L+1) … e(N-1)]T, và

 y(L  1) ... y(L  p)  e(L  1) ...  e(L  q) 

 y(L) ... y(L  p  1)  e(L) ...  e(N  q  1) 
Z 
 ... ... ... ... ... ... 
 
 y(N  2) ... y(N  p  1)  e(N  2) ...  e(N  q  1) 
- Tương tự như đã trình bày ở mô hình MA, nếu biết ma trận Z có thể
ước lượng các thông số theo Least Square:
  ( Z T Z) 1 ( Z T z)

58 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
Hai bước ước lượng theo phương pháp Durbin:
 Bước 1: Ước lượng các hệ số  k của mô hình AR bậc K theo
Least Square hoặc phương trình Yule-Walker
K
eˆ(n)  y(n)   k y(n  k)
k 1

với K rất lớn so với p, q. Từ đó tính được các giá trị eˆ(n).
 Bước 2: Sử dụng cách giá trị của eˆ (n) để thay cho e(n) trong ma
trận Z của hệ (****), chọn L = K + p,     ( Z T
Z ) 1
( Z T
z) .
Riêng giá trị b0 xác định bởi:
1 ~T ~
2
b0  e e, e~  Z  z
NL

59 Nguyễn Phước Bảo Duy - HCMUT

8.4. Mô hình ARMA
Kết luận
- AR models peaky PSD better
- MA models valley PSD better
- ARMA is used for PSD with both peaks and valleys.

60 Nguyễn Phước Bảo Duy - HCMUT