Mლექცია 3

რეგრესიული ანალიზის მეთოდები –

მრავლობითი წრფივი რეგრესიის მოდელი (მწრმ)

ე კ ო ნ ო მ ე ტ რ ი კ ა
2012
ნიკოლოზ ოსტაპენკო
მრავლოობითი რეგრესიის
მოდელი
დამოუკიდებელი ცვლადიY ახასიათებს ეკონომიკური
ობიექტის მდგომარეობას ან/და ქცევას. ხოლო
ცვლადების რაღაც სიმრავლე X1,…,Xk, ახასიტებს ამ
ეკონომიკურ ობიექტს ხარისხობრივად ან/და
რაოდენობრივად ვუშვებთ, რომ X ცვლადები ახდენენ
გავლენას Y ცვლადზე, რაც იმას ნიშნავს, რომ Y
ცვლადის რეალიზაციები წარმოადგენენ ამხსნელი
ცვლადების ფუნქციას, რომელიც ამ ფუნქციის
არგუმენტებს წარმოადგენს, თუმცა გარკვეული
ცდომილებით:
Y = f(X1,…,Xk) + ,
სადაც  - შემთხვევითი კომპონენტია
მოდელის სპეციფიკაცია
მრავლობითი რეგრესიის მიზანი:
 აიგოს მოდელი ფაქტორების დიდი რიცხვისათვის
და განისაზღვროს მათი, როგორც თითოეულის
ცალლკ–ცალკე ისე ერთობლივი, ზეგავლენა
მოდელირებულ ფაქტორზე.
მოდელის სპეციფიკაციის დროს ორი ამოცანაა გადასაწყვეტი:
- ფაქტორების შერჩევა;
- რეგრესიის განტოლების შერჩევა.
მოთხოვნები ჩართული ფაქტორების მიმართ:
 რაოდენობრივად გაზომვადობა;
 არ უნდა იყვნენ მჭიდრო ფუნქციონალურ კავშირში.

რეგრესიის განტოლების შერჩევა :

 წრფივი რეგრესია;
 გაწრფივებადი რეგრესიები.
 მწრმ - Y   0  1 X 1  ...   k X k  

მაგალითად
D
Q   0  1 P   2 X  3 PM  
სადაც QD  მოთხოვნის მოცულობაა რაღაც პროდუქტზე,
Х  შემოსავალი,
P  პროდუქტის ფასი,
PM  შემცვლელი პროდუქტის ფასი.
 Y   0  1 X 1  ...   k X k  

აქ ჩვენთვის უცნობია  კოეფიციენტები და и –ს

განაწილების პარამეტრები.
მათი შეფასებისათვის Y и X1,…,Xk ცვლადებისათვის
გვაქვს N დაკვირებების რაოდენობის შერჩევა.
ყოველი დაკვირებისათის უნდა სრულდებოდეს
შემდეგი ტოლობა:

Yi   0   1 X 1i  ...   k X ki   i
მწრმ მატრიცული ჩანაწერი

Y  X  
სადაც,
Y1  1 X 11 ... X k1.   0   1 
Y  ...  X   . . . .     ...     ... 
     
Y N  1 X 1N ... X kN   k   N 
უმცირეს კვადრატთა მეთოდი

e
i 1
2
i  min
( )

ყველა შესაძლო ჰიპერსიპრტყიდან ვირჩევთ იმას,

რომლისათვისაც, ნარჩენობითი წევრის
კვადრატების ჯამი მინიმალურია
 რის მინიმაზაცია უნდა
მოვახდინოთ

Yi  b0  b1 X 1i  ...  bk X ki

ei  Yi  Yi  Yi  b0  b1 X 1i  ...  bk X ki
N  2 N
N

  i i  i 0 1 1i
e 
i 1
(Yi

2
Y ) 
i 1
(Y  b  b X  ... 
i 1
bk
X ki
) 2


 S (b0 , b1 ,...,bk )  ( b min

,b ,..., b
0 1 k)
 მინიმიზაცია

 S  N
0
 b  2 (Yi  b0  b1 X 1i  ...  bk X ki )  0
 0  i 1
 S  N

 b 0  2 (Yi  b0  b1 X 1i  ...  bk X ki ) X 1i  0
 1  i 1
 S  N
 0  2 (Yi  b0  b1 X 1i  ...  bk X ki ) X 2i  0
 b2  i 1
... ...
 
 S
N
 2 (Y  b  b X  ...  b X ) X  0
 bk
0   i 1
i 0 1 1i k ki ki

 
 
ნორმალურ განტოლებათა
სისტემა
N N N N

 Nb0  b1  X 1i  b2  X 2i  ...  bk  X ki   Y1i
 i 1 i 1 i 1 i 1
 N N N N N
b0  X 1i  b1  X 1i  b2  X 1i X 2i  ...  bk  X 1i X ki   Y1i X 1i
2

 i 1 i 1 i 1 i 1 i 1
 N N N N N
b0  X 2i  b1  X 1i X 2i  b2  X 2i  ...  bk  X 2i X ki   Y1i X 2i
2

 i 1 i 1 i 1 i 1 i 1
...
 N N N N N
b
 0
X ki  b1  X 1i X ki  b2  X 2i X ki  ...  bk  X ki   Y1i X ki
2

 i 1 i 1 i 1 i 1 i 1

მატრიცული ფორმით კოეფიციენტების
დასადგენად ფორმულის გამოყვანა
N e1  
 i  e' e e  ... 
e 2
e  Y  X
i 1
e N 
     
e' e  (Y  X)' (Y  X)  Y 'Y  Y ' X  ' X 'Y  ' X ' X 
  
 Y 'Y  2' X 'Y  ' X ' X

 ( e ' e) 
  2 X ' Y  2 X ' X


2 X 'Y  2 X ' X
  1
X 'Y  X ' X   ( X ' X ) X 'Y
 კოეფიციენტები 2 და 3 ცვლადიანი
რეგრესიის მოდელისათვის

~ Cov( x1 , y )Var ( x2 )  Cov( x2 , y )Cov( x1 , x2 )

1 
Var ( x1 )Var ( x2 )  Cov( x1 , x2 )
2

Var ( x2 ) Cov( x2 , x3 ) Cov( x1 , x2 ) Cov( x1 , x3 ) Cov( x1 , x2 ) Cov( x1 , x3 )

Cov( x1 , y )  Cov( x2 , y )  Cov( x3 , y )
~ Cov( x2 , x3 ) Var ( x3 ) Cov( x2 , x3 ) Var ( x3 ) Var ( x2 ) Cov( x2 , x3 )
1 
Var ( x2 ) Cov( x2 , x3 ) Cov( x1 , x2 ) Cov( x1 , x3 ) Cov( x1 , x2 ) Cov( x1 , x3 )
Var ( x1 )  Var ( x2 )  Var ( x2 )
Cov( x2 , x3 ) Var ( x3 ) Cov( x2 , x3 ) Var ( x3 ) Var ( x2 ) Cov( x2 , x3 )

~ Cov( x1 , y )Var ( x2 )Var ( x3 ) Cov( x1 , y )

1  
Var ( x1 )Var ( x2 )Var ( x3 ) Var ( x1 )
 რეგრესიის კოეფიციენტების
კოვარიაციული მატრიცა

Var ( 1 ) Cov( 1 ,  2 ) ... Cov( 1 ,  k )

 2 1
Cov(  2 , 1 ) Var (  2 ) ... Cov(  2 ,  k )
Cov(  )   e ( X ' X ) 
... ... ... ...
Cov(  k , 1 ) Cov(  k ,  2 ) ... Var (  k )

S  j  S e a jj ,

სადაც , a jj წარმოადგენს ( X ' X ) მატრიცის დიაგონალკურ

1

ელემენტებს
ცვლადების კოეფიციენტების დისპერსია

– (2-3a) და (2-3b) წერტილების შემაერთებელი

წრფის დახრის კუთხეები მნიშვნელოვნად
განსხვავდება (1-2) წრფის დახრის კუთხისაგან.
თავისუფალი წევრის დისპერსია

– თუ წრფის ყველა წერტილი ერთი და იგივე სიდიდით

წანაცვლდება (11a და 3 3a) მაშინ დახრის კუთხე არ
შეიცვლება თუმცა თავისუფალი წევრის დისპერსია 1a
წერტილზე ნაკლები იქნება ვიდრე 3a წერტილზე.
უკმსტანდარტიზებულიმასშტაბისრეგრესიული
განტოლებისათვის
მოდელი t y  1t x1   2t x2  ...   p t x p  
xi  xi y y


t xi  ty 
 xi y
ნორმალურ განტოლებათა სისტემა
ryx1  1   2 rx1x2   3 rx1x3  ...   p rx1x p
ryx  1rx x   2   3 rx x  ...   p rx x
2 2 1 2 3 2 p

………………………………………..
ryx p  1rx p x1   2 rx p x2   3 rx p x3  ... p
მაგალითად
y –საწარმოს დანახარჯები
x1- საწარმოს ძირითადი კაპიტალის მარაგები
x2- დასაქმება

y  200  1,2 x1  1,1x2  

სტანდარტიზებული სახით

t y  0,5t x1  0,8t x2
სტანდარტიზებულიგანტოლებიდანჩვეულებრივ
განტოლრებაზეგადასვლა
კავშრი რეგრესიის “წმინდა” და “სტანდარტიზებულ”
კეფიციენტებს შორის
y
bi   i .
x i

a  y  b1 x1  b2 x2  ...  bp x p .
რეგრესიი სტანდარტიზებული ფაქტორების
მნიშვნელობა
 ფაქტორთა შედარების დროს მნიშნელოვანი ფაქტორების
მნიშვნელოვნების შედარება
კერძო რეგრესიის განტოლება
კერძო რეგრესიის განტოლება აკავშირებს საშედეგო ფაქტორს xi
ფაქტორთან სხვა ფაქტორების საშუალო მნიშვნეობების
უცვლელობის პირობებში.

y x  x , x ,..., x
i 1 2 i 1 , xi 1 ,..., x p
 f ( xi )

კერძო რეგრესიი განტოლების ზოგადი სახე:

y x  x , x ,..., x
i 1 2 i 1 , xi 1 ,..., xp
 a  b1 x1  b2 x2  ...  bi 1 xi 1  bi xi 

 bi 1 xi 1  ...  bp x p  
ანუ
y xi  x1 , x2 ,..., xi1 , xi1 ,..., x p  Ai  bi xi
სადაც
Ai  a  b1 x1  ...  bi 1 xi 1  bi 1 xi 1  ...  bp x p

ელასტიკურობის კერძო კოეფიციენტი

xi
Э y xi  bi
y xi  x1 , x2 ,..., xi1 , xi1 ,..., x p
მაგალითად
მოცემულია, რომ იმპირტის მოცულობა – y დამოკიდებული
სამამულო წარმოების მოცულობაზე x1, ინვესტიციებზე x2
და შიდა ბაზარზე მოხმარებსი მოცულობაზე – х3.
განზაღვულია გშემდეგი რეგრესიის ანტოლებით:

y  66,028  0,135 x1  0,476 x2  0,343 x3
y  31,5 x1  245,7 x2  3,7 x3  182,5

y x1  x2 , x3  a  b1 x1  b2 x2  b3 x3  1,669  0,135 x1

y x2  x1 , x3  a  b1 x1  b2 x2  b3 x3  29,739  0,476 x2

y x3  x1 , x2  a  b1 x1  b2 x2  b3 x3  31,097  0,343 x3
ელასტიკურობისკერძოკოეფიციენტი
თუ, მაგალითად x1  160,2 ; x2  4,0; x3  190,5 , მაშინ
ელასტიკურობის კოეფიციენტების იქნებოდა:

x1 160,2
Э y x  b1  0,135  1,084
1
y x1  x2 , x3  1,669  0,135 160,2

x2 4,0
Э y x  b2  0,476  0,06
2
y x2  x1 , x3 29,739  0,476  4,0

x3 190,5
Э y x3  b3  0,343  1,908
y x3  x1 , x2  31,097  0,343 190,5
საშუალო ელასტიკურობის კოეფიციენტები

x1 245,7
Э y x1  b1  0,135  1,053
y x1 31,5

x2 3,7
Э y x2  b2  0,476  0,056
y x2 31,5

x3 182,5
Эyx  b3  0,343  1,987
3
y x3 31,5
 რეგრესიის განტოლების ხარისხის
შეფასება
Y   0  1 X 1  ...   k X k  

რამდენად კარგად შევძელით ჩვენი მოდელის Y ცვლადის შეფასება.

გავყოთ Y ცვლადის ვარიაცია ორ ნაწილად: რამდენად ახასიათებს ჩვენი მოდელი
Y–ის ვარიაციას და როგორიაY–ს ვარიაციის ნაწილი, რომელსაც ჩვენი გაანტოლება
ვერ ახასიათებს.
 Y ცვლადის საეთო ვარიაციის გაყოფა
Y ცვლადის საეთო ვარიაცია, N
წარმოადგენს სიდიდეს ცვლადის
საკუთარი საშუალოს მიართ ვარიაციისა  (Yi  Y ) 2

i 1
N   N

 (Yi  Y )   (Yi  Yi  Yi  Y )2 
i 1
2

i 1
N  2 N   N 
  (Yi  Yi )  2 (Yi  Yi )(Yi  Y )   (Yi  Y ) 2
i 1 i 1 i 1

I II III
ამ განტოლებაში II = 0, თუ განტოლებაში არის
თავისუფალი წევრი
N  2 N  N
 (Yi  Y )   (Yi  Yi )   (Yi  Y ) 2
2

i 1 i 1 i 1
TSS ESS RSS
 N N 2 N 
 (Yi  Y )   (Yi  Yi )   (Yi  Y ) 2
2

i 1 i 1 i 1
TSS ESS RSS

TSS – total sum of squares – Y ყველა დისპერსიები ან ვარიაციები, რომელიც

ახასიათებს რეგრესიის განტოლების გაფანტულობას Y საშუალო
მნიშვნელობის მიმართ

ESS – error sum of squares – რაგრესიის ნარჩენობით წევრის კვადრატების ჯამი.

ის სიდიდე რომლის მინიმიზაციასაც ვახდენთ მოდელის განსაზღვრისას.
დისპერსიის ნაწილი, რომელიც ჩვენი განტოლებით არ ხასიათდება.

RSS – regression sum of squares – საეთო ვარიაციის ახსნილი მნიშვნელობა.

– F სტატისტიკა მრავლობითი წრფივი რეგრესიის

განტოლებისათვის
RSS(n - k - 1) (n - k - 1) R 2
F 
k  ESS k (1  R 2 )
დეტერმინაციის კოეფიციენტის ნაკლოვანება
– დეტერმინაციის კოეეფიციენტი ეს არის წილი რომელიც არის
ახსნილი ჩვენი განტოლებით
2 RSS ESS 2
R 
TSS
1
TSS 0  R 1
R2 რაც უფრო ახლოს არის 1-თან, მით უკეთესად არის
დახასიათებული Y ცვლადი.
R2, ყოველი დამატებული ამხსნელი ცვლადის დამატებასთან
ერთად მატულობს.ამიტომ რეგრესორების შორის არჩევანის
გაკეთების დროს მხოლოდ R2 –ს არ უნდა ვენდოთ.

დეტერმინაციის კორექტირებული კოეეფიციენტი

ESS 2 N 1
2
2 (N k) Radj  1  (1  R )
Radj 1 N k
TSS
( N  1) 2
R 2  Radj
2
Radj  1 , მაგრამ შეიძლება< 0
სრული მულტიკოლინიალურობა
უმცირეს კვადრატთა მეთოდის საშუალებით
კოეფიციენტების განსაზღვრა ყოველთვის არ
არის შესაძლებელი, ეს მხოლოდ მაშნ არის
შესაძლებელი, როცა (X’X) მატრიცის
დეტერმინანტი ნულისაგან განსხვავებულია.
დეტერმინანტი ნულის ტოლი იქნება იმ
შემთხვევაში, თუ X მატრიცის სვეტები წრფივად
არიან დამოკიდებულნი. ეს შეიძლება მოხდეს,
როცადამოუკიდებელ ცვლადებს შორის მკაცრი
წრფივი დამოკიდებულება არსებობს.
სრული მულტიკოლინიალურობა
უმცირეს კვადრატთა მეთოდის საშუალებით კოეფიციენტების
განსაზღვრა ყოველთვის არ არის შესაძლებელი, ეს მხოლოდ მაშნ
არის შესაძლებელი, როცა (X’X) მატრიცის დეტერმინანტი
ნულისაგან განსხვავებულია.
დეტერმინანტი ნულის ტოლი იქნება იმ შემთხვევაში, თუ X
მატრიცის სვეტები წრფივად არიან დამოკიდებულნი. ეს შეიძლება
მოხდეს, როცადამოუკიდებელ ცვლადებს შორის მკაცრი წრფივი
დამოკიდებულება არსებობს.
Y  0  1 X  2 D  3W  
მაგალითად:

სადაც Y - საშუალო შეფასება გამოცდაზე. X  ოჯახის

შემოსავლები, D  დღეში მეცადინეობაზე დახარჯული საათების
რაოდენობა. W  კვირაში მეცადინეობაზე დახარჯული საათების
საშუალო რაოდენობა.

ცხადია, რომ W=7D.

თუ ფაქტორები ერთმანების მიმართ არა
კორელირებულებია, მაშინ წყილურო
კორელაციების მატრიცა იქნებოდა ერთეულოვანი
მატრიცა:
rx1x1 rx2 x1 rx3 x1 1 0 0
Det R  rx1x2 rx2 x2 rx3 x2  0 1 0  1,
rx1x3 rx2 x3 rx3 x3 0 0 1
თუ პირიქით ფაქტორებს შორის არსებობს მკაცრი
წრფივი კავშირი და წყვილური კორელაციის
მატრიცის ელემენტები ერთის ტოლია, მაშინ ასეთი
მატრიცის დეტერმინანტი ნულის ტოლია:
1 1 1
Det R  1 1 1  0.
1 1 1