Bayesi előrejelzések

Frekventista és bayesi valószínűség

• Frekventista:
• Ha sokszor megismételnénk egy kísérletet, hányszor ismétlődne meg egy
adott kimenet

• Bayesi
• Nem feltétlenül ismétlődnek az események
• Mekkora esélyt tulajdonítunk az adott kimenetnek (szubjektív)
 Példa: lineáris regresszió

•• A  modell:

• Klasszikus/frekventista becslés:
• A likelihood:
• Adott mintán maximalizálva visszakapjuk a jól ismert OLS becslést:
• A becslés csak az adatban rejlő információt használja fel

• Bayesi becslés: az adat mellett a kutató előzetes, -vel

kapcsolatos információit/vélekedéseit is felhasználjuk
 A bayesi becslés lépései

•
1.   Előzetes (prior) vélekedést alakítunk ki a paraméterrel
kapcsolatban
• A priort eloszlás formájában adjuk meg:

2. Adatokat gyűjtünk, felírjuk az likelihoodot, mint a klasszikus

esetben

3. Frissítjük prior vélekedésünket az adatok fényében

• és kombinálása adja a poszterior eloszlást
 A prior és az adatok kombinálása
a Bayes tétel segítségével
•• Bayes
  tétel:

• Az együttes eloszlás definíciójából egyszerűen adódik:

• Az -t nem használjuk a becslés során, ezért

A poszterior arányos a likelihood és a prior szorzatával.

 A lineáris regresszió bayesi becslése

Először
• tegyük fel, hogy ismert!
 
1. A prior eloszlás legyen normális:

2. Adatokat szerzünk, a likelihood ismert mellett

 (folyt.)

3.
•   A Bayes tétel alkalmazásával a feltételes poszterior eloszlást:
 (folyt.)

•• Ez egy normális eloszlás.

 
• Mégpedig

• A prior konjugált = eloszlása megegyezik a poszterior eloszlással.

A poszterior a prior és az OLS becslés átlaga

•  

• A súlyok a prior és az OLS varianciáinak reciprokai

• Ha nem lenne priorunk (= varianciája végtelen lenne), akkor éppen az
OLS-t kapnánk vissza
   becslése
Következő lépés:

•   azt tegyük fel, hogy ismert!

Most
1. Prior eloszlást keresünk -re
• Ez nem lehet normális, mert az megenged negatív számokat
• A variancia konjugált priorja az inverz gamma eloszlás
• Azaz konjugáltja a gamma eloszlás
 A gamma eloszlás

•• Legyen
  T független, azonos normális eloszlású számból álló
mintánk:

• A négyzetösszege gamma eloszlású:

• A sűrűségfüggvény:

• Az első két momentum:

 A variancia becslése

•1.   A prior tehát gamma eloszlású:

2. A likelihood T megfigyelésre:
 (folyt.)

3.
•   A poszterior eloszlás:
==
 Mit kaptunk?

•• A
  variancia reciprokának poszteriorja is gamma eloszlású:

• A poszterior eloszlás várható értéke

• Ha nem lenne priorunk, akkor az ML becslést kapnánk vissza

• És persze poszteriorja
A lineáris modell bayesi becslése, ismeretlen
 
és mellett
1.
•   Együttes prior -re és -re

Az együttes sűrűségfüggvény:
 Az inverz gamma eloszlás különböző
szabadságfokok és skálázó paraméterek mellett
 (folyt.)

2.
•   A likelihood

3. Az együttes poszterior levezethető:

Ahol , mint korábban

 Probléma
• A becsléshez szükségünk van és eloszlásokra is, az előbbi többváltozós T
•  eloszlást követ:

• Tehát a marginális poszterior eloszlások számításához integrálnunk kell. Ez

gyakran bonyolult, vagy akár lehetetlen analitikusan.
• Sokáig ez volt a bayesi becslések fő akadálya
• Ám a feltétele eloszlások sokkal könnyebben megkaphatók
• A Gibbs-mintavétel (Gibbs sampling) egy praktikus numerikus módszer a
marginális eloszlás közelítésére
 A Gibbs-mintavétel
•• Tegyük
  fel, hogy létezik k változó együttes eloszlása,
• A marginális eloszlásokra vagyunk kíváncsiak:
• Az eljárás lépései:
1. Kezdőértékek beállítása:
2. Vegyünk mintát -re az eloszlásból
3. Vegyünk mintát -re az eloszlásból
… k-ig haladva befejeztünk egy iterációt
• J iterációt ismételjünk meg, mentsük el mintát
• Ha , akkor exponenciálisan konvergál együttes és marginális
eloszlásához. Tehát ezek (és momentumaik) a mintavétellel kapott
empirikus eloszlással közelíthetők.
 Becslés a Gibbs-mintavétellel

• Az
  marginális eloszlásának átlaga pl.
• Mire kell ügyelni?
• A konvergencia lassú lehet, ezért a minta elejét el
kell dobni
• Az egymás után vett minták autokorreláltak lehetnek,
ezért lehet, hogy csak minden n-edik mintavételt
tartjuk meg
 Példa: lineáris regressziós modell becslése
Gibbs-mintavétellel
•  

1. Prior választás:

A kezdeti érték legyen pl.

Jelölje -t
 (folyt.)

•  Adott mellett vegyünk mintát -re a feltételes poszterior

2.
eloszlásából

Ahhoz, hogy egy (K x 1-es) z vektort húzzunk ebből az

eloszlásból, generáljunk egy K x 1 z0 vektort az eloszlásból, majd
 (folyt.)

•  Most már van mintavételünk a paraméterre. Ezután ezt

3.
adottnak véve húzzunk a variancia feltételes eloszlásából:

Ahhoz, hogy eloszlásból vegyünk mintát, először generáljunk T x

1 hosszúságú z0 véletlen vektort a standard normális eloszlásból,
majd

A 2-3. lépéseket M alkalommal megismételjük, a poszterior

átlagokat az utolsó N mintából számoljuk.
 Bayesi VAR modellek

Tekintsük
•   az alábbi modellt:

• A változó mátrix, Yt N változót tartalmaz, összesen p késleltetésünk van.

A becsülendő paraméterek száma N x (N x P + 1). Ez nagyon hamar túl
sokká válik, ami jelentősen rontja a paraméterbecslés pontosságát.
• Az előrejelzések, impulzusválaszok, stb. a paraméterek nemlineáris
függvényei. Ezek is pontatlanok lesznek
• Bayesi becsléssel, priorok használatával leküzdhető a magas
dimenzionalitás problémája.
 (folyt.)

•Írjuk
  át a VAR-t az alábbi alakba:

Ez tovább írható így:

Kalappal jelöljük majd a paraméterek OLS becslését

 BVAR konjugált priorja

• A
  konjugált prior a paraméterekre
• A konjugált prior a kovarianciamátrixra
• Inverz Wishart eloszlás: az inverz gamma
többváltozós változata
• Ha n x n-es pozitív definit mátrix, akkor IW eloszlású
az alábbi sűrűségfüggvénnyel:
 BVAR poszterior számítása

• A
  feltételes poszterior

• A feltételes kovarianciamátrix
 Gibbs-mintavétel BVAR-ban

•  Prior meghatározás a VAR együtthatóira (normális) és

1.
kovariancia mátrixára (IW). Kezdőértékek beállítása ezekre
2. VAR paraméterek mintavétele a feltételes poszterior
eloszlásból (lásd előző dia)
3. Kovarianciamátrix mintavétele a feltételes poszterior
eloszlásából, az előző lépésben húzott paraméterek mellett
• IW eloszlású mátrix mintavételéhez (v szabadságfokkal és S
skálaparaméterrel) először húzzunk (v x n) Z mátrixot a N(0,S-1)
eloszlásból. Az IW eloszlású húzást az alábbi transzformációval
kapjuk:
 Példa BVAR priorra:
a Minnesota (Litterman) prior
•• A  prior feltevés, hogy a VAR változói véletlen bolyongást követnek
• Pl.
• A bij együttható kovarianciájára tett feltevés:

• A hiperparaméterek:
• szabályozza a prior szorosságát a változó saját késleltetésein, ha 0-hoz tart,
akkor a modell RW
• szabályozza a többi változó paramétereinek szórását
• szabályozza, hogy a magasabb késleltetéseket mennyire szorítjuk 0 felé
• A változók szórásainak arányát egyváltozós AR modellekból becsülhetjük
• Külön paraméter szabályozza a konstanst
 Megjegyzések

• Többféle BVAR prior sémát dolgoztak ki az irodalomban, ezekkel

most nem foglalkozunk
• A cél általában az, hogy néhány hiperparaméterrel kontrolláljuk a
nagy számú VAR paraméter egymáshoz való viszonyát
• De előfordulhat, hogy „valódi” prior információval rendelkezünk
valamelyik paraméterről
• Ezek némelyike lehetővé teszi a poszterior analitikus számítását,
de a Gibbs mintavétel mindig működik
 Példa: BVAR orosz inflációra
• Az eddigi összes orosz inflációs
modellünk közös problémája volt,
hogy figyelmen kívül hagyta a
monetáris politika szerepét
• 2014 őszén rezsimváltás, inflációs
célkövetésre térnek át a kvázi rögzített
árfolyamrendszerről
• Következmény: strukturális törés az
árfolyam és a kamatok
viselkedésében
• Rövid a minta az új rezsimben, bayesi
becslés segíthet. Milyen priort
válasszunk?
 A modell és a priorok
• Modellépítés: figyelembe kell vennünk a monetáris politika endogenitását és az orosz
gazdaság (árfolyam, GDP) olajtól való függését
• 5 változós VAR: olajár (log), rövid kamat, árfolyam (log), kiskereskedelmi forgalom volumene
(log), CPI (log)
• A modellt szintben becsüljük
• Priorok:
• Vegyük a brazil példát! Brazília az oroszhoz hasonló, nagy nyersanyagexportőr ország, a real
árfolyama érzékeny a nyersanyagárakra. Ők 1999 óta inflációs célkövetést alkalmaznak, viszonylag
eredményesen.
• Becsüljünk brazil adatokon egy hasonló VAR-t, és használjuk fel egyes paramétereit! (kamat, árfolyam
egyenleteiben)
• Vegyük figyelembe, hogy az olajár exogén, és tegyük fel, hogy RW-t követ!
• A paraméterek priorjai a 2014:11 előtt becsült orosz VAR paraméterei, megfelelő helyeken
kicserélve a brazil paraméterekre, illetve 0/1-ekre
• A kovarianciamátrixot most ismertnek tételeztem, „klasszikus” VAR becsléséből adódik (erre
érthető módon érzékenyek az eredmények)
A kamat egyenletének prior és poszterior paraméterei

• A régi orosz adatokon a kamat a

nyersanyagárakat követi le, az
árakra negatívan reagál
• Árfolyam simítással konzisztens
• A brazil adatokon (=prior) a kamat
az árszintre reagál, és erős a
kamatsimítás
• Az orosz IT első tapasztalatai
alapján erős az árakra való
reakció, a kamatsimítás gyengébb,
a reálgazdasági reakció furcsamód
erős
 Impulzusválaszok
Response of LOG(RETAIL) to Cholesky Response of LOG(USDRUB) to Cholesky
One S.D. Innovations One S.D. Innovations
.012 .04
.008 .03
.004 .02
.000 .01
-.004 .00
-.008 -.01
-.012 -.02
5 10 15 20 5 10 15 20

Response of LOG(CPI) to Cholesky Response of I to Cholesky

One S.D. Innovations One S.D. Innovations
.008 .015
LOG(USDRUB)
.006 .010 LOG(RETAIL)
LOG(CPI)
.004 I
.005
.002
.000
.000

-.002 -.005
5 10 15 20 5 10 15 20
 A BVAR előrejelzései
CPI (év/év) Kiskereskedelmi forgalom volumene (szint) Brent (USD/hordó)
16% 230 140
14%
220 120
12%
100
10% 210
8% 80
200
6% 60
4% 190 40
2% 180 20
12 13 14 15 16 17 12 13 14 15 16 17 12 13 14 15 16 17

3M bankközi kamat USDRUB

24% 80

70
20%
60
16%
50
12%
40
8% 30

4% 20
12 13 14 15 16 17 12 13 14 15 16 17
 Tanulságok

• Prior információ segítségével sikerült egy első képet alkotni az

orosz monetáris politika működéséről
• A prior más ország monetáris politikájának múltbeli viselkedésén
alapult
• Az impulzusválaszok iránya megfelelnek a várakozásoknak még
egyszerű Cholesky identifikáció mellett is
• A VAR előrejelzése képes reprodukálni a szakértői
várakozásokat
 Összegzés

• Bayesi ökonometria ill. előrejelzések

• Kezdeti vélekedést folyamatosan frissítünk a beérkező információk alapján
• A módszer lépései:
• Prior (eloszlás) kialakítás a modell paraméterekre
• Megfigyelt adatok alapján likelihood a paraméterekre
• A prior és a likelihood kombinálása adja a poszterior paraméter eloszlást
• Néha analitikusan is működik, ha nem, akkor különböző poszterior
szimulációs algoritmusok, pl. Gibbs-mintavétel
• Prior választás: ügyeljünk arra, hogy ne építsünk bele a likelihood
számításához használt információt!