Statisztikai kutatsi s mdszertani fosztly

Imputlsi eljrsok felptse

Stratgia, szervezs, szablyozs

Statisztikai kutatsi s mdszertani fosztly

Editls s imputls Nehezen sztvlaszthat

Editls: hibs adatok megjellse
Kzi javtst is ide szoktk sorolni

Imputls: ptls, hibk javtsa

Az E&I egysges kezelse

A folyamatokban nehezen sztvlaszthat Gpests s automatizls
Automatikus editlsi s imputlsi eljrsok

Feldolgozs hatkonysgnak javtsa

KSH iskola 2

Statisztikai kutatsi s mdszertani fosztly

Editls s az imputls 2
Az adatellenrzs ketts szerepe
Eltte: kijells Utna: ellenrzs
Az imputlsi eljrs teljestse az editlsi feltteleket Lehetsges indiktor: hny esetben nem adott elfogadhat eredmnyt az eljrs Krds: a fenti eset mikor fordulhat el?

Outlierek vizsglata az imputls szempontjbl

Ne lehessen donor Ne szerepeljen az imputlshoz felhasznlt eljrsokban Ne legyen ptolva a tbbibl az outlier hinyz adata Egyedi kezelst ignyelnek
KSH iskola 3

Statisztikai kutatsi s mdszertani fosztly

Berkez adatok Els E&I

E&I stratgia lpsei

nem

Lnyege s hiba? igen Interaktv E&I

Egy lehetsges megolds. Van ismers folyamatszakasz?

Automatikus E&I

Makr E&I

igen

Gyans aggregtum? nem Vgs adatok Forrs: EDIMBUS kziknyv 7. oldal

KSH iskola

Statisztikai kutatsi s mdszertani fosztly

Imputlsi stratgia
Adatminsg ellenrzse
Bemen adatoknl: hibk forrsai Eredmnyeknl: megfeleljen a felhasznlk ignyeinek

A kivitelezs gondos tervezse

Dokumentlt Megismtelhet

Hatkonysg: idben, pnzben

KSH iskola 5

Statisztikai kutatsi s mdszertani fosztly

Tervezs, modellezs, rtkels

Hibk feltrkpezse

rtkels

Dokumentls
Modellezs
KSH iskola 6

Statisztikai kutatsi s mdszertani fosztly

Imputlsi eljrs kivlasztsa

Adatok felhasznlsa
Csak aggreglt adatok Tovbbi elemzs
Lnyeges?

Rendelkezsre ll id Elrhet informatikai eszkzk

Elterjedt, illetve szabadon hozzfrhet eszkzkkel is megoldhat szmos feladat!

A ptland adatok jellege

Tapasztalati Eloszlsok jellemzi

Elrhet kls adatok

KSH iskola 7

Statisztikai kutatsi s mdszertani fosztly

Az imputls elksztse - modellezs

Klns gondossggal kell eljrni Matematikai statisztika s a szakterletet ismer tapasztalat egyszerre legyen jelen
A tapasztalat nlklzhetetlen, mert ptolhatatlan tudst tartalmaz az adatokrl s a felvtelrl A mat-stat mdszerek: elmleti igazolsi mdszer

Nem elhanyagolhat: informatikai szempontok

De ne az informatika (vlt) lehetsgei irnytsk a mdszer kivlasztst
KSH iskola 8

Statisztikai kutatsi s mdszertani fosztly

Imputlsi mdszer tesztelse szimulcival (1)

Elkszts: Mestersges adathiny ltrehozsa Hasznos eszkz Segt a megfelel eljrs kivlasztsban Nehzsgek feltrsa
Technikai: a rendelkezsre ll infrastruktrval megvalsthat-e?
Szmtgpes programok

Elmleti, mdszertani
Melyik a legmegfelelbb mdszer Elnyk s htrnyok az egyes mdszerek esetn
KSH iskola 9

Statisztikai kutatsi s mdszertani fosztly

Imputlsi mdszer tesztelse szimulcival (2)

Tervezs:
Az imputlsi mdszernek nem egy elkpzelt, hanem a valsghoz a lehet legjobban hasonlt helyzetben kell mkdnie!

Adathiny megfelel modellezse

A nemvlszols vals adatai alapjn Pl.: logisztikus regresszival:
Vlaszadsi valsznsg becslse Ez alapjn nemvlaszolk kijellse a vlaszadk kzl
KSH iskola 10

Statisztikai kutatsi s mdszertani fosztly

Imputlsi mdszer tesztelse szimulcival (3)

A szimulci rtkelsnek lehetsgei Modellek rtkelse

Az imputls ltalnos hatkonysga
Mennyire sikeres ltalban Fgg az adathiny mrtktl is

Az imputls hatkonysga a ptolt esetekben

A legkritikusabb pont

Technikai rtkels
KSH iskola 11

Statisztikai kutatsi s mdszertani fosztly

E&I dokumentlsa
Mdszertani Idszaki jelents Archivlt adatok

KSH iskola

12

Statisztikai kutatsi s mdszertani fosztly

E&I dokumentlsa - mdszertani Mit csinltunk Mirt ppen azt Adatok is! Indiktorok Clcsoport: kutatk, felhasznlk, stat. hivatali vezetk s a felvtel felelsei

KSH iskola

13

Statisztikai kutatsi s mdszertani fosztly

KSH imputlsi dokumentcis smja Imputls dokumentcis smja

Mdszertani dokumentci rsze Imputlsi mdszerek sszehasonltsra

Ezrt krdv-szer

Rszletesebb lers is szksges lehet

KSH iskola

14

Statisztikai kutatsi s mdszertani fosztly

E&I dokumentlsa idszaki jelents A vgrehajtsrl ad jelentst Rvid (az eljrsokrl a mdszertani dokumentci r) Clcsoportja a felhasznlk Legfontosabb adatai: az egyes indiktorok rtkei
KSH iskola 15

Statisztikai kutatsi s mdszertani fosztly

E&I dokumentlsa - archivls

Az egyes megvalstott eljrsok reproduklhatsgt biztostjk Adatllomnyok
Kiindul s vgs llomny segdllomnyok

Szmtgpes programok A vgrehajtshoz kapcsold lersok statisztikusoknak, kutatknak

KSH iskola 16

Statisztikai kutatsi s mdszertani fosztly

Imputlssal kapcsolatos minsgindiktorok

Minsg az imputls sorn
A minsg a felhasznli ignyeknek val megfelels

Standard EU-s indiktorok (adatminsg)

Slyozatlan imputlsi arny: hny rekordot imputltunk Slyozott imputlsi hnyad: az rtksszeghez milyen mrtkben jrul hozz az imputls

Megjegyzs a valdi adatokrl: nincsenek valdi adatok. Ha lennnek, nem imputlnnk.

KSH iskola 17

Statisztikai kutatsi s mdszertani fosztly

Az imputls rtkelse
Szinte mindig egyedi feladat Lerni, lerni, lerni! Minsgjelentsben vagy mdszertani dokumentciban
Mdszerek
Ha lehet rszletesen

Fontosabb hatsok mrtkek, szmszerstve

KSH iskola 18

Statisztikai kutatsi s mdszertani fosztly

Az imputls rtkelse 2
Nhny kzlend adat:
Imputlt rtkek arnya (vltoznknt) A vltozk eloszlsnak vltozsa
tlag, szrs, sszeg (stb.) A vlaszolk s az imputltak kztt kln-kln is

Grafikus megjelents (eloszls- s dobozbrk) Megfigyelt sszefggsek vltozsa A vltozsok rtelmezse

Hogyan javtotta az imputls a felvtel eredmnyeit?

KSH iskola

19

Statisztikai kutatsi s mdszertani fosztly

Imputls rtkels 3
Fontos!

Nincs tkletes imputls, csak bizonyos szempontbl jobb s rosszabb!

KSH iskola

20

Statisztikai kutatsi s mdszertani fosztly

Az editls s imputls szervezse

Statisztikai kutatsi s mdszertani fosztly

Imputls vzlata
Elzetes vizsglatok, tesztek, megbeszlsek s mg sok egyb

Editls Hinyz rtkek kijellse Adathibk feldertse

Imputls Ptllagos adatgyjts Adatptls utlag

rtkels s dokumentls
KSH iskola 22

Statisztikai kutatsi s mdszertani fosztly

Minden tuds
Adatgyjts

Szakstatisztika

E&I

informatika Mdszertan

KSH iskola

23

Statisztikai kutatsi s mdszertani fosztly

Adatgyjtsi ismeretek
Adatszolgltatkkal val kapcsolat Adatgyjts krlmnyeinek ismerete
Szisztematikus hibk feldertse Gyakori hibk Nehz krdsek

(Az adatgyjts nehzsgeinek elemzse hasznos a teljes felvtel szempontjbl)

KSH iskola 24

Statisztikai kutatsi s mdszertani fosztly

Szakstatisztikai ismeretek (1)

A nemvlaszols elemzse
fajti okainak feltrsa,

A rendelkezsre ll adatllomnyok ttekintse

Korbbi idszakok llomnyai Segdinformcik forrsai
KSH egyb felvteleinek kapcsold mutati APEH, MNB adatok, stb.

Milyen homogn csoportok vannak (amin bell mr MAR)

KSH iskola 25

Statisztikai kutatsi s mdszertani fosztly

Szakstatisztikai ismeretek (2)

Az adatellenrzsi rendszer ttekintse Mik a legfontosabb, legproblmsabb
vltozk rtegek

A felvtel rszletes ismerete

A problmaszituci tfog lersa A imputls szempontjbl fontos jellemzk Egyb krlmnyek
hatridk, minsgi elvrsok, egyes mutatk sajtossgai, stb.
KSH iskola 26

Statisztikai kutatsi s mdszertani fosztly

Mdszertani ismeretek
Lehetsges imputlsi mdszerek

Ms orszgok gyakorlata
A szakstatisztika ignyeihez val igazods
Pl. egyes mutatk, illetve teljeskrstsi rtegek
fontossga

KSH iskola

27

Statisztikai kutatsi s mdszertani fosztly

Informatikai ismeretek
A javasolt imputlsi mdszer gyakorlati megvalstsa Prbafuttatsok, tesztelsek Szimulcik mestersges adathinnyal Mdostsi, finomtsi javaslatok

KSH iskola

28

Statisztikai kutatsi s mdszertani fosztly

Korltok (erforrs, informci)

Munkaid-rfordts korltai Szmtgp-kapacits korltai
trhely gpid

Rendelkezsre ll informcik limitlt kre Mdszertani repertor korltai

KSH iskola 29

Statisztikai kutatsi s mdszertani fosztly

A konzultcik szerepe
Iteratv folyamat tletrohamok Javaslat j megkzeltsmdra
j adatforrs bevonsa a mdszerbe Finomtott, szofisztiklt eljrsok alkalmazsa

A prbafuttatsok elemzse
A tapasztalt anomlik kikszblse A szimulcik kirtkelse

Idkzben felmerl problmk kezelse

outlierek
KSH iskola 30

Statisztikai kutatsi s mdszertani fosztly

Fontos alapelvek
Az vrl vre vltoz felttelek mellett is jl alkalmazhat, stabil mdszertanra val trekvs A ksbbi finomtsok knnyen bepthetk legyenek tlthat, jl dokumentlt eljrsok, algoritmusok
Legtbbszr nem tiszta, hanem kevert eljrsok szletnek, alkalmazkodva a konkrt imputlsi problma sajtossgaihoz.
KSH iskola 31

Statisztikai kutatsi s mdszertani fosztly

sszefoglals
Imputlni kell Elkszts
Nemvlaszols Mdszer kivlasztsa
Felhasznls orientlt legyen!

Modellezs

Dokumentci rtkels
KSH iskola 32

Statisztikai kutatsi s mdszertani fosztly

Ksznjk az eddigi figyelmet!

(Kv, tea imputlsa)