Adatbányászati alkalmazások

AZ ALAKFELISMERÉS
ÉS GÉPI TANULÁS ELEMEI

BEVEZETÉS
Példa

Kézzel írt számjegyek felismerése

Polinom illesztése
Négyzet-összeg hibafüggvény
0-ad fokú polinom
1ső fokú polinom
3ad fokú polinom
9ed fokú polinom
Túlillesztés

Átlagos négyzetes hiba gyöke (RMS):

Polinom együtthatók
Adatállomány mérete:
9ed fokú polinom
Adatállomány mérete:
9ed fokú polinom
Regularizáció

Büntessük a nagy értékű együtthatókat:

Regularizáció:
Regularizáció:
Regularizáció: vs.
Polinom együtthatók
Valószínűségelmélet
Almák és Narancsok
Valószínűségelmélet

Marginális valószínűség

Együttes valószínűség Feltételes valószínűség

Valószínűségelmélet

Összeg szabály

Szorzat szabály
A valószínűségszámítás szabályai

Összeg szabály

Szorzat szabály
Bayes tétel

a poszterior  likelihood × a prior

Valószínűségi sűrűségek
Transzformált sűrűségek
Várható értékek

Feltételes várható érték

(diszkrét eset)

A várható érték közelítése

(diszkrét és folytonos)
Varianciák és kovarianciák
Normális (Gauss) eloszlás
Gauss eloszlás várható értéke és varianciája
Többdimenziós normális eloszlás
Normális eloszlás paramétereinek becslése

Likelihood függvény
(Log) Likelihood függvény maximalizálása
A és becslések tulajdonságai
Sztochasztikus görbeillesztés
Maximum Likelihood

Határozzuk meg -t az négyzetes hiba maximalizálásával.

Előrejelző eloszlások
MAP: egy lépés a Bayes szemlélet felé

Határozzuk meg -t az regularizált legkisebb négyzetek

minimalizálásával.
Bayes-féle görbeillesztés
Bayes-féle előrejelző eloszlások
Modell-választás
Keresztellenőrzés
A dimenzió probléma
A dimenzió probléma
Polinom görbe illesztése M = 3

Gauss sűrűségek
magas dimenzióban
Döntéselmélet
Következtetés
Határozzuk meg -t vagy -t.

Döntés
Adott x esetén határozzuk meg az optimális t-t.
Minimális téves osztályozási arány
Minimális várható veszteség
Példa: osztályozzunk orvosi képeket mint rákos (cancer) vagy
normális (normal)
Döntés
Igazság
Minimális várható veszteség

Az tartományt úgy választjuk,

hogy minimalizáljuk:
Elutasítás
Miért különítsük el a következtetést és döntést?

• Rizikó minimalizálás (a veszteség mátrix változhat az idővel)

• Elutasítási lehetőség
• Kiegyensúlyozatlan osztályok
• Modellek egyesítése
Döntéselmélet regressziónál
Következtetés
Határozzuk meg -t.

Döntés
Adott x esetén találjunk y(x)
optimális előrejelzést t-re.

Veszteségfüggvény:
Négyzetes veszteségfüggvény
Generatív vagy diszkriminatív
Generatív megközelítés:
Modell
Használjuk a Bayes tételt

Diszkriminatív megközelítés:
Modellezzük -t közvetlenül
Entrópia

Alapvető mennyiség az alábbi területeken:

• kódelmélet
• statisztikus fizika
• gépi tanulás
Entrópia
Kódelmélet: x diszkrét 8 lehetséges állapottal; mennyi bit
szükséges x átviteléhez?

Minden állapot egyenlően valószínű

Entrópia
Entrópia
Hányféleképpen lehet N azonos objektumot elhelyezni M
számú dobozba?

Entrópia akkor maximális ha

Entrópia
Folytonos entrópia
Helyezzünk ¢ hosszú dobozokat a valós egyenesre

A folytonos entrópia akkor maximális (adott mellett) amikor

Amely esetben
Feltételes entrópia
Kullback-Leibler divergencia
Kölcsönös információ