 Perceptronowe sieci neuronowe.

Własnością perceptronowych sieci neuronowych jest

tylko jeden kierunek przepływu sygnałów bez sprzężenia zwrotnego. Uczenie się
perceptronu definiuje następująca reguła (Baldi i Brunak 2001).

w i ← w i+ ∆ w i
gdzie:
∆ wi=η(t−0)x i
gdzie:
t=c (⃗x ) wartość funkcji celu (wzorca)
o – wartość wyjściowa neuronu
η– stała mała, zwana stałą uczenia
Wyjaśnieniem reguły uczenia perceptronu jest metoda gradientu prostego:
∂E ∂ E ∂E
∇ E [⃗
w ] ≡[ , ,… ]
∂ wo ∂ w 1 ∂ wn
Sprowadzenie do postaci gradientu następuje poprzez formułę:

w=−η ∇ E [⃗
∆⃗ w]
i.e.,
∂E
∆ wi=−η
∂ wi
∂E ∂ 1
= ∑
∂ wi ∂ wi 2 d
(t d−od )
2

2
1 ∂
¿ ∑
2 d ∂ wi
(t d−od )

1 ∂
¿ ∑
2 d
2(t d ¿−od ) (t −o )¿
∂ wi d d
∂
¿ ∑ (t d ¿−o d ) (t − ⃗
w∗⃗
x d )¿
❑ ∂ wi d
∂E
=∑ (t ¿−o d )(−x i ,d )¿
∂ wi d d

 Rekurencyjne sieci neuronowe ze sprzężeniem zwrotnym. Rekurencyjne sieci

neuronowe posiadają wagi i wejścia reprezentowane w postaci macierzowej (Zhang i
wsp. 2011):
 [ ]
(1) (1) (1)
w 1 w2 ⋯ wn
(2) (2) (2)
w k = w1 w2 … wn
⋮ ⋱ ⋮
(k) (k)
w w
1 2 ⋯ w(kn )

macierz wag musi spełnić dwa warunki:

a) symetryczność:
w ij =w ji
b) zerowa przekątna:
w ii =0
Sieć należy ustabilizować w jednym z wektorów ⃗
v 1,⃗
v 2,…,⃗
v p, gdzie:

v p=( x 1p , x 2p , … , x np)
Miernik stabilizacji można spełnić posługując się regułą Hebba (Zhang i wsp. 2011):
p
w ij =∑ x ip x pj
p=1

Własnością rozważaną w sieci rekurencyjnej jest zadanie przez macierz W określonego

odwzorowania sygnału w sygnał Y:
Y =W ∗X
Funkcje przejścia neuronów w sieci rekurencyjnej zazwyczaj są bipolarne.

Drzewa decyzyjne. Wśród typowych metod data mining jedną z najpopularniejszych są

drzewa decyzyjne. Metoda ta polega na podziale przestrzeni cech na rozłączne części
(kostki), w których zmienna zależna przyjmuje pewną wartość, innymi słowy, części te są
jednorodne ze względu na zmienną zależną. Podział odbywa się iteracyjnie: najpierw
dzielimy przestrzeń cech według jednej zmiennej, a potem uzyskane w ten sposób
zbiorowości podlegają kolejnym podziałom, aż do uzyskania jednorodnych segmentów lub
do momentu, gdy dalsze podziały nie mają sensu, np. ze względu na liczność zbiorów
podlegających podziałom. Wynikowy model przedstawiany jest w postaci drzewa. Warto
podkreślić to, że drzewo stanowi bardzo przejrzysty model. Dzięki temu jesteśmy w stanie
określać przyczyny prowadzące do zaklasyfikowania obiektu do pewnej klasy, np. dla
pewnej osoby mamy wysokie zagrożenie odejścia, ponieważ zgłosiła reklamację, która nie
została uznana, ma stary aparat itd. Kolejną, bardzo ważną z praktycznego punktu widzenia
zaletą jest radzenie sobie z obserwacjami odstającymi i zmiennymi bez znaczenia. Zalety te
powodują, że dobrze jest zacząć analizę właśnie od drzew.