PAK vol.

56, nr 1/2010

Marcin KOODZIEJ, Andrzej MAJKOWSKI, Remigiusz Jan RAK

Politechnika Warszawska, Instytut Elektrotechniki Teoretycznej i Systemw Informacyjno-Pomiarowych, ul. Koszykowa 75, 00-661 Warszawa

Wykorzystanie maszyny wektorw wspierajcych (SVM) do klasyfikacji sygnau EEG na uytek interfejsu mzg-komputer
Mgr in. Marcin KOODZIEJ Asystent w Instytucie Elektrotechniki Teoretycznej i Systemw Informacyjno-Pomiarowych na Wydziale Elektrycznym Politechniki Warszawskiej. Ukoczony kierunek elektrotechnika o specjalnoci Automatyka i Inynieria Komputerowa na Wydziale Elektrycznym Politechniki Warszawskiej. Przewd doktorski: Przetwarzanie analiza i klasyfikacja sygnau EEG na potrzeby interfejsu mzg-komputer. Zainteresowania naukowe: cyfrowe przetwarzanie sygnaw, datamining, systemy ekspertowe. e-mail: kolodzim@iem.pw.edu.pl Dr in. Andrzej MAJKOWSKI Absolwent Wydziau Elektrycznego Politechniki Warszawskiej. Od 1995 roku pracownik Instytutu Elektrotechniki Teoretycznej i Systemw Informacyjno-Pomiarowych Wydziau Elektrycznego. Stopie doktora nauk technicznych uzyska w roku 2000. Zainteresowania naukowe: cyfrowe przetwarzanie sygnaw, projektowanie i oprogramowanie systemw pomiarowych. e-mail: amajk@iem.pw.edu.pl

1. Interfejs mzg-komputer
Ju w latach siedemdziesitych (J. Vidal, 1973) sugerowano moliwo komunikacji z maszyn tylko za pomoc aktywnoci mzgu. Jednak dopiero w ostatniej dekadzie ubiegego wieku w kilku orodkach naukowych na wiecie podjto prby wykorz ystania elektroencefalografii (EEG) do komunikacji bezporedniej midzy mzgiem a komputerem. Tak wic, interfejsy mzgkomputer (BCI) charakteryzuje wykorzystanie sygnaw, pochodzcych z mzgu. Natomiast elektryczn aktywno samych mini traktuje si w tym przypadku jako niepodan. S to tak zwane artefakty fizjologiczne. Duy problem stanowi fakt, e amplituda tych artefaktw jest o wiele wiksza (miliwolty) ni samego sygnau EEG (mikrowolty). Wyrni moemy interfejsy mzg-komputer dziaajce w sposb synchroniczny i asynchroniczny. Interfejsy synchroniczne to takie, w ktrych jest znane pooenie fragmentu sygnau EEG nioscego uyteczne informacje. Na przykad, uytkownik zaczyna zadanie mylowe, po wystpieniu pewnego bodca. Fragment sygnau zwizany z tym zdarzeniem jest przetwarzany. Interfejsy asynchroniczne to takie, w ktrych nie jest znane pooenie fragmentu sygnau EEG nioscego uyteczne informacje. Dlatego musimy poddawa analizie cao zapisu sygnau. Dlatego inte rfejsy asynchroniczne s trudniejsze w realizacji. Jak wspomniano w interfejsach mzg-komputer wykorzystuje si najczciej sygna EEG. Na pocztku sygna przechodzi etap przetwarzania wstpnego. Kolejnym etapem jest ekstrakcja cech, ktra prowadzi do ilociowego opisu pewnych waciwoci sygn au EEG. Ostatnim etapem jest klasyfikacja cech. Wanym elementem systemw BCI jest neurofeedback, ktry umoliwia douczenie systemu i jego dopasowanie do konkretnego uytkownika (rys.1).

Prof. dr hab. in. Remigiusz J. RAK Absolwent Wydziau Elektroniki Politechniki Warszawskiej (specjalno Radiotechnika). Od 1974 roku pracownik Instytutu Elektrotechniki Teoretycznej i Systemw Informacyjno-Pomiarowych Wydziau Elektrycznego. Uzyska stopie doktora nauk technicznych (1982), doktora habilitowanego (1998), tytu naukowy profesora (2004), stanowisko profesora zwyczajnego (2009). Autor i wspautor 125 publikacji. Zainteresowania naukowe: cyfrowe przetwarzanie sygnaw, wirtualne przyrzdy pomiarowe, projektowanie systemw pomiarowych, rozproszone systemy pomiarowe, wirtualne laboratorium. e-mail: rakrem@iem.pw.edu.pl

Abstract The main aim of the article is to implement Support Vector Machine as a classifier for brain-computer interface. The proposed algorithm use variance of EEG signal as features. Experiments were conducted with the use of different kernel functions for SVM classifier. Keywords: BCI, brain-computer interface, EEG, Support Vector Machine.

Implementation of Support Vector Machine for classification of EEG signal for BrainComputer Interface
Streszczenie W artykule przedstawiono wykorzystanie maszyny wektorw wspierajcych (SVM) na uytek interfejsw mzg-komputer (BCI). W opracowanych algorytmach jako cechy sygnau EEG wykorzystano jego wariancj. Przedstawiono wyniki bada zwizanych z wykorzystaniem sieci SVM jako klasyfikatora. Eksperymenty przeprowadzono przy uyciu rnego rodzaju funkcji jdra. Sowa kluczowe: BCI, interfejs mzg-komputer, EEG, maszyna wektorw wspierajcych (SVM)
Rys. 1. Schemat interfejsu mzg-komputer

2. Opis eksperymentu
Podczas eksperymentu wykorzystano sygna EEG zarejestrowany za pomoc 32 elektrod [3]. Zadaniem uytkownika byo wyobraanie sobie trzech rnych zdarze (trzy klasy zdarze: ruch praw rk, lew rk oraz wypowiadanie sowa na podan liter). Celem eksperymentu bya prba jak najdokadniejszej klasyfikacji sygnau EEG dla okna trwajcego jedn sekund [4]. Z kadego okna generowany by zestaw cech sygnau EEG. Jako cechy wykorzystano, estymowan za pomoc wariancji, energi sygnau

PAK vol. 54, nr 06/2008

w pamie 8-30 Hz. Dla kadego okna otrzymano w ten sposb 32 cechy. Ostatnim etapem bya klasyfikacja sygnau EEG i zbadanie poziomu bdu otrzymanego podczas klasyfikacji. Schemat przebiegu eksperymentu zaprezentowano na rys. 2.

Rys. 3. Prosta separujca wraz z marginesami separacji, wektory najbliej prostej separujcej podtrzymuj margines

Rys. 2. Schemat przebiegu eksperymentu klasyfikacji sygnau EEG

Celem eksperymentu byo zbadanie czy metoda maszyny wektorw wspierajcych da dobre wyniki klasyfikacji w zastosowaniu do sygnau EEG na uytek interfejsu mzg-komputer. W poprzednich pracach [3,4,5] autorzy wykorzystywali do klasyfikacji liniow analiz dyskryminacyjn (LDA) oraz klasyfikator najbliszego ssiedztwa (KNN). Dane testowano za pomoc 10-krotnego testu krzyowego [5]. Podczas opisywanego eksperymentu, z uyciem sieci SVM jako klasyfikatora, autorzy uczyli i testowali klasyfikator na dwu rnych zbiorach. Takie podejcie bardziej odzwierciedla rzeczywisty sposb pracy interfejsw BCI, ktre najpierw pracuj w trybie kalibracji, a nastpnie w trybie waciwego dziaania.

3. Klasyfikacja za pomoc SVM

Istot metody SVM jest separacja zbioru prbek rnych klas za pomoc pewnej specjalnie dobranej hiperpaszczyzny. Metoda SVM umoliwia separacj danych o dowolnym rozkadzie. Problem separacji nieliniowego zbioru danych rozwizywany jest poprzez linearyzacj, ktra jednak powoduje zwikszenie wymiarowoci przestrzeni cech. Istnieje wiele moliwoci wyznaczenia hiperpaszczyzny separujcej dane, ale jako tej separacji nie jest zawsze jednakowa. Zaoeniem metody SVM jest poszukiwanie takiej hiperpaszczyzny, ktra zapewni najlepsz separowalno cech. Najlepszy podzia danych w metodzie SVM to taki, ktry zapewni najwikszy margines separacji (czyli najszerszy pas) wewntrz ktrego nie znajduj si adne prbki (rys. 3). O szerokoci tego pasa decyduj prbki skrajne, na ktrych podtrzymywany jest margines separacji. Prbki te nazwane s prbkami podtrzymujcymi (wektorami wspierajcymi), std pochodzi nazwa metody SVM. Niech (xi,di) dla i=1,2,p oznacza podzbir par uczcych z pewnego zbioru, ktry podlega klasyfikacji - xi oznacza dane wejciowe, a di przynaleno do okrelonej klasy (warto -1 lub 1). Przy zaoeniu liniowej separowalnoci obu klas rwnanie hiperpaszczyzny separujcej moe by opisane jako:

Jak ju wspomniano za optymaln uwaa si tak hiperpaszczyzn, ktra maksymalizuje margines separacji pomidzy dwoma klasami. Wektory podtrzymujce decyduj o pooeniu margin esw oraz o doborze hiperpaszczyzny separujcej. Warto zauway, e to wanie te punkty s najtrudniejsze do waciwego zaklasyfikowania. Po to, aby w peni wykorzysta potencja metody SVM czsto stosuje si powikszenie wymiarowoci przestrzeni cech za pomoc nieliniowego przeksztacenia na wektorach u i v. Takie powikszenie wymiarowoci zwiksza szans na uzyskanie rozkadw prbek, ktre umoliwiaj atwiejsz separacj liniow. Funkcje K(u,v)= T(u)(v) nazywa si funkcjami jdra (ang. kernel function). To wanie wprowadzeniu funkcji jdra metoda SVM zawdzicza swoj skuteczno. Powszechne zastosowanie znalazy funkcje jdra bdce funkcjami liniowymi, funkcjami wielomianowymi, funkcjami radialnymi lub sigmoidalnymi (tab. 1). Zastosowanie funkcji jdra zwiksza szans na separowalno danych oraz zwiksza skuteczno klasyfikacji.
Tabela 1. Typy funkcji jdra stosowane w SVM Table 1. SVM kernel functions

Typ funkcji jdra Liniowa Wielomian Radialna

Rwnanie

Uwagi dowolna warto p- stopie wielomianu wsplne dla wszystkich funkcji jdra

K(u,v)=uTv+ K(u,v)=(uTv+)p K(u,v)=exp(- ||u-v||2)

gdzie w=[w1, w2,..,wN]T oraz x=[x1,x2, , xN]T. Wektor w opisujcy hiperpaszczyzn jest N-wymiarowy. Rwnania decyzyjne okrelajce przynaleno do okrelonej klasy przyjmuj posta:

Przedstawione do tej pory rozwaania dotyczyy problemu separowalnoci dwch klas. Przy klasyfikacji sygnau EEG, najczciej mamy do czynienie z wieloma klasami zdarze. Dlatego wprowadza si modyfikacje do algorytmu SVM, ktre umoliwiaj klasyfikacj wikszej liczby klas. Najpopularniejsze z nich to strategie klasyfikacji: jedna klasa przeciw wszystkim, jedna klasa przeciw jednej oraz jedna przeciw pozostaym [8]. Autorzy zastosowali strategi jedna przeciw pozostaym. W rozpatrywanym w artykule zadaniu trzyklasowym w pierwszej kolejnoci testowana jest pierwsza klasa (1) przeciwko pozostaym (2+3). Jeli wygra klasa (1) to prbka przydzielana jest do tej klasy. Jeli nie wygrywa klasa (1), a klasa (2+3) to nastpnie testowane s kolejne klasy z podzbioru (2+3) czyli klasa (2) przeciwko (3). W ten sposb moliwy jest wybr waciwej klasy.

PAK vol. 54, nr 06/2008

4. Wyniki bada
Jak wspomniano, w badaniach wykorzystano energi sygnau EEG w pamie 8-30 Hz w charakterze cech. Dane zostay podzielone na: uczce (80%) i testujce (20%). Dodatkowo autorzy przebadali wpyw rnych funkcji jdra na jako klasyfikacji dla danych uczcych i testujcych. W tabelach od 2 do 9 zaprezentowano wyniki nauki i testowania klasyfikatorw dla rnego rodzaju funkcji jdra. Z macierzy pomyek mona odczyta, w ilu prz ypadkach model poprawnie sklasyfikowa dane testowe a w ilu si pomyli, tzn. np. wybra klas K2 w miejsce K3 lub odwrotnie.
Tabela 2. Macierze pomyek dla danych uczcych SVM liniowa funkcja jdra. Cakowity bd dla danych uczcych 0.2549 Table 2. Confusion matrix - training data, linear kernel function. Total error 0.2549.

Tabela 8. Macierze pomyek dla danych uczcych SVM - radialna funkcja jdra. Cakowity bd dla danych uczcych 0 Table 8. Confusion matrix - training data, radial kernel function. Total error 0.

RBF Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 202 0 0 0 264 0 0 0 317

Tabela 9. Macierze pomyek dla danych uczcych SVM - radialna funkcja jdra. Cakowity bd dla danych testujcych 0.2010 Table 9. Confusion matrix - testing data, radial kernel function. Total error 0.2010.

Liniowe jdro SVM Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 132 22 22 53 210 67 17 14 228

RBF Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 29 4 3 15 59 10 7 0 67

Tabela 3. Macierze pomyek dla danych testujcych SVM, liniowa funkcja jdra. Cakowity bd dla danych testujcych 0.2732 Table 3. Confusion matrix - testing data, linear kernel function. Total error 0.2732.

Tabela 2 zawiera macierz pomyek (confusion-matrix) dla liniowej funkcji jdra w trybie nauki klasyfikatora. Tabela 3 zawiera macierz pomyek dla liniowej funkcji jdra w trybie testowania klasyfikatora. Tabele od 4 do 9 zawieraj bdy nauki i testowania klasyfikatora dla rnego rodzaju funkcji jdra.

Liniowe jdro SVM Klasy przewidziane K2 K3 K7

5. Wnioski
Jak wskazuj otrzymane wyniki, w przypadku zastosowania energii (wariancji) jako cech sygnau EEG, najlepiej sprawuje si klasyfikator SVM z funkcj jdra w postaci wielomianu drugiego stopnia. Klasyfikator SVM dla innych przebadanych funkcji jdra, radialnej czy wielomianu trzeciego stopnia, rwnie dobrze separuje dane testujce, ale zbytnio dopasowuje si do zbioru uczcego i nie ma dobrych waciwoci generalizacyjnych. Dla wielomianu drugiego stopnia jako funkcji jdra bd klasyfikacji dla danych testujcych wynosi 0,134. Warto zauway, e wyniki odzwierciedlaj proces nauki i testowania klasyfikatora, ktry przebiega w sposb analogiczny jak podczas dziaania rzeczywistych systemw BCI. Z poprzednich bada autorw [3,4,5] wynika, e dla analogicznych danych bd klasyfikacji dla klasyfikatora LDA wynosi 0,338, a dla klasyfikatora KNN - 0,237. Z porwnania wynikw mona wysnu wniosek, e metod SVM mona uzna za dobry klasyfikator. Naley jednak podkreli, e dla klasyfikatorw LDA i KNN w procesie nauki i testowania zastosowano 10-cio krotny test krzyowy, a wic inny podzia na dane uczce i testujce, co mogo wpyn na wyniki klasyfikacji.

Oryginalne klasy K2 K3 K7 31 6 9 11 54 15 9 3 56

Tabela 4. Macierze pomyek dla danych uczcych SVM - wielomian stopnia drugiego jako funkcja jdra. Cakowity bd dla danych uczcych 0.0013 Table 4. Confusion matrix - training data, quadratic polynominal kernel function. Total error 0.0013.

Wielomian 2 stopnia Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 201 0 0 1 246 0 0 0 317

Tabela 5. Macierze pomyek dla danych testujcych SVM - wielomian stopnia drugiego jako funkcja jdra. Cakowity bd dla danych testujcych 0.1340 Table 5. Confusion matrix - testing data, quadratic polynominal kernel function. Total error 0.1340.

Wielomian 2 stopnia Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 44 3 8 5 56 4 2 4 68

5. Literatura
[1] Wolpaw J. R., Birbaumer N., D. J. McFarland, Pfurtscheller G., Vaughan T. M., Braincomputer interfaces for communication and control, Clin. Neurophysiol., 113: 767791, 2002. [2] Wolpaw J. R., McFarland D. J., Vaughan T. M., Brain-Computer Interface Research at the Wadsworth Center, IEEE Trans. Rehab. Eng., 8(2): 222226, 2000. [3] Koodziej M., Majkowski A., Rak R., Optymalizacja doboru okien czasowych do przetwarzania sygnau EEG w interfejsach mzgkomputer, IX Szkoa-Konferencja "Metrologia Wspomagana Komputerowo" MWK'2011, Waplewo, 2011. [4] Koodziej M., Majkowski A., Rak R., Wizualizacja rozkadu potencjau EEG na gowie pacjenta w zastosowaniu do asynchronicznego i nterfejsu mzg MPM, X Jubileuszowe Sympozjum "Modelowanie i Pomiary w Medycynie", Krynica, 2011. [5] Koodziej M., Majkowski A., Rak R., Wykorzystanie t-statystyk do szybkiej selekcji cech sygnau EEG na uytek interfejsu mzgkomputer IX Szkoa-Konferencja "Metrologia Wspomagana Komputerowo" MWK'2011, Waplewo, maj 2011. [6] Koronacki J., wik J., Statystyczne systemy uczace sie, wydanie drugie, Exit, Warsawa, 2008 [7] Krzyko M., Woyski W., Grecki T., Skorzybut M., Systemy uczce si Rozpoznawanie wzorcw analiza skupie i redukcja wymiarowoci 2008 [8] Osowski S., Sieci neuronowe do przetwarzania informacji, 2000.

Tabela 6. Macierze pomyek dla danych uczcych SVM, - wielomian stopnia trzeciego jako funkcja jdra. Cakowity bd dla danych uczcych 0 Table 6. Confusion matrix - training data, third degree polynominal kernel function. Total error 0.

Wielomian 3 stopnia Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 202 0 0 0 264 0 0 0 317

Tabela 7. Macierze pomyek dla danych uczcych SVM, SVM, - wielomian stopnia trzeciego jako funkcja jdra. Cakowity bd dla danych testujcych = 0.1753 Table 7. Confusion matrix - testing data, third degree polynominal kernel function. Total error 0.1753.

Wielomian 3 stopnia Klasy przewidziane K2 K3 K7

Oryginalne klasy K2 K3 K7 39 5 8 7 55 6 5 3 66