Marcin KOODZIEJ*, Andrzej MAJKOWSKI*

WYBRANE PROBLEMY PRZETWARZANIA, ANALIZY I KLASYFIKACJI SYGNAU EEG NA UYTEK INTERFEJSU MZG-KOMPUTER

1. Wstp
W ostatnich latach wzrasta zainteresowanie interfejsami mzg-komputer (braincomputer interface BCI). Interfejsy takie umoliwiaj bezporedni komunikacj pomidzy mzgiem a komputerem. Wybrany stan aktywnoci mzgu zostaje przetworzony na informacj zrozumia przez komputer. Interfejsy mzg-komputer znajduj zastosowanie przede wszystkim tam, gdzie osoba, np. sparaliowana, nie ma moliwoci porozumiewania si z otoczeniem. Mona rwnie zaobserwowa prby zastosowania interfejsu mzg-komputer w szeroko rozumianej rozrywce oraz w systemach wojskowych.

2. Interfejs mzg-komputer
2.1. Definicja interfejsu mzg-maszyna Ju w 1973 roku J. Vidal zasugerowa moliwo komunikacji czowieka z komputerem tylko za pomoc sygnaw zwizanych z aktywnoci mzgu [5]. Jednak dopiero w ostatniej dekadzie ubiegego wieku w kilku orodkach naukowych na wie-cie __________
* Instytut Elektrotechniki Teoretycznej i Systemw Informacyjno-Pomiarowych, Politechnika Warszawska, ul. Koszykowa 75, 00-661 Warszawa, e-mail: amajk@ee.pw.edu.pl

Marcin Koodziej, Andrzej Majkowski

podjto prby wykorzystania elektroencefalografii (EEG) do bezporedniej komunikacji midzy mzgiem a komputerem. Z uwagi na fakt wykorzystania do analizy i klasyfikacji sygnaw algorytmw implementowanych na komputerze, czsto mwimy o interfejsie mzg-komputer (BCI). Interfejsy BCI charakteryzuje wykorzystanie sygnaw generowanych przez mzg, a nie sygnaw aktywnoci mini. Impulsy elektryczne samych mini traktowane s w tym przypadku jako niepodane. S to tak zwane artefakty fizjologiczne. Przykadem takich artefaktw mog by sygnay elektryczne powstajce podczas wykonywania ruchu oczami (elektrookulografia, EOG). Amplituda tych artefaktw jest o wiele wiksza (rzdu miliwoltw) ni samego sygnau EEG, ktrego wartoci dochodz do 100 V. Mona wyrni synchroniczne i asynchroniczne interfejsy mzg-komputer. W przypadku interfejsw synchronicznych znany jest moment wystpienia okrelonego zdarzenia. Na przykad, uytkownik zaczyna myle o danym zadaniu po wystpieniu pewnego bodca, a zatem wiadomo, ktry fragment sygnau naley podda klasyfikacji. W przypadku interfejsw asynchronicznych nie wiemy, w ktrej czci zapisu znajduje si uyteczna informacja. Dlatego musimy poddawa analizie cao sygnau. Interfejsy asynchroniczne s trudniejsze w realizacji. 2.2. Przeznaczenie interfejsu mzg-komputer Stosunkowo maa szybko przekazywania informacji (maksymalnie 35 bitw na sekund) pomidzy mzgiem a komputerem powoduje, e systemy te obecnie wykorzystywane s najczciej przez osoby sparaliowane. Jest to czsto ich jedyna forma komunikacji ze wiatem zewntrznym, gdy istniej choroby czy urazy, ktre nie pozwalaj na wykonanie najprostszego nawet ruchu oczyma czy koczynami. Chodzi tutaj o takie choroby jak: stwardnienie zanikowe boczne, udar mzgowy podkorowy, zesp GuillainaBarrgo, mzgowe poraenie dziecice [6]. Osoby dotknite tymi schorzeniami, podkrelaj, e najgorsze jest to, e nie mog si komunikowa z otoczeniem. Dla takich osb projektowane s specjalne wirtualne klawiatury, ktre na ekranie monitora pozwalaj na wybranie polece lub edytowanie tekstu. Podjto rwnie prby wykorzystania sygnau EEG do sterowania wzkiem inwalidzkim, urzdzeniami inteligentnego budynku, czy nawet robotem [3]. Warto zauway, e urzdzenia wyposaone s w tym wypadku w czujniki wsppracujce z mikroprocesorami, co uniemoliwia wykonanie niebezpiecznych manewrw. Trwaj prace nad wykorzystaniem interfejsw BCI w wojsku czy przemyle rozrywkowym, np. do sterowania grami. Na podobnej do interfejsw mzg-komputer zasadzie dziaania opiera si tak zwany neurofeedback. Wykorzystuje si w tym przypadku zbierane w czasie rzeczywistym informacje o aktywnoci pracy mzgu do samodzielnej prby zmiany tej aktywnoci przez uytkownika. Najczciej do akwizycji sygnau EEG wykorzystuje si

Wybrane problemy przetwarzania, analizy i klasyfikacji sygnau EEG

wwczas kilka elektrod. Informacja o tym, jakie fale EEG dominuj, jest wywietlana na ekranie monitora. Pacjent ma tak sterowa aktywnoci swojego mzgu, aby wpyn na informacje pokazywane na wywietlaczu. Neurofeedback jest stosowany w terapii dzieci z ADHD (zesp nadpobudliwoci psychoruchowej), u ludzi z zab urzeniami procesu uczenia si, po urazach czaszki, we wspomaganiu leczenia padaczki. Dodatkowo z neurofeedbacku korzystaj osoby zdrowe dla poprawy koncentracji, czy ograniczenia stresu [4].

3. Zasada dziaania interfejsu mzg-komputer

3.1. Elektroencefalografia Interfejs BCI wykorzystuje informacje o aktualnej pracy mzgu. Istnieje wiele metod pomiaru aktywnoci mzgu, lecz najczciej w interfejsach mzg-komputer korzysta si z sygnaw elektroencefalograficznych. Za zastosowaniem elektroencefalografii przemawiaj: prosty sposb akwizycji sygnau, przenone urzdzenie pomiarowe i, co najwaniejsze, moliwo analizy sygnau w czasie rzeczywistym. Dodatkowo jest to metoda stosunkowo tania. Badanie elektroencefalograficzne polega na odpowiednim rozmieszczeniu elektrod na powierzchni skry czaszki. Elektrody rejestruj zmiany potencjau elektrycznego na powierzchni skry, pochodzce od aktywnoci (wielkiej liczby) neuronw kory mzgowej. Po odpowiednim wzmocnieniu sygnau tworzony jest zapis elektroencefalogram. W standardowym badaniu EEG uywa si 19 elektrod, czyli tzw. systemu 10-20 zalecanego przez Midzynarodow Federacj Neurofizjologii Kl inicznej IFCN. W zastosowaniu do interfejsu mzg-komputer uywa moemy rnej liczby elektrod, od 3 a do 64 elektrod. Liczba kanaw i ich rozmieszczenie jest jednym z wanie jszych problemw systemw BCI. Elektroencefalogram zmienia si w zalenoci od aktywnoci mzgu. Zarwno amplituda sygnau, jak i dominujce czstotliwoci ulegaj zmianie. U zdrowego czowieka powstaj fale mzgowe o czstotliwoci od 0,5 do 100 Hz oraz amplitudzie od piciu do kilkuset V. Wyrni moemy kilka rytmw: fale gamma (powyej 40 Hz) opisuj stan zwizany ze wiadomoci, percepcj, aktywnoci umysow, fale beta (od 12 do ok. 28 Hz) wystpuj podczas codziennej aktywnoci, w stanach niepokoju, oraz pod wpywem pewnych lekw, fale alfa (od 8 do 13 Hz) s charakterystyczne dla stanu czuwania w warunkach relaksu, szczeglnie przy zamknitych oczach, fale theta (od 4 do 7 Hz) wystpuj podczas gbokiej medytacji, intensywnych marze oraz intensywnych emocji,

Marcin Koodziej, Andrzej Majkowski

fale delta (od ok. 0,5 do 3 Hz) wystpuj w stanie gbokiego snu, u maych dzieci i w przypadku pewnego rodzaju uszkodze mzgu. 3.2. Potencjay wywoane Oprcz elektroencefalografii w diagnostyce medycznej stosuje si badanie tak zwanych potencjaw wywoanych. Potencjay wywoane to potencjay elektryczne rejestrowane na powierzchni gowy (za pomoc kilku elektrod) po zadziaaniu odpowiedniego bodca. Najczciej s to bodce wzrokowe (np. bysk wiata), suchowe lub czuciowe. W zalenoci od tego pobudzenia wyrniamy wzrokowe, suchowe i somatosensoryczne potencjay wywoane. Poniewa amplituda odpowiedzi jest niezauwaalna po jedynym bodcu, a take wystpuj spontaniczne czynnoci elektryczne mzgu, to przy rejestracji potencjaw wywoanych stosuje si wielokrotne powt arzanie danego bodca, a nastpnie wykonuje urednienie wynikw. 3.3. Potencja P300 Jedn z najprostszych koncepcji jest wykorzystanie w systemach mzg-komputer potencjaw wywoanych. Najczciej wykorzystywany jest potencja P300, ktry wystpuje jako odpowied na pewien oczekiwany bodziec, np. wzrokowy. Potencja ten pojawia si po czasie okoo 300 ms od wystpienia bodca. Uytkownik obserwuje podwietlane pola. Mog by to podwietlane litery lub inne znaki. W chwili po dwietlenia oczekiwanego pola (na ktrym uytkownik skupia swoj uwag), w okolicy czubka gowy pojawia si potencja o amplitudzie kilku mikrowoltw. W celu dokadniejszego okrelenia potencjau P300 uytkownik wiel okrotnie skupia uwag na wybranym przez siebie bodcu. W ten sposb wielokrotnie rejestrowane odpowiedzi s uredniane (rys. 1).

Rys. 1. Potencja P300. Wiksza amplituda po 300 ms oznacza odpowied na oczekiwany bodziec, mniejsza amplituda to odpowied na bodziec, ktry nie by oczekiwany przez uytkownika

Wybrane problemy przetwarzania, analizy i klasyfikacji sygnau EEG

W ten sposb wywietlajc kilka pl, ktre podwietlane s w innym czasie, po analizie urednionej odpowiedzi jestemy w stanie okreli, na jakim polu skupia uwag dany uytkownik interfejsu. 3.4. Potencjay wzrokowe Dziaanie interfejsw wykorzystujcych potencjay wzrokowe opiera si na analizie sygnau zebranego z kory wzrokowej. Uytkownik obserwuje pulsujce z rn czstotliwoci pola. Wywouje to powstanie pulsacji o takiej samej czstotl iwoci w korze wzrokowej. W ten sposb przeprowadzajc analiz czstotliwociow zmierzonego sygnau zaobserwowa moemy dominacj pewnej czstotliwoci w tym sygnale. Na podstawie takiej analizy atwo moemy stwierdzi, na co patrzy uytkownik interfejsu. W literaturze angielskiej tego typu interfejsy okrelamy jako SSVEP (steady state visual evoked potentials). 3.5. Potencjay mzgowe skojarzone z ruchem Najtrudniejsze do budowy s interfejsy asynchroniczne, ktre wykorzystuj sygn ay powstajce na skutek wyobrae dotyczcych ruchu jakiej czci ciaa. Na przykad uytkownik wyobraa sobie ruch praw, lew rk lub nog, a komputer po analizie sygnau odgaduje ten ruch (intencje) uytkownika. Mona tak nauczy system BCI, e na przykad, wyobraenie ruchu praw rk powoduje skrt wzka inwalidzkiego w praw stron, lew rk w lew stron, praw stop do przodu, lew stop poruszenie do tyu. Jest to moliwe po pierwsze dziki temu, e nie ma duej rnicy w pracy mzgu pomidzy wykonywanym a wyobraanym sobie ruchem. Po drugie, pewne rejony kory mzgowej zmieniaj swoj aktywno podczas wykonywania r uchu w zalenoci od tego, jak czci ciaa chcemy poruszy. Mwimy wtedy o desynchronizacji i synchronizacji potencjaw mzgowych skojarzonych z ruchem (event-related desynchronization/synchronization ERD/ERS).

4. Budowa interfejsu mzg-komputer

4.1. Akwizycja sygnau Jak ju wspomniano, zebranie bardzo maych napi wypadkowej pracy neuronw kory mzgowej nie jest zadaniem trywialnym. Istnieje wiele zakce fizycznych (np. sprzenia pojemnociowe i indukcyjne) oraz fizjologicznych (np. potencjay spowodowane aktywnoci mini), ktre znaczco utrudniaj pomiar sygnau EEG. Do

Marcin Koodziej, Andrzej Majkowski

tego doliczy trzeba napicia wolnozmienne generowane na styku skra elektroda. Powoduje to, e bardzo istotna w systemie BCI jest konstrukcja samego wzmacniacza, jak i sposb mocowania i przyklejenia elektrod. Stosuje si specjalne ele przewodzce (kleje), ktre mocuj elektrody do skry. Poniewa nie ma dedykowanych wzmacniaczy do interfejsw mzg-komputer, czsto uytkownik musi korzysta z duego gabarytami sprztu do akwizycji sygnau EEG. 4.2. Przetwarzanie wstpne Zebrane i wzmocnione sygnay z kilku, a czasem nawet kilkudziesiciu elektrod, s przekazywane do komputera. Poniewa sygna ten zawiera rwnie sygnay niepodane, takie jak zakcenia sieci zasilajcej (50/60 Hz), poddaje si go filtracji. Uywa si do tego filtrw cyfrowych (IIR, FIR). W celu eliminacji artefaktw mona rwnie zastosowa analiz skadowych niezalenych (independent component analysis ICA). Wszystkie te operacje musz odbywa si w czasie rzeczywistym. 4.3. Ekstrakcja cech Dysponujemy ju przefiltrowanym sygnaem EEG, teraz naley wydoby z tego wielokanaowego zapisu pewne cechy najlepiej opisujce dany fragment sygnau. Proces ten nazywamy ekstrakcj cech. Najczciej cechami s: amplitudy sygnau (P300) lub wyniki analizy czstotliwociowej (ERD/ERS, SSVEP). Dla interfejsw wykorzystujcych potencjay wywoane mamy moliwo uredniania sygnau i w ten sposb wybieramy cechy, ktre posu do nauczenia sieci neuronowej lub innego klasyfikatora. Wybr odpowiednich cech uatwia w tym przypadku fakt, e wiemy, w ktrym momencie przeprowadzi analiz sygnau. Czsto jednak, szczeglnie w przypadku interfejsw asynchronicznych, musimy przeanalizowa cay sygna. Wtedy wybieramy okno o okrelonej dugoci i dla fragmentu sygnau okrelonego przez to okno wyznaczamy cechy. Do wydobycia cech mog nam posuy: analiza Fouriera (DFT), transformata falkowa (DWT), modele autoregresyjne (AR), statystyki wyszych rzdw (HOS) itp. [1]. 4.4. Selekcja cech Poniewa wiele cech moe nie bezuyteczn lub nadmiarow informacj, czsto zachodzi potrzeba wybrania z bardzo duej liczby cech, tych najwaciwszych, ktre umoliwiaj przeprowadzenie poprawnej i szybkiej klasyfikacji sygnau EEG . Za takim podejciem do problemu przemawia jeszcze jedna waciwo interfejsw mzg-komputer: dla rnych uytkownikw sygna EEG moe si zmienia i mie inne parametry. Trzeba wic wybra takie cechy, ktre s najbardziej odpowiednie dla

Wybrane problemy przetwarzania, analizy i klasyfikacji sygnau EEG

konkretnego uytkownika. Do tego celu stosuje si wiele metod, do ktrych nale: liniowa analiza dyskryminacyjna (LDA), analiza skadowych gwnych (PCA) oraz metody rankingowe. W ten sposb wybieramy kilka lub kilkanacie najbardziej znaczcych cech. 4.5. Klasyfikacja sygnau Pewne wartoci charakteryzujce dany fragment sygnau EEG (tj. wybrane w wyniku selekcji cechy) na tym etapie posu do nauczenia klasyfikatora. Istnieje wiele algorytmw umoliwiajcych klasyfikacj sygnaw. Najczciej wykorzystywane s: neuronowa sie wielowarstwowa (MLP), klasyfikator Bayesa (NBC), liniowa analiza dyskryminacyjna (LDA) czy maszyna wektorw podtrzymujcych (SVM). W ten sposb po nauczeniu klasyfikatora, dla nowych danych jestemy w stanie stwierdzi (z pewnym prawdopodobiestwem), do jakiej klasy przynaley nowy sygna.

5. Praktyczne realizacje interfejsw mzg-komputer

Tabela 1. Zrealizowane interfejsy mzg-komputer Grupa badawcza ABI Projekt JRC Zadanie umysowe Relaks, wyobraanie ruchu praw, lew rk, obracanie kostki, odejmowanie Wyobraanie ruchu prawym, lewym palcem, liczenie, obracanie obiektw Potencjay wzrokowe (SSVEP) Potencja P300 Zastosowanie Asynchroniczna kontrola robota Sterowanie ruchem obiektw 2D Synchroniczne wybieranie elementw do kontroli otoczenia Kontrola 5 elementw w wirtualnym pokoju Szybko max 33 bit/min

EPFL Szwajcaria Tsinghua University, Chiny University of Rochester, USA

35 bit/min

27 bit/min 12 bit/min

W tabeli 1 zebrano 4 przykady interfejsw mzg-komputer dziaajcych przy wykorzystaniu rnych potencjaw mzgowych [2]. Interfejs mzg-komputer zastosowano do kontroli robota, sterowania ruchem obiektw 2D, kontroli otoczenia, np. wirtualnego pokoju. Szybkoci transferu informacji przedstawione w tabeli dot ycz prdkoci maksymalnych osignitych przez wybranego uytkownika.

Marcin Koodziej, Andrzej Majkowski

6. Podsumowanie
Interfejsy mzg-komputer wzbudzaj coraz to wiksze zainteresowanie, szczeglnie wrd osb niepenosprawnych. Powszechne wykorzystanie systemw hamowane jest ograniczeniami samego interfejsu takimi jak: maa szybko przekazywanej informacji mzg-maszyna, skomplikowany sposb akwizycji Jednoczenie naleaoby na tyle uproci sposb akwizycji sygnau EEG, aby moliwe byo zastosowanie t akich interfejsw w warunkach domowych. W tym celu konieczne jest opracowanie nowych, bardziej efektywnych algorytmw ekstrakcji, selekcji i klasyfikacji sygnau EEG. Literatura
[1] KOODZIEJ M., MAJKOWSKI A., RAK R., Matlab FE_Toolbox an universal utility for feature extraction of EEG signals for BCI realization, Przegld Elektrotechniczny, 2010, No. 1. [2] MOLINA G., Direct Brain-Computer Communication through scalp recorded EEG signals, PhD Thesis, cole Polytechnique Fdrale de Lausane, 2004. [3] MOORE M.M., Real-World Applications for BrainComputer Interface Technology, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, Vol. 11, No. 2. [4] POP-JORDANOVA N., Biofeedback application for somatoform disorders and attention deficit hyperactivity disorder (ADHD) in children, International Journal of Medicine and Medical Sciences, 2009, Vol. 1(2), pp. 017022. [5] VIDAL J.J., Direct brain-computer communication, Annual Review of Biophysics and Bioengineering, 1973, 2, pp. 157158. [6] WOLPAW J.R., BIRBAUMER N., HEETDERKS W.J., MCFARLAND D.J, HUNTER PECKHAM P., SCHALK G., DONCHIN E., QUATRANO L.A., ROBINSON C.J, VAUGHAN T.M., BrainComputer Interface Technology: A Review of the First International Meeting, IEEE Transactions on Rehabilitation Engineering, 2000, Vol. 8, No. 2.