ПРИРОДНО - МАТЕМАТИЧКИ ФАКУЛТЕТ

КОСОВСКА МИТРОВИЦА

ОДСЕК: ИНФОРМАТИКА

СЕМИНАРСКИ РАД
Тема: Теоретске основе ANFIS (Adaptive Neuro-Fuzzy Inference
Systems)

Косовска Митровица, јун 2021. године

Професор: Студент:

Др Небојша Денић Мирослав Станојковић,

546/18
Садржај:

Увод............................................................................................................................................1

1. Neuro-fuzzy и soft computing............................................................................................2

2. Теорија нејасних скупова.................................................................................................3

3. Нејасна правила и нејасна расуђивања...........................................................................4

4. Систем нејасног закључивања.........................................................................................5

5. Неуронске мреже..............................................................................................................6

6. ANFIS - Adaptive Neuro-Fuzzy Inference Systems..........................................................8

7. ANFIS Архитектура........................................................................................................10

8. Алгоритам хибридног учења.........................................................................................14

Закључак..................................................................................................................................16

Литература...............................................................................................................................17

2
Увод
 

Neuro-fuzzy архитектура развијена је са намером да се пре свега превазиђу сви

тешки и комплексни проблеми, који су чак и немогући за аналитичко описивање. Сви
ови системи представљају енергију неуралних мрежа као и fuzzy система закључивања
и њихова вредност се огледа у комбинацији позитивних неуралних мрежа (повезане
струке, оптимизације, способности учења) као и флексибилности fuzzy логике
(коришћење експертски знања и правила закључивања). Главно језгро ANFIS-а јесте
управо fuzzy логички систем који се користи за чување наученог знања о
представљеним узорцима података, тако нa oснову улазно-излазног скупа података
формира се одговарајући fuzzy систем закључивања и затим се израчунавају параметри
функције припадности. Параметри који су карактеристични за одговарајуће функције
припадности мењају се кроз процес учења мреже. Што се тиче израчунавања ових
параметра обично се обавља на основу вектора градијента грешке пресликавања fuzzy
система закључивања улазног скупа у излазни скуп података.

3
 1. Neuro-fuzzy и soft computing

Иновативан приступ конструкцији рачунски интелигентних система је управо

дошао у центар пажње и схвата се да веома сложени проблеми из стварног света
захтевају врло интелигентне системе који комбинују знање, методологије и технике из
различитих и разних извора. Ови интелигентни системи би требало да поседују људску
стручност у одређеном домену, и тако да се прилагоде и науче да раде боље у
окружењу које може бити веома променљиво и тако објасне како доносе одређене
одлуке или како предузимају акције. Тако суочавајући се са рачунарским проблемима
из стварног света, врло често је корисно користити и неколико рачунарских техника,
што резултира и изградњом комплементарних хибридних интелигентних система.
Заправо суштина дизајнирања интелигентних система ове врсте јесте neuro-fuzzy
рачунање. Постоје два комплементарна приступа и то: неуронске мреже које
препознају обрасце и који се прилагођавају ношењу са променљивим окружењима и
нејасни системи закључивања који укључују људско знање и врше закључивање као и
доношење одлука. Интеграција ова два комплементарна приступа, заједно са
одређеним техникама оптимизације без деривата, заправо резултира новом
дисциплином под називом neuro-fuzzy и soft computing.

4
 2. Теорија нејасних скупова

Људски мозак функционише тако да тумачи све непрецизне и непотпуне сензоре

информације које пружају перцептивни органи. Што се тиче теорије нејасних скупова,
она пружа систематску рачуницу да лингвистички обрађује информације и тако врши
нумеричко рачунање уз помоћ језичких ознака које су предвиђене функцијама
чланства. Сам избор нејасних по правилу формира кључну компоненту система са
нејасним закључивањем, који заправо може да моделира ефикасно људску стручност у
одређеној примени. Без обзира што систем нејасног закључивања има структурирану
репрезентацију знања у облику нејасних правила, заправо му недостаје прилагодљивост
за бављење променљивим спољним окружењима и стога се укључује концепт учења
неуронске мреже у системе нејасних закључака, што се резултира neuro-fuzzy
моделирањем и кључном техником у меком рачунању.

5
 3. Нејасна правила и нејасна расуђивања

Тумачећи и откривавши нејасна правила као одговарајуће нејасне релације,

истражују се и различите шеме нејасних закључка, где су заправо поступци
закључивања засновани на концепту композицијског правила закључивања и користе
се за извођење закључака из скупа нејасних правила и познатих чињеница. Стога,
нејасно правило контроле се може сматрати знањем стручњака и то у било којој
сродној области поље примене и представљено је секвенцом облика IF-THEN, што
заправо доводи до алгоритма који описују коју акцију или који излаз треба предузети у
погледу тренутно посматраних информација, што укључује и улазне и повратне
информације ако се примењује затворени систем управљања. Нејасно резонавање и
нејасна правила јесу окосница система нејасних закључака, који представљају
најважније алате за моделирање који су засновани на теоријским нејасним скуповима.
Што се тиче закона о дизајнирању или изради скупа нејасних правила, заснивају се на
знању или на искуству човека, што је заправо зависно од сваке различите стварне
промене која се деси. Нејасно правило IF-THEN повезује услов који је описан помоћу
језичких променљивих и нејасних скупова и то са излазом или са закључком. Део IF се
углавном користи за хватање знања користећи еластичне услове, док се THEN може
користити за давање закључака или резултата у језичком променљивом облику.
Заправо ово правило IF-THEN широко користи систем нејасног закључивања за
израчунавање степена до којег је сви улазни подаци подударају са условом правила и
тако су успешно примењени у широком спектру подручја, као што су на пример
препознавање образаца, затим експертски системи, аутоматско управљање,
класификација података и предвиђање временских серија.

6
 4. Систем нејасног закључивања

Систем нејасног закључивања је веома популаран рачунарски оквир који је

заснован на концептима теорије нејасних скупова, затим нејасног закључивања и
нејасних IF-THEN правила. Успешно се примењује у широком спектру поља као што су
у анализи одлука, препознавању образаца, аутоматском управљању, предвиђању
временских серија, затим у роботици и предвиђању временских серија. Систем нејасног
закључивања је због мултидисциплинарне природе веома познат под бројним другим
именима као што су систем заснован на нејасним правилима, нејасни модел, нејасни
експертски систем, нејасна асоцијативна меморија и једноставно нејасни систем. Када
је реч о основној структури система нејасног закључивања састоји се од три
концептуалне компоненте и то од: механизма закључивања који спроводи поступак
закључивања, затим од базе података или речника и од базе правила који садржи избор
нејасних правила.

Слика 1. Блок дијаграм Система нејасног закључивања

7
 5. Неуронске мреже

Неуронске мреже представљају једну нову генерацију система за информационо

процесирање које показују особину учења, затим генерализацију на основу података
којима се обучавају и меморисања. Показале су се да су веома ефикасне у разним
задацима као што су класификација облика и мечовање, оптимизација, кластеризација
података, апроксимација функција и остало, док су други конвенционални рачунари
због своје архитектуре врло неефикасни и то поготово у домену мечовања облика и
тако представљају систем који се састоји од великог броја међусобно повезаних
чворова или процесора или процесних елемената који се називају вештачки неурони.
Тело неурона се назива јединица или чвор и сваки од неурона има локалну меморију у
којој се памте сви подаци који се обрађују. Ти подаци који се обрађују јесу локални
подаци као и они који се примају преко везе. Такође, подаци који се овим каналима
размењују су обично нумерички подаци.

Људски мозак је заправо извор природне интелигенције и заиста је изванредан

паралелни рачунар, тако мозак врло брзо обрађује непотпуне информације које су
добијене перцепцијом. Нервне ћелије заправо функционишу око 106 пута спорије од
капија електронских кола, међутим људски мозак обрађује визуелне као и слушне
информације много брже од модерних рачунара. Многи истраживачи који су
инспирисани биолошким нервним системима, истражују неуронске мреже као и нови
неалгоритамски приступ обрађивања информација. Заправо они моделирају мозак као
континуирани нелинеарни динамички систем и то у конекционистичким архитектурама
од којих се очекује да опонашају све мождане механизме који служе са симулацију
интелигентног понашања.

Сама архитектура неуронске мреже представља специфично повезивање

неурона и то у једну целину и структура неуронске мреже се разликује по броју слојева.
Најчешће има три слојева. Први слој се назива улазни и он је једини слој који прима
податке из спољашње средине, док се последњи слој назива излазни, а слојеви између
се називају скривени слојеви и они прослеђују релевантне податке све до трећег
односно излазног слоја и на излазу трећег слоја се добија коначан резултат. Међутим,

8
сложеније неуронске мреже имају више скривених слојева и они су међусобно потпуно
повезани.

Слојеви комуницирају тако што се излаз сваког неурона из сваког претходног

слоја повезује са улазима свих неурона сваког наредног слоја. То заправо значи да
сваки чвор има неколико улаза и само један излаз. Тежински фактор је јачина веза
којом су неурони повезани.

Слика 2. Архитектура неуронске мреже

9
 6. ANFIS - Adaptive Neuro-Fuzzy Inference Systems

ANFIS – адаптивни мрежни систем базног закључивања или сементички

еквивалентно адаптивни систем нејасног закључивања

ANFIS заправо представља врсту неуронске мреже која се заснива на нејасном

систему закључивања, ова техника је развијена почетком 1990их година. Будући да
интегрише и неуронске мреже као и принципе нејасне логике, има велике потенцијале
да ухвати благодати обе у једном оквиру. Његов систем закључивања одговара и IF-
THEN правилу који има способност учења да апроксимирају нелинеарне функције и
стога се ANFIS сматра универзалним проценитељем. Како би употреба ANFIS -а била
ефикаснија и оптималнија, користе се најбољи параметри који су добијени генетским
алгоритмом. И тако функционално, готово и да нема ограничења на функције чворова
адаптивне мреже, док структурно, једино ограничење мрежне конфигурације је да би
требало да буде повратног типа ако се не жели да се користи сложенији асинхроно
управљени модел.

Адаптивне мреже могу да се директно користе у широком спектру апликација за

доношење одлука, за моделирање, контролу и обраду сигнала и то због ових
минималних ограничења. ANFIS се назива предложена архитектура, што значи
адаптивни мрежни систем базног закључивања или сементички еквивалентно
адаптивни систем нејасног закључивања. Постоји и један пример да је под одређеним
мањим ограничењима мрежа радијалних базних функција, функционално еквивалентна
ANFIS архитектури за нејасан модел. Сама ефикасност ANFIS модела са правилом
хибридног учења се испитује кроз четири примера симулације и то: пример 1 моделира
дводимензионалну функцију, пример 2 моделира нелинеарну функцију са три улаза
која је коришћена као референтни проблем за друге нејасне приступе моделирања, док
пример 3 објашњава како идентификовати нелинеарне компоненте у онлајн
управљачком систему и на крају пример 4 предвиђа хаотичне временске серије.
Резултати ANFIS -а се опсежно упоређују са разним конекционистичким приступима и
са конвенционалним статистичким методама.

10
Сликa 3. а) Двоструки нејасни модел Сугено првог реда са два правила
б)Еквивалентна ANFIS архитектура

11
 7. ANFIS Архитектура

Претпостављамо да систем нејасног закључивања има два улаза x и y, а један

излаз z. За нејасни модел Сугено првог реда, уобичајени скуп правила са два нејасна
правила if-then је следећи:

Правило 1: Ако је x= A 1 i y=B1 , онда је f 1=p 1 x +q 1 y +r 1

Правило 2: Ако је x= A 2 i y=B2 , онда је f 2= p2 x +q 2 y +r 2

За Сугенов модел слика 4. (а) илуструје механизам закључивања, а на слици 4.

(б) приказана је одговарајућа еквивалентна ANFIS архитектура. У слоју 1 означавамо
излаз i-тог чвора као О1.

Слика 4. а) Два улаза два правила Tsukamoto fuzzy модела; б) Еквивалент

ANFIS архитектуре.

12
13
 Слој 1: Сваки чвор и у овом слоју је адаптивни чвор са функцијом чвора.

O 1 ,i=μA i ( x ) , for i=1,2 ,

O1 ,i=μB i−2 ( y ) , for i=3,4 ,

Улаз у чвор означен је са x или y и Ai или Bi−2, а језичка ознака „мала“ или
„велика“. Другим речима,O1 ,i , је степен чланства нејасног скупа A (= A1, A2, B1 или B2)
и он одређује степен у којем дати унос x (или y) задовољава квантификатор A. Ова
функција чланства A може бити било која одговарајућа параметарска функција
чланства, као што је генерализована функција звона:

1
μA ( x )= 2b
x −c i
1+
| |ai

Скуп параметара су {ai ,b i , c i }. Како се вредности ових параметара мењају,

функција звона у складу с тим варира, при чему се показују различити облици функција
чланства за неизразити скуп A. Параметри у овом слоју називају се параметрима
премисе.

Слој 2: Сваки чвор у овом слоју је фиксни чвор означен са II, чији је излаз
производ свих долазних сигнала:

O2 ,i=ωi=μА i ( x ) μB i ( y ) , i=1,2.

Сваки излаз чвора представља снагу отпуштања правила. Генерално, било који
други оператери T-норме који изводе нејасне I, могу се користити као функција чвора у
овом слоју.

Слој 3: Сваки чвор у овом слоју је фиксни чвор означен са N. I-ти чвор
израчунава однос јачине паљења i-тог правила и збира снаге испаљивања свих правила:

ωi
O 3 ,i =ώi= , i=1,2.
ω 1+ ω2

Ради погодности, излази овог слоја називају се нормализоване снаге пуцања.

Слој 4: Сваки чвор и у овом слоју је адаптивни чвор са функцијом чвора

O4 , i=ώ i f i=ώ i (p i x +q i y +r i ),

14
 Нормализована снага пуцања из слоја 3 и { pi , k i , r i } јесте скуп параметара овог
чвора (ω i).

Слој 5: Појединачни чвор у овом слоју је фиксни чвор са ознаком Σ, који

израчунава укупни излаз као збир свих долазних сигнала: Укупни излаз је једнак:

∑ ωi f i
i
O5 ,i =∑ ώi f i= ,
i ∑ ωi
i

Сугеновом нејасном моделу функционално је еквивалентна конструисана

адаптивна мрежа. Адаптивне мреже имају сложену структуру: како бисмо добили
еквивалентну мрежу са четири слоја потребно је комбиновати слојеве 3 и 4. На
последњем слоју можемо извршити нормализацију на исти начин. На слици 5.
Приказана је илустрација ANFIS-а овог типа. Са истим скупом параметара можемо
смањити целу мрежу. Све док слој изводи смислене и модуларне функционалности
функције чвора и мреже су произвољне.

Слика 5. ANFIS архитектура Сугеновог модела где се нормализација

тежине врши на последњем слоју

15
 Помоћу функције чланства и снаге гађања заједно се индукује излаз сваког
правила ( f i , i=1,2),као што је приказано на слици.

Одговарајући ANFIS може се направити max-min саставом за Мамданијев систем

нејасног закључивања. Доста је сложенији резултујући ANFIS од Сугено ANFIS или
Tsukamoto ANFIS. Слика 6. (а) је архитектура ANFIS-а која је еквивалентна двојаком
нејасном моделу Сугено првог реда са девет правила, где се претпоставља да сваки улаз
има три придружена MF-а. Слика 6. (б) илуструје како је „дводимензионални улазни
простор подељен на девет преклапајућих нејасних подручја, од којих је свако уређено
нејасним правилом ако-тада. Другим речима, претпостављени део правила дефинише
нејасан регион, док следећи део специфицира излаз унутар региона.

Слика 6. а) ANFIS архитектура са два улаза Сугеновог модела са девет

правила; б) улазни простор који је подељен на девет нејасних региона.

16
 8. Алгоритам хибридног учења

Из ANFIS архитектуре приказане на слици 6. (б), примећујемо да када су

вредности параметара премисе фиксне, укупни излаз се може изразити линеарном
комбинацијом последичних параметара. У симболе, излаз f на слици 6. (б) може се
преписати

ω1 ω2
f= f 1+ f =ώ1 ( p1 x +q 1 y +r 1 ) + ώ2 ( p 2 x +q 2 y +r 2 ) =( ώ1 x ) p1 + ( ώ1 y ) q 1+ ( ώ1 ) r 1 + ( ώ 2 x ) p 2+ ( ώ2 y ) q2
ω1 +ω 2 ω1 +ω 2 2

као линеарни у последичним параметрима p1 , q1 ,r 1 , p 2 , q 2 и r 2.Из овог запажања

имамо S = скуп укупних параметара.

S1 = скуп премиса (нелинеарних) параметара,

S2 = скуп последичних (линеарних) параметара.

Све док се слој 1 и последични параметри не идентификују методом најмањих

квадрата излази чворова иду напред у прослеђивању хибридног алгоритма учења.
Параметри премисе се ажурирају градијентним спуштањем и сигнали грешке се шире
уназад.

Табела 1. сумира активности у сваком пролазу. Тако идентификовани

последични параметри су оптимални под условом да су параметри премисе фиксни.
Сходно томе, хибридни приступ се конвергира много брже јер смањује димензије
простора за претрагу оригиналне методе чистог повратног размножавања. Стога би
увек требало увек тражити могућност разградње постављеног параметра.

Табела 1. Два пролаза у посупку хибридног учења за ANFIS

Предње додавање Задње додавање

Параметар премисе фиксно градијентни спуст
Последични параметар процењивач најмањих фиксно
квадрата
Сигнал излази чвора сигнали грешке

17
 Уколико се замени функција чланства на последичном делу сваког правила са
комадно линеарном апроксимацијом са два узастопна параметра може се постићи
Tsukamoto ANFIS, као што је приказано на слици 7.

Слика 7. Комадно линеарна апроксимација последичних MF-а у Tsukamoto

ANFIS-у.

Ако је скуп података премален, онда вероватно не садржи довољно информација

о циљном систему. У овој ситуацији, функције чланства које одређује корисник
представљају важне информације које се можда неће одразити у скупу података; стога,
функције чланства треба да буду фиксне током читавог процеса учења.

Ажурирањем функција чланства, заправо подешавамо ову побољшану

представљеност ради бољих перформанси. Будући да су формуле за ажурирање
премисе и последични параметри одвојени у правилу хибридног учења даље убрзање
учења је могуће коришћењем варијанти методе градијента или других техника
оптимизације на параметрима премисе, као што је коњугат градијентно спуштање,
повратно ширење другог реда , брзо ширење и многи други.

18
Закључак

Како би приступ био потпунији веома је важна идентификација структуре за

успешну примену ANFIS-а, посебно за моделирање проблема са великим бројем улаза.
Брзину у фази учења и примене повећава ефективно раздвајање улазног простора и
смањује број правила.

Најуспешнија примена теорије нејасних скупова и система нејасних закључака

јесте нејасно управљање. Директно применљивим на адаптивну контролу и контролу
учења чини га прилагодљива способност ANFIS-а. У контролном систему ANFIS може
заменити скоро сваку неуронску мрежу и такође може обављати исту функцију.

Активна улога неуронских мрежа у обради сигнала такође сугерише сличне

примене за ANFIS. Примарне предности знања ANFIS-а представљене су структурирано
и нелинеарно у односу на класичне линеарне приступе у адаптивном филтрирању и
адаптивној обради сигнала, као што су идентификација, инверзно моделирање,
предиктивно кодирање, адаптивно изједначавање канала, прилагођавање
интерференције (шум или ехо) итд.

19
Литература

[1] S. M. Botros and C. G. Atkeson. Generalization properties of radial basis functions. In D.

S. Touretzky, editor, Advances in neural information processing systems III, pages 707-713.
Morgan Kaufmann, San Mateo

[2] S. Chen, C. F. N. Cowan, and P. M. Grant. Orthogonal least squares learning al- gorithm
for radial basis function networks. IEEE Transactions on Neural Networks, 2(2):302-309,

[3] S. E. Fahlman. Faster-learning variations on back-propagation: an empirical study. In D.

Touretzky, G. Hinton, and T. Sejnowski, editors, Proceedings of the 1988 Con- nectionist
Models Summer School, pages 38-51, Carnegic Mellon University.

[4] S. E. Fahlman and C. Lebiere. The cascade-correlation learning architecture. In D. S.

Touretzky, G. Hinton, and T. Sejnowski, editors, Advances in neural information processing
systems II. Morgan Kaufmann, San Mateo.

[5] Robert G. Gallager. Information theory and reliable communication. John Wiley & Sons.

[6] S. S. Haykin. Adaptive filter theory. Prentice Hall, Upper Saddle River, NJ, 2nd edition.

[7] R. S. Crowder III. Predicting the Mackey-Glass timeseries with cascade-correlation

learning. In D. Touretzky, G. Hinton, and T. Sejnowski, editors, Proceedings of the 1990
Connectionist Models Summer School, pages 117-123, Carnegic Mellon Univer- sity, 1990.
Suatome IEFE

20