Institute of Pure and Applied

Sciences

IMPLEMENTATION OF EXTENDED DELTA RULE

USING ANDROID PLATFORM

BURAK ECE

ARTIFICIAL NEURAL NETWORK PROJECT REPORT

Electric and Electronic Engineering

PROJECT ADVISOR
Asst.Prof.Dr. Hasan Hseyin elik
 ok Katmanl A Modelinin Yaps

Girdi Katman: D dnyadan gelen girdileri alarak ara katmana gnderir. Bu

katmanda bilgi ileme olmaz. Gelen her bilgi geldii gibi bir sonraki katmana gider.
Her proses elemann sadece bir tane girdisi ve bir tane kts vardr. Yani, girdi
katmanndaki her proses eleman bir sonraki katmanda bulunan proses elemanlarnn
hepsine balanr.

Ara Katman: Ara katmanlar girdi katmanndan gelen bilgileri ileyerek bir sonraki
katmana gnderir. ok katmanl bir ada birden fazla ara katman ve her katmanda
birden fazla proses eleman bulunabilir.

k Katman: Ara katmandan gelen bilgileri ileyerek aa girdi katmanndan verilen

girdilere karlk an rettii klar belirleyerek d dnyaya gnderir.

Bir kt katmannda birden fazla proses eleman olabilir. Her proses eleman bir
nceki katmanda bulunan btn proses elemanlarna baldr. Her proses
elemannn bir kts vardr.

ok katmanl a retmenli renme stratejisini kullanr. Aa, hem rnekler hem

de rneklerden elde edilmesi gereken ktlar verilmektedir.

Sistem, kendisine gsterilen rneklerden genellemeler yaparak problem uzayn

temsil eden bir zm uzay retmektedir.

Daha sonra gsterilen benzer rnekler iin bu zm uzay sonular ve zmler

retebilmektedir.

ok Katmanl An renme Kural

ok katmanl an renme kural en kk kareler yntemine dayal Delta renme
Kuralnn genelletirilmi halidir. Bu yzden Genelletirilmi Delta Kural olarak da
isimlendirilmektedir.

An renebilmesi iin eitim seti ad verilen ve rneklerden oluan bir sete ihtiya
vardr. Bu set iinde her rnek iin an hem girdiler hem de o girdiler iin an
retmesi gereken ktlar belirlenmitir.

Genelletirilmi Delta Kural iki aamadan oluur:

leri doru hesaplama(Feed Forward)
Geri doru hesaplama (Back Propogation)

I) leri Doru Hesaplama

Bu safhada bilgi ileme eitim setindeki bir rnein Girdi Katmanndan aa

gsterilmesi ile balar. Gelen girdiler hi bir deiiklik olmadan ara katmana
gnderilir.

Girdi katmanndaki k. Proses elemannn kts u ekilde belirlenir:

Ara katmandaki her proses eleman girdi katmanndaki btn proses elemanlarndan
gelen bilgileri balant arlklarnn (A1,A2,....) etkisi ile alr. nce ara katmandaki
proses elemanlarna gelen net girdi
u forml kullanlarak hesaplanr:
Burada k. girdi elemann j. ara katman elemanna balayan balantnn arlk
deerini gstermektedir. j. ara katman elemannn kts ise bu net girdinin aktivasyon
fonksiyonundan geirilmesiyle hesaplanr.

Sigmoid fonksiyonu kullanlmas halinde kt:

Burada j , ara katmanda bulunan j. elemana balanan eik deer elemannn

arln gstermektedir. Bu eik deer nitesinin kts sabit olup 1e eittir. Eitim
srasnda a bu deeri kendisi belirlemektedir.

Ara katmann btn proses elemanlar ve kt katmannn proses elemanlarnn

ktlar ayn ekilde kendilerine gelen NET girdinin hesaplanmas ve sigmoid
fonksiyonundan geirilmesi sonucu belirlenirler.

kt katmanndan kan deerler bulununca an ileri doru hesaplama ilemi

tamamlanm olur.

II) Geriye Doru Hesaplama

Aa sunulan girdi iin an rettii kt an beklenen ktlar ile karlatrlr. Bunlarn

arasndaki fark hata olarak kabul edilir. Ama bu hatann drlmesidir.

Bu hata, an arlk deerlerine datlarak bir sonraki iterasyonda hatann azaltlmas

salanr.

kt katmanndaki m. proses eleman iin oluan hata Em ;

Yukardaki hata, bir proses eleman iin oluan hatadr. kt katman iin oluan
toplam hatay (TH) bulmak iin btn hatalarn toplanmas gerekir.

Toplam hatay en azlamak iin bu hatann kendisine neden olan proses elemanlarna
datlmas gerekmektedir.

An arlklarn deitirmek iin 2 durum sz konusudur:

Ara katman ile kt katman arasndaki arlklarn deitirilmesi

Ara katmanlar aras veya ara katman girdi katman arasndaki arlklarn
deitirilmesi

Ara Katman ile kt Katman Arasndaki Arlklarn

Deitirilmesi

Ara katmandaki j. Proses eleman kt katmanndaki m. Proses elemanna balayan

balantnn arlndaki deiim miktarna Aa denirse; herhangi bir t zamannda
arln deiim miktar yle hesaplanr:

Burada renme katsaysn, momentum katsaysn gstermektedir.

Momentum katsays an renmesi esnasnda yerel bir optimum noktaya taklp
kalmamas iin arlk deiim deerinin belirli bir oranda bir sonraki deiime
eklenmesini salar.

Yine yukardaki forml dikkate alndnda m ise m. kt nitesinin hatasn

gstermektedir.

f(NET) aktivasyon fonksiyonunun trevidir. Sigmoid fonksiyonun kullanlmas

durumunda

Deiim miktar hesaplandktan sonra arlklarn t.iterasyondaki yeni deerleri:

Benzer ekilde eik deer nitesinin de arlklarn deitirmek gerekmektedir. kt

katmannda bulunan proses elemanlarnn eik deer arlklar ile gsterilirse; bu
nitenin kts sabit ve 1 olmas nedeni ile deiim miktar:

olacaktr. Eik deerin t. terasyonundaki arlnn yeni deeri ise ;

eklinde hesaplanacaktr.

Ara Katmanlar Aras veya Ara Katman Girdi Katman Arasndaki

Arlklarn Deitirilmesi
Ara katman ile kt katman arasndaki arlklarn deiiminde her arlk iin sadece
kt katmanndaki bir proses elemannn hatas dikkate alnmtr. Oysaki bu hatalarn
olumasnda girdi katman ve ara katman arasndaki arlklarn pay vardr.

Girdi katman ile ara katman arasndaki arlklarn deiimi Ai ile gsterilirse deiim
miktar:

Yine buradaki hata terimi a yle hesaplanacaktr:

Aktivasyon fonksiyonu olarak sigmoid fonksiyonun kullanlmas durumunda;

Arlklarn yeni deerleri;

Benzer ekilde eik deer nitesinin de arlklarn deitirmek gerekmektedir. Ara

katman eik deer arlklar a ile gsterilirse deiim miktar;

Arlklarn yeni deerleri ise t. iterasyonda yle hesaplanacaktr.

Bylece an arlklarnn hepsi deitirilmi olacaktr. Bir iterasyon hem ileri hem de
geriye doru hesaplamalar yaplarak tamamlanm olacaktr.

ok Katmanl An alma ekli

ANDROID UYGULAMA LE XOR PROBLEMNN ZM :
UYGULAMA KODLARI

public class MainActivity extends AppCompatActivity {

TextView tv,tv2;
EditText et,et2,et3;
Button startbutton;

@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);

tv = (TextView) findViewById(R.id.text1);
tv2 = (TextView) findViewById(R.id.text2);
et = (EditText) findViewById(R.id.editText2);
et2 = (EditText) findViewById(R.id.editText3);
et3 = (EditText) findViewById(R.id.editText4);
startbutton = (Button) findViewById(R.id.startbutton);

startbutton.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {

double Error = Double.parseDouble(et.getText().toString());

double lamda = Double.parseDouble(et2.getText().toString());
double alpha = Double.parseDouble(et3.getText().toString());

DeltaRule d = new DeltaRule(Error,lamda,alpha);

//XOR boolean function

Example[] examples = new Example[]{
new Example(0, 0, 0),
new Example(0, 1, 1),
new Example(1, 0, 1),
new Example(1, 1, 0)
};

StringBuilder stringBuilder = new StringBuilder();

StringBuilder stringBuilder2 = new StringBuilder();

String status = d.trainWithDelta(examples);

int[] target = {0,1,1,0};
stringBuilder2.append("Last Iteration = " + d.i +"\n");
for (int i=0;i<4;i++){
stringBuilder2.append("y = "+d.output[i]+", t = "+target[i]+", E =
"+d.err[i]+"\n");
}

stringBuilder.append(status);

String finalString = stringBuilder.toString();

tv2.setText(stringBuilder2.toString());
tv.setText(finalString);
}
});
}
}
public class DeltaRule {
//Girdi katman ile ara katman arasndaki agrlklar
double Ai11,Ai12,Ai21,Ai22 ;
//kt katman ile ara katman arasndaki agrlklar
double Aa11, Aa12;
//Eik deger agrlklar
double Ba11,Ba12;
double Bc11;

//grenme katsays ve momentum katsays

double lamda;
double alpha;
double treshold;

double net1,net2;

double dAa11,dAa12,dBc11;
double dAi11,dAi12,dAi21,dAi22;
double dBa11,dBa12;
double E,Error;
double[] output;
double[] err;
int i;

DeltaRule(double Error,double lamda,double alpha){

this.Error = Error;
//Random values
this.lamda= lamda;
this.alpha = alpha;
Ai11 = 0.129952;
Ai12 = 0.570345;
Ai21 = -0.923123;
Ai22 = 0.328932;

dAi11 = 0;
dAi12 = 0;
dAi21 = 0;
dAi22 = 0;

Aa11 = 0.164732;
Aa12 = 0.752621;

dAa11 = 0;
dAa12 = 0;

Ba11 = 0.341332;
Ba12 = -0.115223;
Bc11 = -0.993423;

dBa11 = 0;
dBa12 = 0;
dBc11 = 0;

treshold = 1;

public void computeHiddenLayerNet(Example example){

net1 = example.x1 * Ai11 + example.x2*Ai21 + treshold*Ba11 ;
net2 = example.x1 * Ai12 + example.x2*Ai22 + treshold*Ba12;
}

public String trainWithDelta(Example[] examples){

StringBuilder stringBuilder = new StringBuilder();
for(i=0;i<10000;++i){
 stringBuilder.append("Iteration #"+i+"\n");

output = new double[4];

err = new double[4];
int j = 0;
for(Example ex:examples){
computeHiddenLayerNet(ex);
double t = ex.o;
double net,y,c1,c2;
c1 = actFunc(net1);
c2 = actFunc(net2);
net = treshold*Bc11 + c1 * Aa11 + c2 * Aa12;
y = actFunc(net);

E = t - y;

output[j] = y;
err[j] = E;
j++;

stringBuilder.append("y = "+y+", t = "+t+" , E = "+E+"\n");

//kt katman ile ara katman arasndaki agrlklar degisim miktar

ve yeni arlk deerleri hesab

double sigma1,sigma1a,sigma2a;

sigma1 = y*(1-y)*E;
dAa11 = lamda*sigma1*c1+alpha*dAa11;
dAa12 = lamda*sigma1*c2+alpha*dAa12;
dBc11 = lamda*sigma1+alpha*dBc11;

Aa11 = dAa11 + Aa11;

Aa12 = dAa12 + Aa12;
Bc11 = dBc11 + Bc11;

//girdi katman ile ara katman arasndaki arlk deiim miktar ve

yeni arlk deerleri hesab

sigma1a = c1*(1-c1)*sigma1*Aa11;
sigma2a = c2*(1-c2)*sigma1*Aa12;

dAi11 = lamda*sigma1a*ex.x1+alpha*dAi11;
dAi12 = lamda*sigma1a*ex.x1+alpha*dAi12;

dAi21 = lamda*sigma1a*ex.x2+alpha*dAi21;
dAi22 = lamda*sigma1a*ex.x2+alpha*dAi22;

dBa11 = lamda*treshold*sigma1a;
dBa12 = lamda*treshold*sigma2a;

Ai11 = Ai11 + dAi11;

Ai12 = Ai12 + dAi12;
Ai21 = Ai21 + dAi21;
Ai22 = Ai22 + dAi22;

Ba11 = Ba11 + dBa11;

Ba12 = Ba12 + dBa12;
}

if(Math.abs(E) <Error){
break;
}

stringBuilder.append("\n");
}
 String finalString = stringBuilder.toString();
return finalString;
}

public double actFunc(double h){

return 1/(1+Math.exp(-h));
}
}

class Example{
int x1, x2;
double o;
Example(int x1, int x2, double o){
this.x1 = x1;
this.x2 = x2;
this.o = o;
}
}