SVEUČILIŠTE U MOSTARU

FAKULTET STROJARSTVA, RAČUNARSTVA I

ELEKTROTEHNIKE

SEMINARSKI RAD

OpenAI Five

Matej Lučić

Mostar, Siječanj 2019.

Sadržaj:

1. Povijest...........................................................................................................................................3
2. Definicije.........................................................................................................................................4
3. Osnovna načela..................................................................................................................................5
4. Izazovi.............................................................................................................................................6
5. Pristupi i alati..................................................................................................................................7
6. Područja primjene umjetne inteligencije......................................................................................10
7. Primjere primjene OpenAI FIVE....................................................................................................11
PROJEKCIJE ZA BUDUĆNOST I ZAKLJUČAK............................................................................................15
POPIS LITERATURE................................................................................................................................16
POPIS SLIKA..........................................................................................................................................17
 1. Povijest

Umjetna inteligencija ili UI je naziv koji pridajemo svakom neživom sustavu koji
pokazuje neke sposobnosti ramišljanja odnosno bilo kakav znat inteligencije. Prva pojava
umjetne inteligencije bila je 1943 gdje su McCulloch i Pitts pokušali razviti model mozga
zasnovan na Bulovim funkcijama.

Uobičajeno je također da se to ime daje i računalnim sustavima te robotima koji ne moraju

nužno biti inteligentni jer veliki broj njih automatizirano izvršava određene radnje bez ikakve
inteligencije. Prilikom samog razvoja umjetne inteligencije čovjek još uvijek proizvodi tzv.
Ograničenu umjetnu inteligenciju odnosno umjetnu inteligenciju koja je programirana da
rješava samo određeni tip problema točnije nemaju vlastitu svijest ili razumijevanje te ukoliko
bi ih stavili u neko dinamičko okruženje koje nije unaprijed programirano bili bi bespomoćni.

Drugi tip umjetne inteligencije je svjesna umjetna inteligencija koja je ideologija da

računalno dovedemo u razinu sa čovjekom tj. koja bi svjesno rješavala probleme te se bez
problema snalazila u dinamičkoj sredini, no ona je još uvijek samo san.
 2. Definicije

Umjetna inteligencija je znanstvena disciplina u kojoj se izučavaju hardversko softverska

rješenja koja treba da omoguće sposobnosti, ponašanja i razmišljanja slična ljudskim ili bolje.
(percepcija, reakcije, ponašanje, zaključivanje, djelovanje)

Termin umjetna inteligencija UI ili artificial inteligence AI potječe od John-a McCarty-a i

označava pojavu inteligencije koja je stvorena na umjetni način tj.putem programiranja.

Klasifikacija UI prema vrsti rješavanja problema:

1. Sistemi za rješavanje čovjekovih uobičajenih zadataka (prepoznavanje slika i govora,

razumijevanje te prevođenje jezika, snalaženje u svakodnevnim situacijama)
2. Sistemi za rješavanje formalnih zadataka (logičke igre, matematički
zadatci,geometrija)
3. Sistemi za rješavanje kompliciranih zadataka (konstruiranje, pronalaženje grešaka,
planiranje i prozvodnja, naučne analize i dijagnostika)
 3. Osnovna načela

Kako bi se spriječila zlouporaba umjetne inteligencije Europska unija iz godine u

godinu uvodi zakone norme i načela kojih se tvrtke koje rade na istim moraju pridržavati kako
bi opstale na tržištu te kako bi mi ljudi zadržali svoju ljudskojst.

Projekti umjetne inteligencije trebali bi podlijegati ljudima te pravilima zaštite

privatnih podataka, biti sigurni i imati pouzdane algoritme.
„Etička dimenzija umjetne intelignecije nije luksuz niti puki dodatak. Naše društvo može u
potpunosti iskoristiti potencijal tehnologije samo ako u nju ima povjerenja“ izjavio je
potpredsjednik Europske komisije za digitalnu ekonomiju i društvo iz čega vidimo da se ljudi
u nekoj mjeri boje da će ih umjetna inteligencija preplaviti i nadvladati kao što to često
vidimo u znanstveno-fantastičnim filmovima.

Neki od zakona koje bi trebala poštovati umjetna inteligencija su:

1. Ljudsko djelovanje i nadzor

2. Podržavanje temeljnih ljudskih prava
3. Sigurnost i pouzdanost
4. Transparentnost
5. Dobrobit društva i okoliša
6. Odgovornost

Zanimljivo za spomenuti je da je Europska komisija 2018 godine angažirala 52 stručnjaka

iz akademske zajednice, industrijskih udruženja i kompanija širom svijeta uključujući Google,
SAP, Windows, Santander, Bayer i mnogi drugi kako bi pomogli pri izradi nacrti načela.
 4. Izazovi

Prema anketi provedenoj prethodnih godina na tisućama radnika u informatičkom sektoru,

umjetna inteligencija bila je daleko najčešće spominjana tehnologija i zauzima mjesto vodeće
tehnologije dok je iza nje tehnologija podataka i analitike. Umjetna inteligencija postat će
suština svega s čim će ljudi komunicirati u narednim godinama ali i u daljoj budućnosti.

Kada se dublje uđe u raspravljanje ove teme te dotaknemo i same robotike koja je u
bliskoj vezi sa umjetnom inteligencijom moramo si postaviti sljedeća pitanja.

„Kako će ljudi u budućnosti komunicirati, promatrati i tretirati ove uređaje?“

„Hoće li ikada ljudi dati prava umjetnoj inteligenciji?“

„Tko će imati moć odobriti ta prava?“

„Hoće li u nekoj dalekoj budućnosti umjetna inteligencija nadmašiti čovjeka?“

„Hoće li postati ravnopravni sa čovjekom?

Sve su to izazovi koji se stavljaju pred nas te se određena pitanja ne slažu s mnogo toga
kao vjera i osnovna prava ljudi.

Najveći izazov bi na kraju bio osobina ljudi koja nas tjera da uvijek budemo iznad svega
te upravljamo svime a sama pomisao da bi čovjeka u skorijoj budućnosti nešto moglo
nadmašiti u svim fazama života te postati nesto superiornije od nas samih je iznimno
zastrašujuće na veliku većinu.
 5. Pristupi i alati

Tehnike predstavljanja znanja nude potencionalno moćne alate za razvoj obrazovnog

softvera. Različitost tih tehnika omogućava dizajniranje snažnih inteligentnih sustava učenja i
sustava treniranja. Ključ uspjeha kod ovakvih sustava je selekcija sheme predstavljanja znanja
koja najbolje odgovara znanju tog područja i problemu koji treba da bude rješen. Taj izbor ovisi
od iskustva inženjera znanja. Inteligentni sustavi učenja zasnovani na slučajevima povećavaju
produktivnost instruktora, omogućavaju mu da uhvati korak sa sve složenijim sustavima
treniranja koji zahtevaju da se obezbjedi viši nivo vještine u odnosu na današnje visoko
podučavačke treninge. To također osigurava prilagođavanje instrukcija i neposrednost, dok
dozvoljava fleksibilnost u metodama predavanja pri čemu se postižu mnoge koristi kao što su
instrukcije jedan na jedan. Neki od pristupa su: pristup učitelja ili pedagoški model, logika, liste i
drva, semantičke mreže, okviri, skripte, metodologija rasuđivanja zasnovana na slučajevima itd.

Kroz povijest je bilo zahtjevno dati konkretnu definiciju i opisati svu šarolikost umjetne
inteligencije. To je ponajprije zbog toga što umjetna inteligencija predstavlja širok pojam.
Kompjutorski znanstvenici S.J.Russel i P.Norvig su 1995. izdali knjigu pod nazivom: „Umjetna
inteligencija - Moderan pristup“ , gdje su skupili na jednom mjestu veći broj definicija umjetne
inteligencije. Međutim zbog razlike u malim detaljima odlučili su ju klasificirati u četiri
kategorije.

Četiri kategorije su.

1. Pristup Turingova testa

2. Pristup kognitivnoga modeliranja

3. Pristup zakona mišljenja

4. Pristup racionalnih agenata

 Pristup Turingova testa
Pristup Turingova testa dao je istoimeni znanstvenih koji je taj test nazvao i „djelovanjem
poput ljudi“. Taj se pristup temelji na mišljenju da je određeni stroj inteligentan ako osoba
koja komunicira preko računalnog terminala ne može shvatiti je li njezin sugovornik osoba ili
stroj. Dakle, takav sustav treba biti razvijen na taj način da u idealnom smislu oponaša ljudsku
komunikaciju s ciljem zavaravanja svog sugovornika. Da bi to uspješno obavio, takav sustav
mora raspolagati sposobnostima kakve su procesiranje prirodnoga jezika, reprezentacija
znanja, automatsko rasuđivanje i strojno učenje.

Pristup kognitivnoga modeliranja

Ovaj pristup nazivamo još i „Mišljenjem oput ljudi“. Kao što i sam naziv govori, ne
temelji se samo na površinskim ljudskim osobinama već i na dubljoj razini gdje stroj počinje
poprimati ljudsko mišljenje. U ovom slučaju umjetna je inteligencija alat koji služi za
modeliranje uma, tj. za testiranje teorija uma. Znanost koja najbolje definira ovaj pristup
naziva se kognitivna znanost. Kognitivna znanost je jednostavno definirana kao znanstveno
proučavanje ili uma ili inteligencije. Ona je interdisciplinarno proučavanje uzimajući iz
relevantnih polja u koja spadaju antropologija, filozofija, lingvistika, neuroznanost,
psihologija i računarstvo. Jedna od prvih teorija kreirana u svrhu kognitivnoga modeliranja
bio je GPS ( General Problem Solver ). Razvijen je početkom 60-ih godina kao opći rješavač
problema koji pritom koristi algoritme kojima se koriste i ljudi i na taj način omogućava
stvaranje protokola vrlo sličnih ljudskima.

Pristup zakona mišljenja

Pristup zakona mišljenja u velikoj mjeri znači i racionalno mišljenje. Takvi sustavi
zovu se još i sustavima automatskog rasuđivanja i temelj im čine logički sustavi. Programi
koji djeluju racionalno kreirani su na taj način da imaju što veću djelotvornost  i da se koriste
što štedljivijim algoritmima. Prednost ovog logističkog pristupa je u tomu što se svaki logički
sustav može svesti na vrlo sažet skup pravila dok je glavni nedostatak taj što se ne može
primijeniti u svim realnim situacijama, osobito ako znanje na osnovu kojeg se treba donijeti
odluka nije potpuno ili je dvosmisleno.
 Pristup racionalnih agenata

Prema već spomenutim znanstvenicima, Russelu i Norvigu, i njihovoj knjizi, agent

predstavlja nešto što percepira ili djeluje. Ovaj pristup se temelji na djelovanju takvih agenata
pri čemu to djelovanje mora biti racionalno djelovanje. Važnost ovog pristupa dolazi do
izražaja u trenutku kada se ne može napraviti najracionalniji izbor, ali se u tom istom trenutku
neki izbor mora napraviti. Primjer je kada imamo ograničeni vremenski rok. Tada se od stroja
ne traži da uzme najbolje rješenje jer to najbolje rješenje u većini slučajeva iziskiva najviše
vremena, nego da nađe dovoljno dobro rješenje i da u datom trenutku djeluje. Ova vrsta
racionalnosti naziva se ograničena racionalnost. Kako ovaj pristup često zahtjeva djelovanje
u fizičkoj okolini ima veliku primjenu na području robotike. 
 6. Područja primjene umjetne inteligencije

Područja primjene umjetne inteligencije su doslovno neograničena. Ne postoji dio života u

koji je ne možemo implementirati. Stoga na temelju današnjih trendova u znanosti, potreba
društva te načina funkcioniranja tržišta možemo iznijeti neke pretpostavkeo tome kako bi mogao
izgledati razvoj umjetne inteligencije u budućnosti.

Podjelit ćemo je na četri smjera:

1. Umjetna inteligencija kao svakodnevni proizvod: mnogobrojni programi ili fizički

sustavi za svakodnevne manje ili više inteligentne zadatke (igre, roboti za industriju,
roboti za domaćinstvo, roboti za zabavu, roboti za uslužne djelatnosti) Veliki dio ovih
usluga ljudi ne bi ni prepoznali kao znak inteligencije jer ih vršimo instiktivno bez
prevelikog razmišljanja
2. Umjetna inteligencija u obrazovanju kao učitelji, profesori ili treneri koji su sposobni
adekvatno i s pouzdanjem prenijeti znanje iz svih područja
3. Umjetna inteligencija kao baza znanja: zahvaljujući internetu i njegovom svojstvu da
je dostupan apsolutno svima dolazi do prezasićenja informacijama. Među svim tim
informacijama veliki broj njih je neupotrebljiv, lažan ili jednostavno netočan te bi
ovakav sustav uveliko olakšao korištenje sustava za pretraživanje kako bi nas
obezbjedio najtočnijim informacijama za najkraće vrijeme.
4. Istraživanje i testiranje: zadnjih godina svjedoci smo brojnim otkrićima u svim
područjima života no do njih nije došlo tek tako. Iza svega toga su godine
razmišljanja rada i testiranja. Mnoštvo teorija još je u fazi razmišljanja ili su zapeli pri
matematičkim modelima ili pri samom testiranju te bi jedan ovakav sustav uveliko
pomogao mnoštvu znanstvenika prilikom razvoja njihovih ideja.
5. Umjetna inteligencija kao zamjena ljudima pri ekstremnim uvjetima rada: već sada se
uveliko koriste roboti i umjetna inteligencija u vojnoj industriji koja mjenja čovjeka
 kako bi on ostao siguran npr.roboti za bombe. Pored vojske vidi se potencijal razvoja
ovih sustava pri istraživanju drugih opasnih okolina kao svemir. U skorijoj budućnosti
očekuje se iznimno velik razvoj: inteligentnih letjelica, vozila i oružja koja mogu
obavljati opasne i okolinski zahtjevne zadatke bez neposredne prisutnosti ljudi za koje
rade.

7. Primjere primjene OpenAI FIVE

Slika 1. OpenAI ingame screenshot

OpenAI Five naziv je projekta strojnog učenja koji djeluje kao tim botova za video igre
koji igraju protiv ljudskih igrača u konkurentnoj videoigri Dota 2. Sustav je razvio OpenAI,
američka umjetna inteligencija (AI) istraživačka i razvojna tvrtka osnovana s misijom razvoja
sigurnog AI na način koji koristi čovječanstvu. Prvi javni nastup OpenAI Five-a dogodio se
2017. godine, gdje je demonstriran u igri uživo jedan na jedan protiv profesionalnog igrača igre
poznatog kao Dendi, koji ga je izgubio. Sljedeće je godine sustav napredovao do potpunog
nastupa od petorice i počeo igrati protiv te pokazao sposobnost poraza profesionalnih timova.
 Posljednja javna demonstracija robota dogodila se u travnju 2019., gdje su na live
događaju u San Franciscu pobijedili u najboljoj od tri serije protiv Internacionalnih prvaka 2018.
godine.

Četverodnevni internetski događaj koji se igra protiv botova, otvoren za javnost, dogodio
se istog mjeseca. Tamo su botovi igrali u 42.729 ukupnih mečeva, osvojivši sve osim 4.075 za
konačnih 99% pobjede. Što je i više nego uspješno ali također i zastrašujuće.

OpenAI Five razvijen je kao općenamjenski sustav osposobljavanja za učenje na

infrastrukturi "Rapid". Rapid se sastoji od dva sloja: on pokreće tisuće strojeva i pomaže im da
međusobno "razgovaraju", a drugi sloj pokreće softver. Od 2016. do 2018. godine OpenAI Five
odigrao je oko 180 godina igre vrijednih igara što bi za nas ljude značilo nebrojeno mnogo
života, iskustva i znanja.

Sam sustav radi tako što igra sa protiv sebe. Počine sa slučajnim parametrima i ne koristi
pretrage za priručnicim i tutorijalima ili reporodukciju profesionalnih igrača. Krene doslovno kao
djete dok uči hodati te se kroz vrijeme razvija i napreduje u zadatcima gdje oni postaju sve
kompleksniji i teži. Prilikom prvog igranja sustav se ne zna kretati dok već kroz nekoliko idućih
je razvio algoritam za najefikasnije kretanje sa što boljim ishodom po njega kako bi dobio
partiju. Da bi izbjegao kolaps tj.kako ne bi došao u stanje da ne zna što raditi, agent trenira 80%
svojih igara protiv sebe, a ostalih 20% protiv sebe u prošlosti. U prvim igrama junaci se besciljno
kreću po karti. Nakon višesatnih treninga, pojavili su se pojmovi poput laninga, farming ili borbi
na mapi. Nakon nekoliko dana, oni dosljedno usvajaju osnovne ljudske strategije te se pojavljuju
prvi znakovi inteligencije.

OpenAI Five ne sadrži kanal komunikacije između heroja. Timski rad kontrolira
parametar koji se zove "timski duh". Timski duh kreće se od 0 do 1, pri čemu se uzima težina
koliko bi svaki od junaka OpenAI Five trebao brinuti o svojoj individualnoj nagradnoj funkciji u
odnosu na prosjek nagradnih funkcija tima. Njegovu vrijednost je od 0 do 1 i otkriva se tijekom
treninga i prilikom samog izbora heroja odnosno je li heroju potrebno više vrijednosti tj.koliko je
bitan u odnosu na druga 4 iz svog tima.

U osnovi sustav funkcionira tako što od nekoliko tisuća opcija u određenom trenutku on
bira onu koja je u tom trenutku statistički najpogodnija i najprofitabilnija po njega.

Razlike u odnosu na ljude:

 OpenAI Five ima pristup istim informacijama kao i ljudi, ali odmah tj.trenutno vidi
podatke poput položaja, stanja zdravlja i predmeta koje ljudi moraju ručno provjeriti i to
oduzima vremena jer svo to vrijeme moraju igrati i razmišljati o drugim stvarima dok računalo to
odradi u djeliću sekunde. Metoda nije u osnovi vezana za promatranje stanja, ali za samo
prikazivanje piksela iz igre potrebno je tisuće GPU-a. OpenAI Five prosječno pokreće oko 150-
170 radnji u minuti (i ima teoretski maksimum 450 zbog promatranja svakog četvrtog frame-a).
Najbrža moguća reakcija za iskusne igrače tj.profesionalce, trivijalna je za OpenAI Five. OpenAI
Five ima prosječno vrijeme reakcije 80 ms, što je uveliko brže od ljudi. Te su razlike najvažnije
u 1na1 (gdje je robot imao reakcijsko vrijeme 67 ms), ali ta se brzina da zanemariti kao što smo
vidjeli da ljudi uče i prilagođavaju se robotu. Deseci profesionalaca koristili su robot za trening 1
na 1 u mjesecima nakon prošlogodišnjeg TI-ja. Prema feedback-u, robot 1 na 1 promijenio je
način na koji ljudi razmišljaju o 1na1 (bot je prihvatio brzi stil igre i svi su se sada prilagodili da
budu u toku).

Osim primjene u Dota 2 igri, ovaj sustav je našao primjenu i u drugim igrama kao što su
StarCraft, šah te mnoge druge. Pored igara sustav je našao primjenu i u robotici gdje imamo
primjer upravljanja robotskom rukom u svakodnevnim situacijama konkretno rješavanje
rubikove kocke.

RoboSumo je još jedan u nizu projekta gdje vidimo korištenje OpenAI sustava gdje robot
uči hodati te snalaziti se u prostoru pri dinamičkim uvjetima kao vjetrovit okoliš, udari raznim
predmetima i slično.

Sustav trenira pomoću umanjene verzije Proximal Policy Optimization koja radi na 256
GPU-a(grafičkih jedinica) i 128.000 CPU jezgri(procesorskih jezgri). Koristeći LSTM – Long
Short Term Memory individualno za svakog heroja uči strategije i stil igre bez ikakvog
potrebnog predzanja. Programski jezik koji se koristi je Python.
 Slika 2. Razlika korištenja resursa u 1v1 i 5v5

Rapid radi na principu tako da stvara kopije od OpenAI Five-a te igra sam protiv svojih
kopija kao što je prethodno navedeno. U svakom trenutku igre Rapid prepoznaje pozitivne i
negativne poteze te ih pamti odnosno uči kako bi u daljnjem radu mogao adekvatno prepoznati
koje akcije su uzrokovale pozitivne ili negativne posljedice.
PROJEKCIJE ZA BUDUĆNOST I ZAKLJUČAK

Što ako uspijemo?

Pod uspjehom se razumijeva potpun uspjeh: strojevi visokih razina inteligentnoga

ponašanja koji mogu ravnopravno komunicirati s ljudima. Što će se onda dogoditi u društvima?
Koje će biti implikacije ovakva razvoja na socijalne znanosti, ekonomiju, pravo, etiku? Premda
zasad postoje male naznake u tome smjeru, javne se polemike ne bave toliko mogućnošću
umjetnih inteligentnih bića.

Polemike i moralna panika još su uvijek usmjerene prema genetičkim istraživanjima,

pogotovo otkad je humano kloniranje postalo realna mogućnost. Ipak, moramo se zapitati što bi
se moglo dogoditi ako na našem planetu zažive visokointeligentna bića koja smo sami stvorili?
Kakav će biti etički i pravni odnos prema njima? Hoće li se smatrati građanima i kojega reda?
Kako će se prema tome odrediti kazneni zakon, i to za kaznena djela u kojima su umjetna bića
počinitelji i za djela u kojima su žrtve? Hoće li društvena svakodnevica biti obilježena oblikom
ugljičnoga šovinizma, po kojemu bi se status punopravnoga bića mogao priznati samo bićima od
ugljika, ali ne i umjetnim bićima?

Dio filozofskih problema proizlazi iz teleološkog određenja tih bića. Postoje li ona jer su
stvorena sa svrhom kojoj moraju služiti ili se mogu u jednom dijelu vlastita postojanja odrediti
kao slobodna bića? Konačno, teologija i religijske institucije neće biti pošteđene vlastitih
polemika: Kako riješiti probleme tvorca, duše i spasitelja umjetnih bića? Zasad rješenja takvih
problema možemo pronaći uglavnim u znanstveno-fikcijskim djelima.
POPIS LITERATURE

1. AI, O. (2016-2019). Open AI. Dohvaćeno iz Open AI: https://openai.com/projects/five/

2. AI, O. (2016-2019). Open AI. Dohvaćeno iz Open AI: https://openai.com/progress/

3. Buckland, M. (2004). AI for Game Developers. O'Reilly & Associates.

4. Corporation, V. (n.d.). Dota 2. Dohvaćeno iz Dota 2: www.dota2.com

5. Nystrom, R. (2014). Game Programming Patterns. gb.

6. Rabid, S. (2017). Game AI Pro 3: Collected Wisdom of Game AI Professionals. CRP.

7. Schreiner, T. A. (2009). Artificial Intelligence in Game Design. Tim Artificial Intelligence Depot.
Web. Dohvaćeno iz AI-depot.com.

8. Schroeder, M. (31. May 2019). Towards at a science. Dohvaćeno iz Towards at a science:

https://towardsdatascience.com/making-a-dota2-bot-using-ml-c8cb2423a2be

9. Statt, N. (13. April 2019). The Verge. Dohvaćeno iz The Verge:

https://www.theverge.com/2019/4/13/18309459/openai-five-dota-2-finals-ai-bot-
competition-og-e-sports-the-international-champion

10. Wiggers, K. (22. April 2019). Venturebeat. Dohvaćeno iz Venturebeat:

https://venturebeat.com/2019/04/22/openais-dota-2-bot-defeated-99-4-of-players-in-
public-matches/

11. Wilson, J. L., Brown, K., Lombardi, C., Weksler, M., & Coleman, T. (1994). The Designer's
Dilemma. The Eighth Computer Game Developers Conference, (str. 26-31).

12. World, C. G. (2014). "The 7th International Computer Game Developers Conference".
Computer Gaming World. July 1993. p. 34. Retrieved 12 July 2014. The 7th International
Computer Game Developers Conference (str. 34). 2014.

13. Yannakakis, G. N. (2014). Proceedings of the 9th Conference on Computing Frontiers. U

Game AI revisited (str. 285-292).
POPIS SLIKA

Slika 1. OpenAI ingame screenshot

Slika 2. Razlika korištenja resursa u 1v1 i 5v5