UNIVERZITET U KRAGUJEVCU

PRIRODNO-MATEMATIČKI FAKULTET

OPEN DATA KONFERENCIJA 2019

KRAGUJEVAC

Korišćenje otvorenih podataka -

UNDP konkurs i servisi za BigData

dr Miloš Ivanović, vanr. profesor, email: mivanovic@kg.ac.rs

O čemu će biti reči?
●
BigData, šta je to?
●
Grupa za HPC i BigData na PMF-u u Kragujevcu
●
Primena u hidroinformatici - Optimizacija
●
Primena u hidroinformatici - Bezbednost
●
Softverski paket Devonna
●
Poziv UNDP – Open Data Challenge
●
Klaud seris BlackFox

2
Šta je Big Data?

Model generisanja i prikupljanja podataka je promenjen!

Stari model: Nekoliko kompanija generiše, ostali prikupljaju

Novi model: Svi generišemo i svi konzumiramo podatke

3
Ko generiše podatke?

Mobilni uređaji
(i njihovi senzori)
Socijalne mreže i mediji
(svi mi geneišemo podatke)

Mreže senzora
Naučni instrumeti (mere razne veličine)
(skupljaju razne vrste podataka)

• Progres nije više ograničen problemom prikupljanja podataka

• Međutim, jeste ograničen problemom upravljanja, analize, vizuelizacije, te izvlačenja znanja

iz skupljenih podataka, i to pravovremeno i skalabilno.

4
1-Veličina (Volume)

• Veličina podataka
• 44x porast od 2009 - 2020
• Od 0.8 ZB do 35ZB
• Eksponencijalni rast!

5
2-Kompleksnost (Varity)

• Razni formati, tipovi i strukture

• Tekst, slike, numerički podaci, audio,

video, vremenske serije,
višedimenzioni nizovi…

• Statički podaci vs. streaming

Di bi se izvuklo znanje  svi ovi podaci treba

da se povežu.

6
3-Brzina (Velocity)

• Podaci se brzo generišu, pa treba brzo i da se

procesiraju
• Online Data Analytics

• Prekasne odluke  propuštene prilike

• Primeri
• E-Promocije: Na osnovu koordinata korisnika šalju se na
mobilni uređaj podaci o promocijama u obližnjem objektu.
• Monitoring u zdravstvu: Senzori beleže promene telesnih
parametara i momentalno se reaguje na loša očitavanja.
• Monitoring kritične infrastrukture

7
Šta pokreće Big Data Hype?

- Optimizacija i prediktivna analiza

- Složena statistička analiza
- Svi tipovi podataka iz mnogih izvora
- Vrlo velike skupine podataka
- U realnom vremenu

- Ad-hoc upiti i izveštaji

- Data mining tehnike
- Strukturirani podaci, tipični izvori
- Mali i srednji skupovi podataka

8
HPC – jedna od instalacija
●
2 management/storage servers - 12TB raw, Lustre FS
●
22 nodes, 2 x Intel Xeon E5-2670, 16 cores, 64GB RAM
●
4 Tesla K20m accelerators
●
Scientific Linux 6.9
●
Infiniband QDR interconnect (40 Gpbs)
●
Komercijalni paketi: Intel Fortran/C++, Gaussian

9
Obrazovanje – PMF Kragujevac
●
2011. godine uveden predmet
Paralelno programiranje u OAS
informatike
Proučavaju se MPI, OpenMP i CUDA
●
2014. godine u predmet Operativni
sistemi 2 uveden Hadoop i Spark
●
2016. godine IMI Blog pokriva
teme iz oblasti HPC i Big Data
●
2019. godine uvodi se MAS
program za Data Science

10
Primena - Hidroinformatika
●
Dugogodišnja saradnja sa Institutom Jaroslav Černi
●
Spin-off kompanija Vodena d.o.o.
●
Dve osnovne oblasti
– Optimizacija proizvodnje
– Praćenje bezbednosti hidroenergetskih objekata

11
Optimizacija proizvodnje električne energije
●
U produkciji od septembra 2018. god.
●
Podaci iz RHMZ, berze, senzora na brani itd.
●
Aplikacija za optimizaciju proizvodnje bazirana
na hidrološkoj prognozi, prognozi cena na
berzi, pod fizičkim, zakonskim i ekološkim
ograničenjima

12
Teški optimizacioni problemi

●
Genetski algoritmi
●
Svaka jedinka je posebna simulacija
●
100 jedniki kroz 100 generacija
●
33 h -> 20 min

13
Monitoring bezbednosti brane
●
Prosečna brana u Evropi je stara 50 godina
●
Zato se vrši monitoring pomoću različitih senzora
●
Procena očekivanih vrednosti vrši se pomoću statističkih
modela koji se kreiraju MANUELNO
●
Često se dešavaju otkazi opreme za monitoring

14
DEVONNA – automatsko generisanje ANN modela

●
Dam health assessment based on evolving
artificial neural networks
●
Kreiranje odgovarajućeg modela na osnovu
trenutno dostupnih podataka u realnom
vremenu
●
Rezervisano za HPC

15
Devonna – internacionalna priznanja

16
UNDP konkurs - izazov otvorenih podataka

●
Unapređenje dostupnosti medicinske opreme, na osnovu podataka Agencije za lekove i
medicinska sredstva i Instituta za javno zdravlje Srbije „Dr Milan Jovanović Batut“,
●
Upoznajte opštine u Srbiji, na osnovu podataka Republičkog zavoda za statistiku i Agencije za
privredne registre,
●
Informisanje građana o nivoima i promenama elektromagnetskog polja, na osnovu podataka
Regulatorne agencije za elektronske komunikacije i poštanske usluge (RATEL)

17
Monitoring nivoa izloženosti EM polju

●
http://emf.ratel.rs/lat/ispitivanja-em-po
lja/
●
Stepen korelacije između senzora je
značajan
●
Postoji jasan trend

18
Ideja – mapiranje urbane sredine

●
Heat mapa
●
Near real-time pokrivanje u slučaju otkaza senzora
●
Ohrabruje jaka korelacija serija na području Beograda

19
BlackFox – Automatsko prediktivno modeliranje korišćenjem ANN

Prepare dataset Make predictions

Import data Preprocessing Deployment

Structure dataset Modeling

Prepare dataset Make predictions

20
BlackFox – integracija u data science ekosistem

21
BlackFox – Klaud servis za automatsko generisanje ANN modela

●
STANDARDNI MANUELNI PRISTUP Comparison
– Korak 1: Klasična izgradnja, obučavanje i testiranje 18
mreže pomoću biblioteke Keras. Zahteva ekspertsko
znanje iz oblasti mašinskog učenja. 16

Greška 17%, vreme izvršenja 10 minuta. 14

12
– Korak 2: Optimizacija arhitekture ANN. Zahteva AI
ekspertizu i vremenski je zahtevna. 10

Greška 15%, vreme izvršenja 4 sata.

8

6
●
KORIŠĆENE BLACKFOX SERVISA 4
– Ne zahteva ekspertizu i izvršava se u vidu Cloud
servisa na HPC/IaaS infrastrukturi. 2

Greška 10%, vreme izvršenja 1 sat. 0

ANN Optimized ANN Black Fox

Error (%) Time (h)

22
Naš tim

Milos Ivanovic, PhD

Boban
CTO
Stojanovic, PhD
CEO

Dusan Tomislav Mrdja Uros Stankovic Milos Blagojevic Aleksandra

Vladimir Bacanin Drenovak
Development Stefanovic Solution developer Solution developer Data scientist
Solution architect QA manager
manager

Visnja Simic, Ana Kaplarevic-

Miroljub Krstic Dijana Jovanovic Milovan Milivojevic, PhD Malisic, PhD
Business CFO PhD Artificial Computer modeling
developer Artificial intelligence intelligence External expert
External expert

23