UNIVERZITET U SARAJEVU

FAKULTET ZA SAOBRAĆAJ I KOMUNIKACIJE

SEMINARSKI RAD IZ PREDMETA:

Distribuirani računarski sistemi

Tema rada: Microsoft Azure Storage servisi

Predmetni nastavnik: Dr.sc. Bakir Karahodža

Asistent (saradnik):
Student: Amela Brdarić
Broj indeksa: 935/II
Usmjerenje: KT
Godina studija: I godina MSC studija
Rezultat rada:

Datum: ______________
SADRŽAJ

SAŽETAK..................................................................................................................................2

UVOD.........................................................................................................................................3

1. Osnovne Storage servisa........................................................................................................4

1.2 Vrste Azure Storage i slučajevi upotrebe.........................................................................4

2. Azure Storage račun...............................................................................................................5

3. Azure Blob storage.................................................................................................................5

3.1 Blob kategorije.................................................................................................................6

3.2 Blob Storage resursi.........................................................................................................7

3.3 Zašto koristiti Blob Storage?............................................................................................8

4. Azure Storage tabele..............................................................................................................8

4.1 Komponente Azure tablice za pohranu............................................................................8

4.2 Azure Tabele Storage Vs. Azure SQL baza podataka.....................................................9

4.3 Zašto koristiti Azure Tabele Storage?..............................................................................9

5. Azure Queues Storage..........................................................................................................10

5.1 Koncepti Queues Storage................................................................................................10

5.3 Zašto koristiti Azure Queues Storage?...........................................................................12

6. Azur Files.............................................................................................................................12

6.1 Zašto su Azure datoteke korisne....................................................................................13

6.2 Zašto koristiti Azure sistem datoteka (AFS)..................................................................15

6.3 Prednosti Azure datoteka...............................................................................................15

7. Dremio and Azure Storage...................................................................................................16

7.1 Data Lake Engine za Azure...........................................................................................17

ZAKLJUČAK...........................................................................................................................19

POPIS SLIKA...........................................................................................................................20

LITERATURA.........................................................................................................................21

1
SAŽETAK

Windows Azure Storage (WAS) je sistem za skladištenje podataka u oblaku koji pruža
korisnicima mogućnost skladištenja naizgled neograničenih količina podataka u bilo kojem
vremenskom periodu. WAS kupci imaju pristup svojim podacima s bilo kojeg mjesta u bilo
koje vrijeme i plaćaju samo ono što koriste i čuvaju. U WAS-u se podaci trajno pohranjuju
koristeći lokalnu i geografsku replikaciju kako bi se olakšao oporavak od katastrofe. Trenutno
WAS pohrana dolazi u obliku Blobs (datoteka), Tabela (strukturirana pohrana) i Redova
(isporuka poruka). U ovom radu opisujem WAS arhitekturu, globalni prostor imena i model
podataka, kao i sisteme za osiguravanje resursa, uravnoteženje opterećenja i replikaciju.

Ključne riječi: Azure, storage, table, blob, file, queue

2
UVOD

Azure Storage je usluga u claudu kojom upravlja Microsoft i koja nudi pohranu koja je visoko
dostupna, sigurna, trajna, skalabilna i suvišna. Bilo da se radi o slikama, zvuku, video
zapisima, zapisnicima, konfiguracijskim datotekama ili podacima senzora iz IoT niza, podatke
treba pohraniti na način koji će biti lako dostupan za potrebe analize, a Azure Storage pruža
mogućnosti za svaku od ovih mogućih slučajevi upotrebe.[1]

Azure Storage platforma je Microsoftovo rješenje za pohranu podataka u oblaku za moderne

scenarije pohrane podataka. Osnovni servisi pohrane nude masivno skalabilno spremište
objekata za podatkovne objekte, skladište na disku za Azure virtualne mašine (VM), uslugu
sistema datoteka za cloud, skladište poruka za pouzdanu razmjenu poruka i NoSQL spremište.

Servisi su:

 Izdržljiv i visoko dostupan. Rezerviranje osigurava sigurnost vaših podataka u

slučaju privremenih kvarova hardvera. Možete se odlučiti i za kopiranje podataka u
centrima podataka ili geografskim regijama radi dodatne zaštite od lokalne katastrofe
ili prirodne katastrofe. Podaci replicirani na ovaj način ostaju vrlo dostupni u slučaju
neočekivanog prekida rada.
 Sigurno. Svi podaci zapisani na Azure račun za pohranu šifriraju se uslugom. Azure
Storage pruža vam preciznu kontrolu nad tim ko ima pristup vašim podacima.
 Skalabilno. Azure Storage je dizajniran da bude masivno skalabilan da zadovolji
potrebe za pohranom podataka i performansama današnjih aplikacija.
 Managed. Azure za vas rješava održavanje hardvera, ažuriranja i kritične probleme.
 Pristupačno. Podaci u Azure Storageu mogu se pristupiti s bilo kojeg mjesta na
svijetu putem HTTP-a ili HTTPS-a. Microsoft nudi klijentske biblioteke za Azure
Storage na raznim jezicima, uključujući .NET, Java, Node.js, Python, PHP, Ruby, Go i
druge, kao i zreli REST API. Azure Storage podržava skriptiranje u Azure PowerShell
ili Azure CLI. A Azure portal i Azure Storage Explorer nude jednostavna vizuelna
rješenja za rad s vašim podacima.[2]

3
 1. Osnovne Storage servisa

Platforma Azure Storage uključuje sljedeće usluge podataka:

Azure blobs: masivno skalabilno spremište objekata za tekst i binarne podatke. Takođe
uključuje podršku za analitiku velikih podataka putem Data Lake Storage Gen2.

Azure datoteke: Upravljane dionice datoteka za postavljanje u oblaku ili lokalno.

Azure redovi: Skladište poruka za pouzdanu razmjenu poruka između komponenata

aplikacije.
Azure tablice: NoSQL spremište za bezsheme skladištenje strukturiranih podataka.

Azure diskovi: Količine blokova za skladištenje za Azure VM.

Svakoj usluzi se pristupa preko računa za pohranu.[2]

1.2 Vrste Azure Storage i slučajevi upotrebe

Unutar Azure postoje dvije vrste računa za pohranu, četiri tipa za pohranu, četiri nivoa
redundancije podataka i tri sloja za čuvanje datoteka. Detaljno ćemo istražiti svaku od ovih
opcija kako bismo vam pomogli da shvatite koja ponuda udovoljava vašim potrebama za
pohranom velikih podataka.[1]

Slika 1. Azure Storage Arhitektura [1]

4
 2. Azure Storage račun

Azure račun za pohranu je pristupna tačka svim elementima koji čine područje Azure
pohrane. Jednom kada korisnik kreira račun za pohranu, može odabrati potrebnu razinu
otpornosti, a Azure će se pobrinuti za ostalo. Jedan račun za pohranu može pohraniti do 500
TB podataka, a kao i bilo koja druga Azure usluga, korisnici mogu iskoristiti model cijene uz
plaćanje po upotrebi.

Postoje dva različita tipa računa za pohranu. Sa „standardnim“ računom za pohranu korisnici
dobijaju pristup Blob Storage, Table Storage, Queues i Storage File. Alternativni „premium“
račun najnovija je opcija za pohranu koja korisnicima nudi pohranu podataka na SSD
diskovima radi boljih I / O performansi; ova opcija podržava samo blobs stranice.[1]

Račun za pohranu pruža jedinstveni prostor imena u Azureu za vaše podatke. Svaki objekt
koji pohranite u Azure Storage ima adresu koja uključuje vaše jedinstveno ime računa.
Kombinacija imena računa i krajnje tačke Azure Storage blob formira osnovnu adresu za
objekte na vašem računu memorije.[3]

Na primjer, ako se vaš račun za pohranu naziva mystorageaccount, tada je zadana krajnja
tačka za Blob pohranu: http://mystorageaccount.blob.core.windows.net

3. Azure Blob storage

Blob Storage je usluga Microsoft Azure za pohranu binarnih velikih objekata ili blobova koji
su obično sastavljeni od nestrukturiranih podataka kao što su tekst, slike i videozapisi, zajedno
s njihovim metapodacima. Blobs se pohranjuju u strukture slične direktoriju, koje se nazivaju
"spremnici". Azure Blob skladište je Microsoftovo rješenje za pohranu objekata za oblak.
Blob pohrana je optimizirana za pohranu ogromnih količina nestrukturiranih podataka.
Nestrukturirani podaci su podaci koji se ne pridržavaju određenog modela podataka ili
definicije, kao što su tekst ili binarni podaci.

Blob Storage je dizajnirano za:

1. Posluživanje slika ili dokumenata direktno u pregledaču.

2. Pohranjivanje datoteka za distribuirani pristup.
3. Streaming video i audio.

5
 4. Zapisivanje u datoteke dnevnika.
5. Pohranjivanje podataka za sigurnosno kopiranje i vraćanje, oporavak od katastrofe i
arhiviranje.
6. Pohranjivanje podataka za analizu u lokalnoj usluzi ili usluzi koju hostira Azure

Korisnici ili klijentske aplikacije mogu pristupiti objektima u Blob memoriji putem HTTP /
HTTPS-a, s bilo kojeg mjesta na svijetu. Objektima u Blob memoriji pristupa se putem Azure
Storage REST API-ja, Azure PowerShell-a, Azure CLI-a ili klijentske biblioteke Azure
Storage. Klijentske biblioteke dostupne su za različite jezike, uključujući: NET, Java, Node.js,
Python, Idi, PHP, Ruby

Usluga blob uključuje:

1. Blobs, koji su objekti podataka bilo koje vrste

2. Spremnici koji umotavaju više mrlja zajedno
3. Azure račun za pohranu, koji sadrži sve vaše Azure objekte podataka za pohranu. [2]

3.1 Blob kategorije

Iako blob omogućuje pohranu velikih binarnih objekata u Azure, oni su optimizirani za tri
različita scenarija pohrane:

 Blokiranje blobova: Ovo su blobovi koji su namijenjeni za pohranu diskretnih

objekata poput slika, datoteka dnevnika i još mnogo toga. Blok blobovi mogu
pohraniti podatke do ~ 5TB ili 50.000 blokova do 100MB svaki.
 Blobs stranice: Optimizirani su za slučajno čitanje i pisanje i mogu narasti do 8TB.
Unutar kategorije blob stranica, Azure nudi dvije vrste pohrane: standardnu i
premium. Potonji je najidealniji za diskove za pohranu virtualne mašine (VM)
(uključujući disk operativnog sistema).
 Dodavanje blobova: Optimizirano za scenarije dodavanja poput pohrane dnevnika,
dodavanje blogova sastoji se od nekoliko blokova različitih veličina - do maksimalno
4MB. Svaka dodana blob memorija može sadržavati do 50 000 blokova, što
omogućava da svaka dodana blob-jedinica naraste do 200 GB.

Blob računi za pohranu nude tri vrste slojeva koji su odabrani u vrijeme izrade računa za
pohranu.

6
  Razina vrućeg pristupa: Od tri opcije, razina vrućeg pristupa je najoptimiziranija za
podatke kojima se često pristupa. Nudi najniži trošak pristupa (čitanje-pisanje), ali
najviši trošak skladištenja.
 Razina hladnog pristupa: Ova je opcija prikladnija za slučajeve upotrebe u kojima će
podaci ostati pohranjeni najmanje 30 dana i neće im se često pristupati. U usporedbi s
vrućim pristupnim slojevima, ovaj nivo nudi niže troškove skladištenja i veće troškove
pristupa.
 Razina pristupa arhivi: Skladište arhive dizajnirano je za podatke kojima ne treba
odmah pristupiti. Ova razina nudi veće troškove dohvata podataka, a također i veću
kašnjenje pristupa podacima. Dizajniran je za slučajeve upotrebe u kojima će se
podaci čuvati više od 180 dana i rijetko im se pristupa.[2]

3.2 Blob Storage resursi

Blob storage nudi tri vrste resursa:

1. Račun za pohranu
2. Spremnik na računu za pohranu
3. Blob u kontejneru

Sljedeći dijagram prikazuje odnos između ovih resursa.

Slika 2.Odnos između blob storage resursa[3]

7
 3.3 Zašto koristiti Blob Storage?

Mnogo onoga što potrošači podataka rade sa pohranom fokusirano je na bavljenje

nestrukturiranim podacima kao što su dnevnici, datoteke, slike, videozapisi itd. Korištenje
Azure-ove blob memorije način je za prevladavanje izazova potrebe za primenom različitih
sistema baza podataka za različite vrste podataka . Blob pohrana pruža korisnicima snažnu
dosljednost podataka, fleksibilnost pohrane i pristupa koja se prilagođava potrebama
korisnika, a također pruža visoku dostupnost primjenom geo-replikacije.[1]

4. Azure Storage tabele

Azure Table Storage je skalabilni, NoSQL, sistem za skladištenje podataka ključ / vrijednost
koji se može koristiti za skladištenje velike količine podataka u oblaku. Ova ponuda za
pohranu ima dizajn bez sheme, a svaka tablica ima retke koji se sastoje od parova ključ /
vrijednost. Microsoft ga opisuje kao idealno rješenje za pohranu strukturiranih i nerelacijskih
podataka, pokrivajući slučajeve korištenja od pohrane terabajta strukturiranih podataka koji
služe web aplikacijama, do spremanja skupova podataka koji ne zahtijevaju složena spajanja
ili strane ključeve, do pristupa podacima koristeći .NET biblioteke.

4.1 Komponente Azure tablice za pohranu

Stolno spremište uključuje:

1. Račun za pohranu koji sadrži sve vaše tablica.

2. Tabele koje se sastoje od zbirki „entiteta“.
3. Entiteti, koji su skupovi svojstava, slični redovima baze podataka. Veličina entiteta
može narasti do 1 MB.
4. Svojstva, najgraniraniji elementi na listi, sastoje se od parova imena i vrijednosti.
Entiteti mogu umotati do 252 svojstva za pohranu podataka, a svaki entitet sadrži
tri sistemska svojstva koja definiraju njegov particijski ključ, ključ reda i
vremensku oznaku.

8
 Slika 3. Stalno spremište azure tabele [1]

4.2 Azure Tabele Storage Vs. Azure SQL baza podataka

Ove dvije tehnologije, iako vrlo slične, dizajnirane su za rješavanje vrlo različitih slučajeva
upotrebe. Međutim, jedna od glavnih razlika između njih dvije je njihov kapacitet. Azure
tablice mogu imati redove veličine do 1 MB s ne više od 255 svojstava, uključujući tri
identifikacijska ključa: particiju, red i vremensku oznaku. Što znači da kada korisnici dodaju
veličinu svih 255 svojstava, ne mogu premašiti 1 MB.

S druge strane, Azure SQL baze podataka mogu imati redove veličine do 2 GB. Naravno, ovo
bi navelo korisnika da pomisli da Azure SQL baze podataka nisu nimalo pametne kad je u
pitanju pohrana velike količine podataka. Međutim, Azure SQL baze podataka mogu se
prilagoditi samo do 150 GB, dok je maksimalna veličina podataka za Azure tablice 200 TB po
tablici.

4.3 Zašto koristiti Azure Tabele Storage?

Azure spremište tablice omogućava korisnicima da lako grade aplikacije u oblaku bez brige o
zaključavanju šeme. Razvojni programeri trebali bi razmotriti mogućnost upotrebe Azure
tablice za pohranu podataka kada žele pohraniti podatke u opsegu od više terabajta,
istovremeno smanjujući troškove pohrane - kada pohranjeni podaci ne ovise o složenom

9
spajanju na strani poslužitelja ili drugoj logici. Dodatni slučajevi upotrebe uključuju scenarije
oporavka od katastrofe ili pohranu podataka do 500TB bez potrebe za primjenom logike
oštrenja.[1]

5. Azure Queues Storage

Usluga Azure Queue koristi se za spremanje i dohvaćanje poruka. Poruke u redu mogu biti do
64 KB, a red može sadržavati milione poruka. Redovi se obično koriste za spremanje popisa
poruka koje će se asinhrono obrađivati.

Na primjer, recite da želite da vaši kupci mogu prenijeti slike i želite stvoriti sličice za svaku
sliku. Kupci bi mogli čekati da stvorite minijature dok prenosite slike. Alternativa bi bila
upotreba reda. Kada kupac završi prijenos, napišite poruku u red. Zatim neka Azure funkcija
preuzme poruku iz reda i kreira minijature. Svaki od dijelova ove obrade može se odvojeno
skalirati, dajući vam veću kontrolu prilikom podešavanja za vašu upotrebu.[2]

Azure Queue Storage je usluga za skladištenje velikog broja poruka. Porukama pristupate s
bilo kojeg mjesta na svijetu putem potvrđenih poziva pomoću HTTP-a ili HTTPS-a. Poruka u
redu može biti do 64 KB. Red može sadržavati milione poruka, do ograničenja ukupnog
kapaciteta računa za pohranu. Redovi se obično koriste za stvaranje zaostalog posla koji se
asinhrono obrađuje.[4]

Redovi postoje već dugo - njihova jednostavna FIFO (prva ulazna, prva izlazna) arhitektura
čini redove svestranim rješenjem za pohranu poruka koje ne trebaju biti u određenom
redoslijedu. Jednostavno rečeno, Azure Queue Storage je usluga koja omogućava korisnicima
da pohranjuju velike količine poruka, obrađuju ih asinkrono i troše po potrebi, a istovremeno
smanjuju troškove koristeći model cijene uz naplatu po upotrebi.[1]

5.1 Koncepti Queues Storage

Pohrana u redu sadrži sljedeće komponente:

10
 Slika 4. Dijagram koji prikazuje odnos između računa za pohranu, redova i poruka.

 URL format: Redovi se mogu adresirati koristeći sljedeći format URL-a:

https: // <račun za pohranu> .queue.core.windows.net / <queue>

Sljedeći URL adresira red na dijagramu:

https://myaccount.queue.core.windows.net/images-to-download

 Račun za pohranu: sav pristup Azure Storage-u vrši se preko računa za pohranu. Za
informacije o kapacitetu računa za pohranu, pogledajte Proširivost i ciljevi
performansi za standardne račune za pohranu.

 Red čekanja: Red sadrži skup poruka. Ime reda mora biti malo. Za informacije o
imenovanju redova, pogledajte Imenovanje redova i metapodataka.

 Poruka: Poruka, u bilo kojem formatu, do 64 KB. Prije verzije 29.07.2017.,

Maksimalno dozvoljeno vrijeme života je sedam dana. Za verziju 2017-07-29 ili
noviju, maksimalno vrijeme života može biti bilo koji pozitivan broj ili -1 što znači da
poruka ne ističe. Ako je ovaj parametar izostavljen, zadani rok trajanja je sedam dana.
[4]

Međutim, jedan red može primiti poruke vrijedne do 200TB. Poruke mogu biti tekstualni
nizovi ili nizovi bajtova koji sadrže bilo koju vrstu informacija u formatima kao što su XML,
CSV itd.[1]

Slika 5. Komponente Azure redova za pohranu

11
 5.3 Zašto koristiti Azure Queues Storage?

Redovi smanjuju mogućnost gubitka podataka zbog vremenskih ograničenja u spremištu

podataka ili dugotrajnih procesa; dobar primjer ovog scenarija je košarica za kupovinu ili
forum na kojem korisnik može poslati „narudžbu“ u obliku kupovine ili poruke na oglasnoj
ploči. Čitač će se tada pobrinuti za unošenje ili "uklanjanje redova" poruke, dok će korisniku
vraćati kontrolu kako bi mogao nastaviti s navigacijom web stranicom.

Redovi omogućavaju korisnicima da prihvate sve informacije koje dolaze i da se zatim bave
njima tempom aplikacije. Vraćajući se na scenarij kolica za kupovinu, zamislite situaciju kada
korisnik stavi preko 50 predmeta na košaricu i spreman je za plaćanje. Jednom kada se
korisnik odjavi, ako red nije na mjestu, informacije o narudžbi morale bi se odmah obraditi i
pohraniti u bazu podataka, i kao što možete zamisliti, u vršnim vremenima to bi moglo stvoriti
usko grlo i srušiti cijeli sustav. Redovi pružaju mehanizam otporan na kvarove u kojem se sve
narudžbe mogu pohranjivati ograničeno vrijeme, a zatim obrađivati i izvršavati jer sistem ima
propusnost za to. Na ovaj način je zajamčeno da će svaki element u redu dobiti pažnju.

6. Azur Files

Azure datoteke su usluga dijeljene mrežne pohrane datoteka koja pruža administratorima
način pristupa matičnim dijeljenjima SMB datoteka u oblaku. Te se dionice - kao i ostatak
Azure ponuda pohrane - mogu postaviti kao dio Azure računa za pohranu. Usluga Azure
datoteka pruža način aplikacija koje se izvode na VM u oblaku da dijele datoteke među njima
pomoću standardnih protokola poput WriteFile ili ReadFile.

12
 Slika 6. VM storage architecture

Azure Files nudi potpuno upravljane dijeljene datoteke u oblaku kojima je moguće pristupiti
putem standardnog protokola SMB (Server Message Block) ili Mrežnog sistema datoteka
(NFS). Dijeljenja Azure datoteka mogu se istovremeno montirati u oblaku ili lokalnom
postavljanju. Dijeljenje SMB datoteka Azure datoteka dostupno je iz Windows, Linux i
macOS klijenata. Dijeljenja datoteka Azure Files NFS dostupna su s Linux ili macOS
klijenata. Pored toga, dijeljenja SMB datoteka Azure Files mogu se predmemorirati na
Windows serverima pomoću Azure File Sync za brzi pristup u blizini mjesta gdje se podaci
koriste.

6.1 Zašto su Azure datoteke korisne

Azure dijeljenja datoteka mogu se koristiti za:

1. Zamijenite ili dopunite lokalne servere datoteka:

Azure datoteke mogu se koristiti za potpuno zamjenu ili dopunu tradicionalnih lokalnih
poslužitelja datoteka ili NAS uređaja. Popularni operativni sistemi kao što su Windows,
macOS i Linux mogu direktno montirati Azure dijeljene datoteke gdje god se nalazili u
svijetu. Dijeljenja Azure datoteka SMB datoteka također se mogu replicirati s Azure File
Sync na Windows servere, bilo lokalno ili u oblaku, radi izvedbe i distribuiranog
predmemoriranja podataka tamo gdje se koriste. S nedavnim izdanjem provjere autentičnosti

13
Azure Files AD, dijeljenja SMB datoteka Azure datoteke mogu nastaviti raditi s AD
hostiranim lokalno za kontrolu pristupa.

2. Aplikacije za "podizanje i pomicanje":

Azure datoteke olakšavaju "podizanje i prebacivanje" aplikacija u oblak koji očekuju da će

udio datoteka pohraniti aplikaciju ili korisničke podatke. Azure datoteke omogućuju i
"klasični" scenarij podizanja i pomaka, gdje se aplikacija i njegovi podaci premještaju u
Azure, te "hibridni" scenarij podizanja i pomicanja, gdje se podaci aplikacije premještaju u
Azure datoteke, a aplikacija nastavlja pokrenuti u lokalu.

3. Pojednostavite razvoj oblaka:

Azure datoteke se takođe mogu koristiti na brojne načine za pojednostavljivanje novih

razvojnih projekata u oblaku. Na primjer:

4. Postavke zajedničke aplikacije:

Uobičajeni obrazac distribuiranih aplikacija je imati konfiguracijske datoteke na

centraliziranoj lokaciji gdje im se može pristupiti iz mnogih instanci aplikacija. Primjeri
aplikacija mogu učitati svoju konfiguraciju putem API-ja File REST, a ljudi im mogu
pristupiti po potrebi postavljanjem SMB dijeljenja lokalno.

5. Dijagnostički udio:

Dijeljenje datoteka Azure prikladno je mjesto za aplikacije u oblaku za pisanje dnevnika,

mjernih podataka i odlagališta rušenja. Evidencije mogu pisati instance aplikacije putem API-
ja File REST, a programeri im mogu pristupiti tako što će dijeliti datoteke montirati na svoj
lokalni računar. To omogućava veliku fleksibilnost, jer programeri mogu prihvatiti razvoj
oblaka bez potrebe da napuste bilo koji postojeći alat koji poznaju i vole.

6. Razvoj / test / otklanjanje grešaka:

Kada programeri ili administratori rade na VM-ovima u oblaku, često im je potreban skup
alata ili uslužnih programa. Kopiranje takvih uslužnih programa i alata u svaku VM može biti
dugotrajna vježba. Lokalnim dijeljenjem Azure datoteke za dijeljenje datoteka na VM-ima,
programer i administrator mogu brzo pristupiti njihovim alatima i uslužnim programima, bez
kopiranja.

14
 5. Kontejnerizacija:

Dijeljenja Azure datoteka mogu se koristiti kao trajne sveske za spremnike sa statusom.
Kontejneri pružaju mogućnosti „jednom izgradi, pokreni bilo gdje“ koje omogućavaju
programerima da ubrzaju inovacije. Za spremnike koji pristupaju sirovim podacima pri
svakom pokretanju, zajednički sistem datoteka mora omogućiti pristup tim spremnicima bez
obzira na kojoj instanci rade.

6.2 Zašto koristiti Azure sistem datoteka (AFS)

Postoji mnogo različitih scenarija u kojima biste možda željeli koristiti Azure sistem datoteka:

 Ako imate lokalno okruženje koje zahtijeva dijeljenje datoteka i trebate ga podići i
prebaciti u oblak, AFS pruža jednostavan način za dijeljenje datoteka između VM-ova
u oblaku. AFS omogućava korisnicima postavljanje zajedničkog pogona bez potrebe
za stvaranjem namjenskog VM-a za rukovanje radnim opterećenjem dijeljenja
datoteka.
 AFS se takođe može koristiti za pojednostavljivanje razvoja oblaka; može se postaviti
kao zajednički resurs da programeri i sysadmini imaju centralni udio prilikom
instaliranja alata i aplikacija.
 Može poslužiti kao centralno mjesto za konfiguracijske datoteke i zapisnike nadzora.

6.3 Prednosti Azure datoteka

Jednostavno upravljanje: Da bi postavili dijeljenu datoteku, svi korisnici trebaju otići do svog
računa za pohranu i stvoriti novi udio datoteka. Za nekoliko minuta korisnik će imati potpuno
funkcionalno dijeljenje datoteka i njegovo pokretanje.

Sigurna pohrana: Azure pohrana datoteka šifrira podatke u stanju mirovanja i u tranzitu
pomoću Bloka poruka servera (SBM 3) i HTTPS-a.

Podrška na više platformi: Azure datoteka koristi SMB protokol, koji izvorno podržavaju
mnogi API-ji, biblioteke i alati otvorenog koda.

15
Veoma skalabilno: korisnici mogu pohraniti do 5TB podataka - ili do 100TB ako
konfiguriraju udio u premium nivou.

Hibridni pristup: Azure File Sync omogućava korisnicima pristup podacima bilo gdje putem
SMB i REST protokola. Ova usluga pruža način za proširenje dijeljenja datoteka na lokalnu
implementaciju stvaranjem lokalne predmemorije datoteka koja pruža lokalni pristup putem
protokola kao što su NFS, SMB, FTPS i drugi. Ova vrsta sinhronizacije omogućava
korisnicima da imaju visoko dostupan pristup svojim datotekama, kao i priliku da
implementiraju sigurnosne protokole korporativnog nivoa, kao što su ACL.

7. Dremio and Azure Storage

Dremio se povezuje s jezicima podataka poput Azure Data Lake Storage (ADLS), Amazon
S3, Apache HDFS i više - stavljajući sve vaše podatke na jedno mjesto i pružajući im
strukturu. Dremio povećava produktivnost ovih korisnika omogućavajući im lako
pretraživanje, kuriranje, ubrzavanje i dijeljenje skupova podataka s drugim korisnicima. Pored
toga, Dremio omogućava kompanijama da izvršavaju svoja BI opterećenja sa svoje
infrastrukture jezera podataka, uklanjajući potrebu za izradom kockica ili BI ekstrakata.

Evo kako vam Dremio pomaže da iskoristite svoje podatkovno jezero:

1. Prikupljanje podataka

S Dremiom ne trebate brinuti o shemi i strukturi podataka koje ste stavili u svoje jezero
podataka. Dremio uzima podatke iz bilo koje vrste izvora (relacijski ili NoSQL) i pretvara ih
u SQL prikladan format bez pravljenja dodatnih kopija. Zatim možete kurirati, pripremiti i
transformirati podatke pomoću Dremiovog intuitivnog korisničkog sučelja, čineći ih
spremnim za analizu.

2. Uređivanje podataka

Dremio olakšava inženjerima podataka da prikupljaju podatke za specifične potrebe različitih

timova i različitih poslova, bez kopiranja podataka. Upravljajući kuracijom podataka u
virtualnom kontekstu, Dremio omogućuje brzo, lako i isplativo dizajniranje prilagođenih
virtualnih skupova podataka koji filtriraju, transformiraju, spajaju i agregiraju podatke iz

16
različitih izvora. Virtualni skupovi podataka definirani su standardnim SQL-om, tako da se
uklapaju u vještine i alate koji već koriste vaše timove za inženjering podataka.

3. Optimizacija i upravljanje

Da bi se ovi rezultati razmjestili u vašem poduzeću, Dremio pruža samoposlužni semantički

sloj i upravljanje vašim podacima. Dremiov semantički sloj integrirani je katalog koji se može
pretraživati u grafikonu podataka koji indeksira sve vaše metapodatke, omogućavajući
poslovnim korisnicima da lako shvate podatke u jezeru podataka. Sve što su stvorili korisnici
- razmaci, direktoriji i virtualni skupovi podataka - čini semantički sloj, koji je sve indeksiran
i pretraživ. Odnosi između vaših izvora podataka, virtualnih skupova podataka i svih vaših
upita također se održavaju u grafikonu podataka, stvarajući liniju podataka, omogućavajući
vam upravljanje i održavanje podataka.

4. Potrošnja analitike

Dremio u svojoj osnovi čini samoposluživanje podataka, omogućavajući bilo kojem potrošaču
podataka u vašoj kompaniji da u vašem jezeru podataka pronađe odgovore na vaša najvažnija
poslovna pitanja, bilo da ste poslovni analitičar koji koristi Tableau, Power BI ili Qlik, ili
naučnik podataka koji radi u R ili Pythonu. Kroz korisničko sučelje, Dremio vam također
omogućava dijeljenje i uređivanje virtualnih skupova podataka bez pravljenja dodatnih kopija,
optimizirajući pohranu i podržavajući suradnju među timovima. Na kraju, Dremio ubrzava
vaše BI alate i ad hoc upite refleksijama i integrira se sa svim vašim omiljenim alatima za BI i
nauku podataka, omogućavajući vam da iskoristite alate koje već znate koristiti na vašem
jezeru podataka.

7.1 Data Lake Engine za Azure

Dremio nudi integrirano, samoposlužno sučelje za podatkovna jezera. Dizajniran za BI

korisnike i naučnike podataka, Dremio uključuje mogućnosti za ubrzanje podataka, kuraciju
podataka, katalog podataka i liniju podataka, sve na bilo kojem izvoru i isporučuje se kao
samoposlužna platforma.

17
Pokrenite SQL na bilo kojem izvoru podataka. Uključujući optimizirane padove i
paralelno povezivanje s nerelacijskim sistemima poput Elasticsearch, S3 i HDFS.

Ubrzati podatke. Koristeći Reflections podataka, visoko optimiziranu predstavu izvornih

podataka kojima se upravlja kao stupčastom, komprimiranom Apache Arrow za efikasnu
analitičku obradu u memoriji i Apache Parquet za trajnost.

Integrirano kuriranje podataka. Jednostavno za poslovne korisnike, a dovoljno moćno za

inženjere podataka i potpuno integrirano u Dremio.

Ukrštanje izvora podataka. izvršavaju spajanja visokih performansi u više različitih sistema
i tehnologija, između relacionih i NoSQL, S3, HDFS i drugih.

Data Lineage. Potpuna vidljivost u liniji podataka, od izvora podataka, preko transformacija,
spajanja s drugim izvorima podataka i dijeljenja s drugim korisnicima.

18
ZAKLJUČAK

Azure storage service dobar je primjer dobro dizajnirane arhitekture koja odgovara mnogim
slučajevima upotrebe, uključujući potrebe preduzeća. Sa SLA u rasponu od 99,9% do 99,99%,
jednostavan je izbor za korisnike koji traže prilagodljiv, pouzdan i efikasno beskonačan
prostor. Sam Microsoft koristi Azure Storage za svoje popularne usluge kao što su Skype,
XBOX, Bing i SkyDrive.

U ovom seminarskom upoznali smo vas s osnovama usluge Azure Storage. Blob pohrana
pruža korisnicima snažnu dosljednost podataka, fleksibilnost pohrane i pristupa koja se
prilagođava potrebama korisnika, a također pruža visoku dostupnost primjenom geo-
replikacije.

Razvojni programeri trebali bi razmotriti mogućnost upotrebe Azure tablice za pohranu

podataka kada žele pohraniti podatke u opsegu od više terabajta, istovremeno smanjujući
troškove pohrane - kada pohranjeni podaci ne ovise o složenom spajanju na strani poslužitelja
ili drugoj logici.

Ako imate lokalno okruženje koje zahtijeva dijeljenje datoteka i trebate ga podići i prebaciti u
oblak, AFS pruža jednostavan način za dijeljenje datoteka između VM-ova u oblaku. AFS
omogućava korisnicima postavljanje zajedničkog pogona bez potrebe za stvaranjem
namjenskog VM-a za rukovanje radnim opterećenjem dijeljenja datoteka.

Danas su platforme u oblaku i dalje pomalo egzotična opcija za većinu organizacija. Kako mi
svi gradimo iskustvo sa Windows Azureom i drugim oblačnim platformama, međutim, ovaj
novi pristup počet će se osjećati manje čudno. Vremenom bismo trebali očekivati da će
aplikacije zasnovane na oblaku - i platforme u oblaku na kojima rade - igrati sve važniju
ulogu u svijetu softvera.

19
POPIS SLIKA

Slika 1. Azure Storage Arhitektura [1]......................................................................................5

Slika 2. Odnos između blob storage resursa[3].........................................................................8
Slika 3. Stalno spremište azure tabele [1]................................................................................10
Slika 4. Dijagram koji prikazuje odnos između računa za pohranu, redova i poruka.............11
Slika 5. Komponente Azure redova za pohranu......................................................................13
Slika 6. VM storage architecture.............................................................................................14

LITERATURA

20
1. Dremio (2021). Azure Storage Types and Use Cases,
https://www.dremio.com/data-lake/adls/?fbclid=IwAR24NMo9mI6js8I-
md1D88af9jNJYznPugh2jaQI8xrhbTVwnqefbAIcMeM [pristupljeno 20. Aprila 2021]

2. Microsoft (2020). Introduction to the core Azure Storage services,

https://docs.microsoft.com/en-us/azure/storage/common/storage-introduction?
fbclid=IwAR0H12tt7yHS3HVpZvAQn-uPBXc6fzHHQDAiA2j6tzOsOfED393DB1_423I
[pristupljeno 20. Aprila 2021]

3. Microsoft (2021). Introduction to Azure Blob storage,

https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blobs-introduction [pristupljeno
20. Aprila 2021]

4. Microsoft (2020). What is Azure Queue Storage?,

https://docs.microsoft.com/en-us/azure/storage/queues/storage-queues-introduction
[pristupljeno 26. Aprila 2021]

21