Professional Documents
Culture Documents
1. KIADÁS
A modern adatvagyon:
a digitális átalakulás
felgyorsításának alapja
A komplex adatok egyesítése üzleti információk
kinyeréséhez
JACK LEE
2 A modern adatvagyon: a digitális átalakulás felgyorsításának alapja
Bevezető3 Adattárolás18
Adatpipeline-orkesztráció és -monitorozás18
Mit nevezünk adatvagyonnak?4
Adatmegosztás19
Bevezető
Az adatok megbízható stratégiai eszközök. Napjainkban a vállalatok sosem látott
kihívásokkal szembesülnek, de azok a cégek, amelyek ki tudják aknázni az adatokban
rejlő erőt, felkészültebbek és ellenállóbbak lesznek, és megtehetik a szükséges lépéseket,
amelyekkel erősebben tudnak kikerülni a nehézségekből.
A cégek átalakíthatják töredezett adat-infrastruktúrájukat, így kivételes ügyfélélményt
teremthetnek, és kiaknázhatják az adataikban rejlő értéket, valamint hasznos
információkhoz juthatnak. A lehető legjobb termékek és szolgáltatások biztosításához
a vállalatoknak olyan stratégiát kell kidolgozniuk, amely megnyeri az ügyfeleket,
támogatja a munkavállalókat, optimalizálja a működést, valamint átformálja a termékeket.
Ezt a digitális átalakulás négy pillérének nevezzük, ahogy az 1. ábrán is látható:
Digitális
átalakulás
Támogassa Alakítsa át a termékeit
a munkatársakat a legjobb termékek és
az optimális szolgáltatások
munkavégzésben! kifejlesztéséhez és
szállításához!
1. Abra: A digitális átalakulás négy alappillére
További olvasnivalók:
További olvasnivalók:
• SQL Server Windows rendszerű Azure virtuális gépeken
https://azure.microsoft.com/products/
virtual-machines/#overview
• SQL Server Linux rendszerű Azure virtuális gépeken
https://azure.microsoft.com/products/
virtual-machines/sql-server/
Lehetőségek az adatvagyon Azure-ba történő migrálására és modernizálására 7
További olvasnivalók:
További olvasnivalók:
Azure Synapse • Az Azure Synapse link for SQL segítségével közel valós idejű
Link for SQL analitika futtatható az Azure SQL Database vagy az SQL
Server 2022 rendszerében tárolt üzemeltetési adatokon.
• Zökkenőmentesen integrálható az üzemeltetési tárolókkal,
azaz például az Azure SQL Database és az SQL Server 2022,
valamint az Azure Synapse Analytics rendszerrel.
• Egy új változáscsatorna-technológia révén úgy teszi lehetővé
analitikai, üzletiintelligencia- és gépi tanulási feladatok
futtatását az üzemeltetési adatokon, hogy eközben csupán
minimális mértékben befolyásolja a forrásadatbázis
működését.
További olvasnivalók:
További olvasnivalók:
Azure Migrate
A felhőbe költözéssel kapcsolatos döntéshozatali folyamat megtervezéséhez
és felgyorsításához az Azure Migrate üzletiterv-készítő funkcióját használhatja, amely
segít megbecsülni a Windows Server- és SQL Server-környezetek migrálásával elérhető
költségmegtakarítást és megtérülést. Az Azure Migrate beépített üzleti értékelési
képességgel rendelkezik. Néhány kattintással lemodellezheti saját tervét és költségvetését,
és gyorsan átláthatja, hogyan biztosíthat maximális értéket cége számára az Azure.
Az értékelési képesség néhány fontos előnye:
• Azure SQL
• SQL Server on Azure Virtual Machines
• Azure Cosmos DB
• Azure Database for MySQL
• Azure Database for PostgreSQL
• Azure Database for MariaDB
Azure
IaaS PaaS Bővítés
SQL Server on Azure Azure SQL Azure SQL Azure Database Azure Database Power BI Azure ML Azure Synapse
Virtual Machines Managed Instance Database for MySQL for PostgreSQL Analytics
Azure Arc
SaaS-adatok Analytics-futtatókörnyezetek
SQL
Streamelt Power BI
adatok
Az adatok egyesítése
Korábban gyakran az adatbázisok voltak az alkalmazások egyedüli adatforrásai.
Napjainkban ezzel szemben a vállalati adatvagyon több száz vagy akár több ezer
különböző adatforrást is magában foglalhat. A különböző forrásokból származó adatok
különböző típusúak – strukturált, strukturálatlan és félig strukturált adatok is szerepelnek
közöttük. Az alábbiakban ezeket az adattípusokat tekintjük át.
Strukturált adatok
A „strukturált” szó arra utal, hogy van valamilyen könnyen értelmezhető minta az
adatokban. A strukturált adatok általában egy sémát, valamint modellek előre meghatározott
készletét tartalmazzák. Az egyik legjobb példa a strukturált adatbázis-megoldásokra az
Azure SQL Database és a hasonló relációsadatbázis-kezelő rendszerek (RDBMS). Ezekben
a rendszerekben az adatbázisséma és a táblaoszlopok határozzák meg az adatok tárolási
struktúráját.
Íme néhány példa a strukturált adattípusokra:
• Ügyfélnevek
• Címek
• Földrajzi helyadatok
• Dátum és idő
• Mobil- és vezetékes telefonszámok
• Bankkártyaszámok
• Terméknevek és termékváltozatok (SKU-k)
• Általános tranzakciós információk, például a feladó és a címzett, időbélyegekkel
és összegértékekkel együtt
Az adatok egyesítése 15
Strukturálatlan adatok
Strukturálatlan adatok alatt többé-kevésbé a nem strukturált adatokat értjük. Ennek
elsősorban az az oka, hogy ezek az adatok nem korlátozódnak egy adott tároló- vagy
adattípusra. A strukturálatlan adattípusok általában nem rendelkeznek az adatbázisba
közvetlenül illeszkedő, előre meghatározott adatmodellel. A strukturálatlan adatok sokszor
többnyire szöveget tartalmaznak, és általában soronként olvashatók, vagy szóközökkel
vannak tagolva.
Íme néhány példa a strukturálatlan adatforrásokra:
• Képfájlok
• Videók
• E-mail-üzenetek és dokumentumok
• Naplófájlok
• IoT-eszközök és -érzékelők
• NoSQL-adatbázisok, például a MongoDB
• Közösségi média és Microsoft Graph
Adatpipeline létrehozása
Miután azonosította az adatforrásokat, a következő lépés egy adatpipeline (más néven
adatfolyam) létrehozása. Magas szinten ehhez adatbetöltésre, adattárolásra, adat-
előkészítésre és betanításra, adatmodellezésre és adatszolgáltatásra, valamint
adatvizualizációra van szükség:
Félig strukturált
V = mennyiség Azure Data
Azure Databricks Azure Alkalmazás
CSV, naplók, Data Factory Lake Gen2 Cosmos DB
JSON, XML Ütemezett/esemény
Gyors
adatbetöltés
(gyengén gépelt) által kiváltott Polybase/
Parquet
adatbetöltés Direct Big data-forgatókönyvek
segítségével integrálása hagyományos
adattárház segítségével
Ezzel a megközelítéssel egy jól skálázható architektúrát hozhat létre, amely a rendszer
minden felhasználóját kiszolgálja: a végfelhasználóktól, az adatmérnököktől és az
adatfeltárást végző tudósoktól az adatokat a vállalat számára értelmező elemzőkön
át egészen a vállalatigazgatókig, akik valós időben szeretnék nyomon követni az üzleti
történéseket.
18 A modern adatvagyon: a digitális átalakulás felgyorsításának alapja
Adatbetöltés
Adatbetöltés alatt azt a folyamatot értjük, amikor a strukturált, félig strukturált vagy
strukturálatlan adatokat a forrástól az adattárolóba, data lake-be vagy adattárházba
továbbítjuk.
Ehhez az Azure Synapse Analytics szolgáltatásra van szükség, amely adatintegráció
használatával a különböző forrásokból, például helyi adatbázisokból és SaaS-termékekből
származó adatokat egy data lake-be továbbítja. Ez a lépés az ETL- és ELT-munkafolyamatok
manuális adategyeztetés nélküli kezelését teszi lehetővé.
Ez nem egy egyszeri folyamat. Ideális esetben a folyamatot ütemezni kell vagy úgy kell
beállítani, hogy a data lake időről időre pillanatképet kapjon az előzményadatokról. Erre
példa a CRM-eszközök, például a Microsoft Dynamics CRM csatlakoztatása az Azure Data
Lake-hez az adatintegrációt használó Azure Synapse Analytics segítségével. Ez lehetővé teszi
az adattudósok és adatmérnökök számára, hogy különböző időintervallumokban vizsgálják
ezeket az adatokat anélkül, hogy megzavarnák a tényleges CRM-alkalmazást.
Adattárolás
Miután megtörtént a különböző adatforrásokból származó adatok betöltése, az összes adat
egy data lake-ben tárolódik. A data lake-ben tárolt adatok továbbra is nyers formátumúak,
és strukturált, illetve strukturálatlan adatformátumokat is tartalmaznak.
Adatpipeline-orkesztráció és -monitorozás
Egy modern adattárház esetén fontos, hogy az adatforrások és a szolgáltatások hatékonyan
továbbítsák az adatokat a forrásból a rendeltetési helyre. Az adatintegrációt használó Azure
Synapse Analytics egy orkesztrátor, amely adatmigrációt vagy -továbbítást tesz lehetővé
a szolgáltatások számára. A tényleges átvitelt nem az Azure Synapse Analytics végzi, hanem
egy másik szolgáltatást utasít annak elvégzésére – például egy Hadoop-klasztert Hive-
lekérdezés elvégzésére utasíthat.
Az adatintegrációt használó Azure Synapse Analytics emellett különböző
riasztások és mérőszámok létrehozását is lehetővé teszi, így Ön mindig értesülhet
a szolgáltatásorkesztráció működéséről. Például értesítő e-mail küldését állíthatja
be arra az esetre, ha sikertelen volt a forrásból a rendeltetési helyre történő adatátvitel.
Az adatok egyesítése 19
Adatmegosztás
Egy modern adattárházmintában az adatmegosztásnak zökkenőmentesen és biztonságosan
kell végbemennie. Ez gyakran FTP-n (File Transfer Protocol), e-maileken vagy API-kon
keresztül valósítható meg, hogy csak néhány példát említsünk. Nagy mennyiségű adat
megosztása jelentős menedzsmentigényt támaszthat. Az Azure Data Share segítségével
biztonságosan végezheti a big data jellegű adatok menedzselését, illetve más felekkel és
vállalatokkal való megosztását. Az adatszolgáltató teljes mértékben az ellenőrzése alatt tartja,
hogy ki férhet hozzá az adatkészletekhez, és milyen jogosultságokkal rendelkeznek az egyes
felhasználók. Ez megkönnyíti a vállalatok számára a hasznos információk kinyerését és az
AI-forgatókönyvek feltárását.
Az adatok előkészítése
Az adatok betöltése után a következő lépés az adat-előkészítés. Ez az a fázis, amelyben
a különböző adatforrásokból származó adatokon analitikai célokból előfeldolgozást
végzünk. Erre jó példa, amikor az adatokat lekérjük egy API-ból, majd beillesztjük őket
egy adatbázistáblába. Az adatintegrációt biztosító Azure Synapse Analytics lehetővé teszi
az adat-előkészítés orkesztrációját. Az Azure Synapse Analytics egy hosztolt Apache
Spark-példányon keresztül is segíthet az adatok előkészítésében, mivel egyszerre képes
klasztereket futtatni, és közben másodpercek vagy percek alatt hatalmas mennyiségű
adatot feldolgozni.
Adatszolgáltatás
Az adatok előkészítése és tanítása után a következő lépés a modellezés és az adatok
ügyfeleknek történő szolgáltatása. Ebben a szakaszban lényegében úgy kell modellezni
az adatokat, hogy azok könnyen értelmezhetők legyenek a rendszerek számára. Ehhez
általában az adat-előkészítési és a betanítási szakaszban generált összetett lekérdezések
végrehajtására, valamint arra van szükség, hogy egy adatbázisba beillesztve egy definiált
táblában és sémában strukturálja a rekordokat.
20 A modern adatvagyon: a digitális átalakulás felgyorsításának alapja
Adatvizualizáció
Az üzleti intelligencia segítségével adatvizualizációt – grafikonokat és diagramokot –
használva elemezheti a teljesítményt. A Power BI és a hasonló eszközök segítenek
az elemzőknek, hogy a lehető legtöbbet hozhassák ki az adatokból. Az Azure-ral nem
kötelező a Power BI-t használni: olyan egyéb vizualizációs szolgáltatásokat is használhat,
mint a Tableau. Az adatvizualizáció részletes és könnyen értelmezhető grafikus formában
ábrázolja az adatokat, így Ön és ügyfelei számára is üzleti értéket teremt. Csapata nyomon
követheti a trendeket, a kiugró értékeket és a mintákat, amelyek segítenek az adatokon
alapuló döntések meghozatalában. Az adatok tartalmas, értelmezhető formában történő
megjelenítéséhez az elemzők asztali és webes alkalmazásokat is használhatnak.
A létrehozott jelentéseket egy munkaterületre exportálhatja, ahol a felhasználók
közösen tökéletesíthetik őket. A felhasználók megjegyzéseket és jegyzeteket fűzhetnek
a jelentéshez, ami rövidebb visszajelzési ciklust biztosít az elemzők számára: A Power
BI segítségével a követelményeinek és a márkájának leginkább megfelelő, részletes,
testreszabott irányítópultokat hozhat létre. Ezzel a mechanizmussal a jelentéseket
újra és újra frissítheti, így a prezentációkhoz többé nem kell a múlt heti vagy múlt
havi grafikonokról készült pillanatképeket használnia.
A következő részben két valós üzleti használati esetet tekintünk át, amelyeken keresztül az
Azure adatplatform használatával megvalósított magas szintű megoldásokat mutatjuk be.
Az első használati esettel azt mutatjuk be, hogyan segítettünk egy vállalatnak, amely
így szinte valós időben jutott gyakorlatban hasznosítható információkhoz az adataiból.
A második használati eseten keresztül azt láthatjuk, hogy az Azure-on végzett adatelemzéssel
hogyan kezelhetők a működési problémák, és hogyan biztosíthatók jobb szolgáltatások az
utasoknak azáltal, hogy a vállalat jobban kihasználja egy forgalmas reptér infrastruktúráját.
Mindkét használati esetnél először röviden ismertetjük a problémát és a kihívásokat,
megvizsgálunk egy lehetséges megoldástervet, végül pedig áttekintjük azokat az Azure-
szolgáltatásokat, amelyek lehetővé teszik egy ilyen megoldás megvalósítását.
A kihívások
• A Contoso jelenleg egy régi helyi adatbázisrendszert használ. Az adatbázisrendszer
gyártója már nem forgalmazza a terméket, és bejelentette, hogy a támogatása
kevesebb, mint 90 nap múlva meg fog szűnni.
• A Contoso nagy adatkészleteket szeretne rögzíteni és tárolni különböző
adatforrásokból, potenciálisan nagy feldolgozási teljesítménnyel. Az adatforrások
között megtalálhatók a tranzakciósadat-tárak, az IoT-érzékelők, a Contoso online
üzletei, valamint az alkalmazások naplófájljai.
• A vállalat emellett egyesíteni szeretné a strukturált, félig strukturált és strukturálatlan
adatokat, hogy a több forrásból származó adatok összekapcsolása és összevetése révén
egyetlen adatkészletet hozhasson létre.
• A Contosónak megoldást kell találnia a változó részletességű és minőségű
adatpontok kezelésére. A csapatnak meg kell tisztítania, elő kell készítenie,
át kell alakítania, majd össze kapcsolnia ezeket az adatkészleteket.
• A Contoso közel valós időben szeretne hasznos információkat és mintákat kinyerni
az adatokból.
• Végül a vállalat az üzleti igényeknek megfelelően szeretné skálázni az adatfelderítési
folyamatot.
22 A modern adatvagyon: a digitális átalakulás felgyorsításának alapja
A megoldás
A Contoso adatcsapata a megoldás skálázhatóság, megfelelőség és regionális rendelkezésre
állás terén nyújtott előnyei miatt az Azure használata mellett döntött.
Az egyik legsürgetőbb probléma, hogy a Contoso jelenleg egy már megszűnt, régi
helyi adatbázisrendszert használ. A Contoso ezt a helyzetet a régi adatbázisrendszer
modernizálásával fordíthatja a saját javára. A legköltséghatékonyabb megoldás a régi
rendszer Azure-ba költöztetése. Szerencsére az Azure Migrate segítségével a Contoso
csapata könnyen migrálhatja a régi rendszert az Azure SQL Database szolgáltatásba.
Az Azure Migrate központi helyet biztosít a meglévő adatbázisok, alkalmazások és
infrastruktúra Azure-ba költöztetéséhez. Az Azure Migrate részét képező Data Migration
Assistant használatával a Contoso először elemezni tudja a meglévő régi adatbázisrendszer
kompatibilitását, és megtalálhatja a migrációt esetlegesen akadályozó tényezőket, mielőtt
folytatná a migrációs folyamatot. A Data Migration Assistant értékelő jelentést készít,
amelyben olyan javaslatokkal szolgál, melyek alapján a csapat el tudja hárítani az akadályozó
tényezőket a migráció megkezdése előtt. Amikor a csapat készen áll a költöztetésre, az Azure
Database Migration Service segítségével egyszerűen elindíthatja a migrációs folyamatot.
Az adatbázis-migrációs megoldás üzembe helyezése után a csapat a következő megoldás-
architektúrát dolgozta ki a fennmaradó kihívások leküzdéséhez:
Adatmérnököknek Adattudósok
Források Betöltés Tárolás Feldolgozás Modellezés Jelentések és
Strukturált és szolgáltatás irányítópultok
Értékesítés
CRM 1 3 5 6 7
Hűségprog. Power BI
Hibrid Azure Data Lake Apache Spark- SQL-készlet
Egyéb adatkészletek adatintegráció Storage Gen2 készlet
az Azure Synapse
segítségével 4
Strukturálatlan Felhasz-
Kattintássorozat
nálók
Naplók,
nyomkövetések stb.
2 8
Közösségi média
Excel
Azure
IoT és érzékelők Event Hubs
Azure Automation Azure Key Vault Azure DevOps Azure AD Azure Monitor
Üzleti kihívások
Az elmúlt évben az FIA az alacsony hatékonyságú működés miatt bevételtől esett el.
Ez többek között a járatkésések, a hosszú sorok, a kedvezőtlen utasélmény, a dolgozói
létszám nem megfelelő tervezése és a repülőtéri eszközök kihasználatlansága miatt fellépő
költségekből, valamint az elvesztett kiskereskedelmi lehetőségekből tevődött össze.
Az FIA informatikai igazgatójának célja, hogy ezt a jelentős hatékonyságbeli hiányosságot
üzleti lehetőséggé alakítsa. Bemutatott az FIA vezetőségének egy üzleti tervet arról,
hogy a fejlett analitikába való kis összegű, fokozatos befektetéssel hogyan csökkenthetők
a repülőtér üzemeltetési költségei, miközben javítható az ügyfélélmény.
Határozott jövőképpel rendelkező vezetőként az informatikai igazgató tisztában van
azzal, hogy a repülőtér sikeres működéséhez a korábbi jelentések elemzése helyett a jövő
előrejelzésére kell helyezni a hangsúlyt. Azt szeretné, ha a csapata segíthetne a repülőtér
vezetőségének a járatkérések előrejelzésében és az ilyen esetek kiküszöbölésében.
Úgy véli, hogy ha a repülőtér vezetősége hozzáférne a megfelelő eszközökhöz,
akkor a kapacitástervezés, az erőforrások elosztása és a biztonság is javítható lenne.
A javasolt megközelítés az, hogy adatok és mesterséges intelligencia használatával
modellezzék az utasokat, a járatokat, a poggyászokat, az eszközöket és egyéb
adatkészleteket az utasszám és az utazóközönség mozgásának magabiztos előrejelzéséhez,
ami lehetővé tenné a repülőtér számára a működés javítását és a költségek csökkentését.
26 A modern adatvagyon: a digitális átalakulás felgyorsításának alapja
A megoldás
Az FIA informatikai igazgatója az üzletiintelligencia-csapattal közösen úgy döntött, hogy
az Azure-t fogja használni az új megoldás létrehozásához. Alább látható a csapat által
kidolgozott megoldásarchitektúra:
Passengers Hub
Adatforrások
és Airport Brain alkalmazás
9 10 11
Légitársasági adatok
Parkolási adatok
1 3 5 6 14 Utasok
Poggyászadatok
Közösségi média
Egyéb források
2 4
Támogató szolgáltatások
Azure Automation Azure Key Vault Azure DevOps Azure AD Azure Monitor
Összefoglalás
Az FIA-hez hasonló repülőterek folyamatosan működnek, és bonyolult műveleteket és
eljárásokat alkalmaznak. Így már a kisebb léptékű fejlesztések is jelentős megtakarításokat
eredményezhetnek a repülőtérnek, és jelentősen javíthatják a biztonságot, valamint
az ügyfelek elégedettségét.
Láthattuk, hogy a fejlett analitika hogyan járul hozzá a hatékonyság növeléséhez, és hogyan
eredményez több millió dollárnyi megtakarítást. Az adatok nemcsak a repülőterek működési
költségeinek csökkentésére használhatók, hanem a versenyelőny megszerzésére is.
Azt is áttekintettük, hogyan valósítható meg egy adatokra épülő megoldás az Azure
használatával, és miért az Azure a tökéletes platform az ilyen workloadok futtatásához.
Az Azure megfizethető és biztonságos, emellett pedig agilitást és skálázhatóságot biztosít
a vállalatok számára.
Összegzés
Az adatok fontos stratégiai eszközökké léptek elő, különösen a közelmúltbeli világjárványt
követően. Napjainkban a vállalatok sosem látott kihívásokkal szembesülnek, de azok
a cégek, amelyek ki tudják aknázni az adatokban rejlő erőt, felkészültebben tehetik meg
a szükséges lépéseket, amelyekkel erősebben tudnak kikerülni a nehézségekből.
Sok cég régi adatbázisrendszerekben, adattárházakban vagy data lake-ekben tárolja
adatvagyonát. A régebbi adatvagyonokból jelentős kihívás lehet információkat kinyerni.
Ahogy ebből a kiadványból megtudhatta, a vállalatok csak úgy felelhetnek meg ezeknek
az elvárásoknak, ha gyorsabb és skálázhatóbb adatmegoldásra váltanak, ez pedig csak régi
adatvagyonuk migrálásával és modernizálásával érhető el.
Az adatbázis-menedzsment szinte minden olyan vállalatnál kiemelt fontosságra tett szert,
amelynél az adatok dinamikusan mozognak a hibrid és többfelhős környezetek között.
A teljesítményt, a biztonságot és a rendelkezésre állást érintő folyamatos innovációival
az Azure egyesíti az operatív adatbázisokat, az analitikát és az adatgazdálkodást. Ez
lehetővé teszi a vállalatok számára, hogy közel valós idejű információkhoz jussanak,
és hatékonyabban működjenek.
Bemutattuk, hogyan segíti hozzá a vállalatot a régi adatvagyonának Azure segítségével
történő migrálása és modernizálása ahhoz, hogy a legújabb felhőalapú adatszolgáltatásokat
használhassa, és növekedhessen. Ez lehetővé teszi a vállalatok számára, hogy gyorsan
le tudják vonni a fontos következtetéseket, és megalapozhassák az üzleti innovációkat.
Ilyen innovációk közé tartozik az üzleti tevékenységek optimalizálása, az ügyfelekkel
való kapcsolat erősítése, valamint a termékek és szolgáltatások átfogó fejlesztése.
32 A modern adatvagyon: a digitális átalakulás felgyorsításának alapja
Hasznos források
Íme néhány hasznos forrás, amely segíthet az adatvagyon migrálásának
és modernizálásának megkezdésében:
Modern felhőalkalmazások
Az adatworkloadok migrálása
támogatása az Azure SQL database
az Azure Migrate segítségével.
segítségével.