Sources d’émergence de données Les notions de base de ‘_ ee ~~ : 3 i % % i Méga Donnés (Big Data) octobre 1997. ngis en 2014 pours tradition de Big Osta + Eeerason «bia 1 Megs Soman este Sources d’émergence de données cramer ER LS technologie olay > Sources d’émergence de données J Evolution de la technologie @ intemet des ‘ilione outs OT en 2020Sources d’émergence de données Définition des mégas données @[ ccciston aol technologie ia] Cest une collection des ensembles de données @ intemet a =e larges et complexes quil est devenu impossible objets: de traiter utilisant les outils de systémes de oo bases de données existants ou bien les applications traditionnelles de traitement de = nee @ Les medias © Autres sources Caractéristiques des mégas données Caractéristiques des mégas données tenes | pastes | emieas |e Toconatf sen my rmmnpn ny Les mégas données sont caractérisées par leur 3 Ven gestion de données: volume, variété et vélocité qui sont tous élévés. D'autres caracteristiques peuvent étre considérées tells que la valeur et la véracite. @AYjVolume: le volume de données Lugmente exponentieliement au fils du temps ia) |e + Augmentation de données “44 *4 de 2009 4 2020Caractéristiques des mégas données @ (Dvarists- — ditferantes formes, bases de données traditionnelles, images, documents et dossiers complexes. Données Srrctrees, semsinenress et non structurées. event (générer plusieurs formats a ec ecerd Caractéristiques des mégas données -o ur. Les technologies de stockage et danalyse des Big Data r’ont de sens que si elles apportent de la valeur ajoutée. Exploiter les données, est avant tout répondre aux objectifs dutlisation des Big Data, oi Caractéristiques des mégas données © 0 -— @ = hg stn etre anno Ri @ Dvsiocie vtessoy vs vitesse change constamment, Qs" 2 partir de données diftusées fen provenance de pluseurs sources O Caractéristiques des mégas données véracité, Qualité des données. c’est @ i" des enjoux majeurs de Vexploitation ® des Big Data. Il est nécessaire de multiplier les précautions pour minimiser les biais Nés au manque de fiablite du Big Data. a Par exemple, les faux profils sur les réseaux sociaux, les fautes dorthoaraphe, ® ssteuees Tower nents tis echoes Reliability Sanaa someen Fialine Accuracy iimeliness ard = Helevance Completenes cousTypes des mégas données Chaine de valeurs de mégas données + des données structurées issues notamment de bases de données relationnelles (lignes et colonnes), Génération + des données semi-structurées (fichiers CSV, journaux, XML, JSON...), Enregistrement pass nération active Production automatique + des données non structurées (emails, documents, PDF), des fichiers de ~ Données structurées _- Données semi-structurées ou = Données de connaissance type blob -binary large objects (images, audio, vidéo). ~ Opérations commerciales structurées emplacement bancaires Contenu généré des ~ Données mobiles ~ Enregistrements d'achat —_utilisateurs,eg. réseaux __~ appareils compatibles = archives sociaux Internet basés sur des capteurs Chaine de valeurs de mégas données Chaine de valeurs de mégas données Acq Storage (stockage) Collection Transmission Prétraitement Infrastructure Gestion de données ~ Push based (poussé), vidéo - Transférer les données aun ~ Intégration ~ Technologie de stockage (eg, = Fichier systeme distribue surveillance centre de données ~ Elimination de redondance HOD, SOD) (HOFS) = Pull based (traction), eg, web = Nettoyage - Architecture réseau (eg., ~ Stockage No SQL crawler (robot d'exploration DAS, NAS, SAN) stu woh)ie de valeurs de mégas données Les défis de mégas données _—_|Sereatonacaustion stoage > arass Technologie et infrastructure Gestion et analyse de données Analysis (analyse) ~ Nouvelles architectures, = Nouvel accent sur les donnes ~ models de programmation => Data Science Objectives Miéthodes ~ Analyse descriptive + Analyse statistique = Architecture réseau (eg., ~ Clustering (groupement) DAS, NAS, SAN) ~ Classification Modéles de prog-ammation + Map reduce + Traitement de flux ‘Stockage des mégas données ‘Stockage des mégas données Bref historique du stockage des. données Le stockage de données se fait sous un cluster (grappe-groupe) de machines. - Dans un cloud computing accessible via linternet dont le matériel de stockage est trés varie © Stockage interme: mécla attaché 4 Iintéreur du serveur. © Stockage externe: support connecté aux ports dinterface dun serveur fen fibre Channel, USB,Stockage des mégas données Stockage des mégas données Stonkage alfarhé & sin récaais (Nahundk ‘attached storage -NAS): peut étre défini ‘comme un périphérique de stockage de données au niveau des fehiers qui fourit ‘un acoés aux fichiers surun réseau a des ‘lents hetérogénes. / Sinekage dirartement altarhé (Miract Altached Storage-DAS): c'est un stockage ‘connecté & un serveur et accessible aux ‘autres ordinateurs via V'accds préalable au © Réseau de stockage (Storage Area Network - SAN) SAN est un réseau haut débit de périphériques de stockage partagés las servers connectés & un SAN, ouvent accédar & tous les périphériques de stockage connectés au SAN,