Big Data Tcm64-23033

Barcelona Activa
rea dEconomia, Empresa i Ocupaci
Big Data: noves eines i estratgies per a la gesti de grans volums de dades
Marc Planagum i Marc Pous
Data
Ajuntament de Barcelona
Barcelona Activa: Qui som?

Barcelona Activa, integrada en lrea dEconomia, Empresa i Ocupaci, s lorganitzaci executora de les poltiques de promoci econmica de lAjuntament de Barcelona. Des de fa 25 anys impulsa el creixement econmic de Barcelona i el seu mbit dinfluncia donant suport a les empreses, la iniciativa emprenedora i l'ocupaci, alhora que promociona la ciutat internacionalment i els seus sectors estratgics; en clau de proximitat al territori.
Barcelona Activa va ser guanyadora del Gran Premi del Jurat 2011, atorgat per la DG dEmpresa i Indstria de la Comissi Europea en el marc dels European Enterprise Awards, per la iniciativa empresarial ms creativa i inspiradora dEuropa.
www.bcn.cat/barcelonactiva
Pg 2
rees dactivitat de Barcelona Activa

Barcelona Activa sestructura en tres grans blocs de serveis a les Empreses, a lEmprenedoria i a la Ocupaci. La Formaci s un instrument transversal present en els tres blocs, aix com tamb tot el relacionat amb leconomia social.
Empresa
Emprenedoria
Capacitaci Professional i Ocupaci
Formaci
Economia Social
Pg 3
Una xarxa dEquipaments Especialitzats
Seu Central
Centre Iniciativa Emprenedora
Incubadora Glries
Almogvers Business Factory
Parc Tecnolgic BCN Nord
Centre Desenvolupament Professional Porta22
Cibernrium MediaTIC
Convent de Sant Agust

Xarxa de Proximitat
Can Jaumandreu
Ca nAndalet
13 antenes Cibernrium a biblioteques 10 punts datenci en Ocupaci
Pg 4
Barcelona Activa
Haga clic para modificar el estilo de ttulo del patrn
Marc Planagum
Enginyer Telecomunicacions i investigador
Barcelona Activa
El vostre nom?
Quin inters teniu amb el mn Big Data?
Barcelona Activa
Estadistiques i dades dinters Una xarxa dEquipaments Especialitzat
Barcelona Activa
Estadistiques i dades dinters
Barcelona Activa
Estadistiques i dades dinters
Barcelona Activa
10
Barcelona Activa
Estadistiques i dades dinters Una xarxa dEquipaments Especialit
11
Barcelona Activa
Estadistiques i dades dinters Una xarxa dEquipaments Especi
http://www.thinkwithgoogle.com/insights/featured/new-multi-screen-world-insight/
12
Barcelona Activa
Haga clic para modificar el estilo Agenda Una xarxa dEquipaments Especia de ttulo del patrn 1. 2. Quina s la tendncia de les dades? Qu s el Big Data?
3.
4.
Quins sn els reptes del Big Data?

Emmagatzematge massiu
5.
6.
Processament distribut
Prctica de Big Data www.bcn.cat/barcelonactiva
13
Barcelona Activa
Haga clic para modificar el estilo 1 Bit = Binary Digit de ttulo del patrn 8 Bits = 1 Byte 1000 Bytes = 1 Kilobyte 1000 Kilobytes = 1 Megabyte 1000 Megabytes = 1 Gigabyte 1000 Gigabytes = 1 Terabyte 1000 Terabytes = 1 Petabyte 1000 Petabytes = 1 Exabyte 1000 Exabytes = 1 Zettabyte 1000 Zettabytes = 1 Yottabyte 1000 Yottabytes = 1 Brontobyte 1000 Brontobytes = 1 Geopbyte www.bcn.cat/barcelonactiva
14
Barcelona Activa
Haga clic para modificar el estilo Quina s la tendncia de ttulo del patrn
de les dades?
www.howtogomo.com
15
Barcelona Activa
Haga clic modificar el estilo Quina spara la tendncia de les dades? de ttulo del patrn
2009 0.8 ZB
2010 1.2 ZB
2011 1.8 ZB
2012 2.7 ZB
2015 7.9 ZB
2020 35 ZB
16
Barcelona Activa
Tot pot ser mesurat al online
17
Barcelona Activa
90% de les dades d'Internet dels ltims 2 anys
18
Barcelona Activa
minut
19
Barcelona Activa
2.2 milions de TeraBytes es creen cada dia

20
Barcelona Activa
Los objetivos son la clave Data vs Moore's Law

Data Moore
21
Barcelona Activa
Quins Los indicadors objetivos podem son la mesurar? clave
22
Barcelona Activa
Los objetivos son la clave ...i qui ho genera?
23
Barcelona Activa
Los objetivos son la clave ...i qui ho genera?
...per i els dipositius que generen dades?
24
Barcelona Activa
Internet of Things, M2M, ave Samrt cities Haga clic para modificar el estilo
de ttulo del patrn
25
Barcelona Activa
Quines aplicacions podem mesurar?
26
Barcelona Activa
Los o
27
Barcelona Activa
Mobile Analytics: Mtriques per millorar la web Haga clic para modificar el estilo
de ttulo del patrn
28
Barcelona Activa
Amari ( Google case study) Haga clic Exemple: para modificar el estilo de ttulo del patrn
29
Barcelona Activa
Google Analytics Reporting: Mobile devices Haga clic para modificar el estilo
de ttulo del patrn
30
Barcelona Activa
31
Barcelona Activa
Google Analytics Reporting: Mobile Visitors by Service Provider Haga clic para modificar el estilo de ttulo del patrn
32
Barcelona Activa
Haga clic para modificar el estilo Mobile Experience Google Analytics Reporting: de ttulo del patrn
33
Barcelona Activa
Los
34
Barcelona Activa
35
Barcelona Activa
Qu s Big Data?
36
Barcelona Activa
Qu s Big Data?
"Big data is high-volume, high-velocity and

high-variety information assets that demand cost-effective, innovative forms of information processing for enhanced insight and decision making." Gartner, 2012
37
Barcelona Activa
Haga s clic para modificar el estilo Qu Big Data? de ttulo del patrn
38
Barcelona Activa
Haga clic para modificar el estilo Volum de ttulo del patrn
Terabytes,
Petabytes, ZetaBytes...
Les dimensions de les dades ha deixat obsoletes les tecnologies clssiques

39
Barcelona Activa
Varietat
Les dades han passat de ser estructurades a ser semiestructurades o completament desestructurades:
Estructurades: BDRM, Taules Desesctruturades: Text, Imatges, Vdeo Semi-estructurades: XML, JSON
Tendncia: 10% estructurat - 90% desestructurat

40
Barcelona Activa
Haga clic para modificar el estilo Velocitat de ttulo del patrn
1. Tenim una alta velocitat de generaci de dades (Streaming Data) 2. i necessitem una alta velocitat de resposta per processar-les.
41
Barcelona Activa
Quins sn seus reptes? Haga clic para els modificar el estilo

de ttulo del patrn
42
Barcelona Activa Google Analyticss Haga clic para els modificar el estilo Quins sn seus reptes?
de ttulo del patrn
Emmagatzematge Massiu i Processat Distribut
43
Barcelona Activa
de ttulo del patrn Teorema CAP (Brewer's theorem) El teorema diu que s impossible per un sistema distribut oferir simultniament ninguna de les tres propietats segents: Haga clic para els modificar el estilo Quins sn seus reptes?
Consistncia: tots els nodes amb la mateixa informaci al mateix temps.
Availability: una garantia de qu cada Request rebr un Response si s'ha realitzat b o no.
Partici o Tolerncia a l'error: el sistema continua operant encara que hi hagi una caiguda del sistema o prdua de missatges. www.bcn.cat/barcelonactiva
44
Barcelona Activa Google Analytics for Android Haga clic para modificar el estilo & iOS App tracking
de ttulo del patrn
45
Barcelona Activa
10' break!
Pg 46
Barcelona Activa
Quines les propostes tecnolgiques? Haga clic sn para modificar el estilo

de ttulo del patrn
NoSQL i Clustering
47
Barcelona Activa
Emmagatzematge Massiu
48
Barcelona Activa
Haga clic para modificar el estilo Bases de Dades Relacionals de ttulo del patrn
Dades estructurades en taules utilitzant columnes per cada atribut. Relacions amb altres taules utilitzant claus de referncia Esquema i Normalitzaci SQL llenguatge query
49
Barcelona Activa
Google Anal Haga clic para modificar el estilo

s
de ttulo del patrn
50
Barcelona Activa
Beneficis de les RDBMS Haga clic para modificar el estilo

de ttulo del patrn Standaritzaci SQL Transacionabilitat (ACID)
Atomicitat: Una transacci o b finalitza correctament i confirma o b no deixa cap rastre de la seva execuci. Consistncia: La concurrncia de transaccions no pot produir resultats anmals. Allament (o Isolament): Cada transacci del sistema s'ha d'executar com si fos l'nica que s'executa en aquell moment en el sistema. Definitivitat: Si es confirma una transacci, el resultat d'aquesta ha de ser definitiu i no es pot perdre.
51
Barcelona Activa
Problemes de les RDBMS Haga clic para modificar el estilo Google Analytics for Mobile-Specific Sites
de ttulo del patrn
Fcil de instalar Consistente en webs estticas
Genera peticiones que son muy largas Pesado Limitado en soporte de dispositivos
52
Barcelona Activa
Haga clic para modificar el estilo Google Analytics for Mobile-Specific Sites NoSQL de ttulo del patrn
Not Only SQL

Fcil de instalar Poco pesado Consistente en webs Universal estticas
Ms trabajo en el lado del servidor Genera peticiones que son muy largasrobots No elimina Pesado para identificar Problema campaas, Limitado enreferentes soporte dey dispositivos con contenido dinmico
53
Barcelona Activa
Haga clic para modificar el estilo Google Analytics for Mobile-Specific Sites
NoSQL de ttulo del patrn
Clau Valor Basades en Documents Basades en Columnes Basades en Graf

Fcil instalar de No hace falta Consistente en webs desarrollo estticas
Genera Hace peticiones falta BIque son muy largas Informacin limitada Pesado Contenido dinmico Limitado en soporte de dispositivos
54
Barcelona Activa
Clau Valor Haga clic para modificar el estilo Google Analytics for Mobile-Specific Sites
de ttulo del patrn
Model de dades: Parells de Claus i Valor
{ Clau : Valor }
Basat en Amazon Dynamo paper Focus en la escalabilitat
Procesamiento por lotes Fcil de instalar Buena integracin Consistente en webs con soluciones de estticas medicin Potencial para capturar actividad offline
Posibilidad de restricciones datos Genera peticionesde que son muy largas Pesado Limitado en soporte de dispositivos
Dynamo: Amazons Highly Available Key-value Store http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/decandia07dynamo.pdf
55
Barcelona Activa
Haga Valor clic para modificar el estilo Clau de ttulo del patrn
56
Barcelona Activa
Basats en documents
Model de Dades: Clau/Valor on el Valor sn documents JSON o BSON {teachers: [ { name : "Marc" , surname : "Pous"}, { name : "Marc" , surname : "Planagum"} ]}
Basat en Lotus Notes Sense esquema

57
Barcelona Activa
Basats en documents
58
Barcelona Activa
Basats en columnes
i1 ts i2 ts i3 ts i4 ts
Model de Dades: Dades en columnes amb ndex i timestamp.
0
1 1 0
0
0 1 1
0
0 0 1
Basat en el paper de 2004 de la Google BigTable
0 1 0
Sense esquema
1
1 0
0
1
1
0 1
Bigtable: A Distributed Storage System for Structured Data
1
59
http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/es//archive/bigtable-osdi06.pdf
Barcelona Activa
Basats en columnes
60
Barcelona Activa
Haga clic para modificar el estilo Grafs de ttulo del patrn
Model de dades: relacions entre nodes Basat en la teoria matemtica de grafs Focus en el modelatge de dades
61
Barcelona Activa
Haga clic para modificar el estilo Grafs de ttulo del patrn
62
Barcelona Activa
Haga clic para modificar el estilo tenir Ho podem de ttulo del patrn
tot?
Rendiment Disponibilitat Exactitud Seguretat SQL
63
Barcelona Activa
Haga clic para modificar el estilo Com es fan les queries? de ttulo del patrn
APIs: REST, Thrift, Avro Sintaxis prpies GQL - SQL-like per BigTable SPARQL - llenguatge query semntic web Gremlin o Cypher - llenguatge per grafs
64
Barcelona Activa
Haga clic para modificar el estilo Comparaci de ttulo del patrn
65
Barcelona Activa
Mo Haga clic para modificar el estilo de ttulo del patrn
Processat Distribut
66
Barcelona Activa
Google Analytics Haga clic para modificar el estilo for Mobile Apps de ttulo del patrn
67
Barcelona Activa
100MB / seg
68
Barcelona Activa
2TB ms de 5 hores
69
Barcelona Activa
70
Barcelona Activa
Mobile Apps: Instalaci HagaGoogle clic para Analytics modificar elfor estilo de ttulo del patrn
20.000 discs 2TB en 1 segon
Barcelona Activa
Haga clic para modificar el estilo Cal repensar el processament! de ttulo del patrn
Map Reduce
72
Barcelona Activa
Haga clic para modificar el estilo Qu s el de ttulo delMap patrn Reduce?
Model de programaci introdut per Google als voltants del 2000 per adaptar-se a la computaci distribuda que permeten els clsters d'ordinadors.
MapReduce: Simplied Data Processing on Large Clusters

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/es//archive/mapreduce-osdi04.pdf
73
Barcelona Activa
Haga clic para modificar el estilo Qu s el Map Reduce? de ttulo del patrn
Volem executar una query sobre un dataset molt gran. 1. Dividim aquest conjunt total de dades en moltes parts. 2. Executem en parallel el processat en vries mquines. 3. Agreguem els resultats i els tornem.
74
Barcelona Activa
Haga clic para modificar el estilo Qu el Map des ttulo del patrnReduce?
2 fases:
Map: les dades d'entrada sn processades una a una i transformades en un dataset provisional de clau/valor. Reduce: aquestes dades preparades pel map sn operades donant com a resultat un nou dataset clau/valor amb els resultats.
75
Barcelona Activa
Haga clic para modificar el estilo Qu el Map des ttulo del patrnReduce?
Batch processing
76
Barcelona Activa
Haga clic para modificar el estilo Exemple Map Reduce de ttulo del patrn Comptem paraules
77
Barcelona Activa
78
Barcelona Activa
79
Barcelona Activa
80
Barcelona Activa
Haga clic para modificar el estilo Hadoop de ttulo del patrn
s una implementaci OpenSource d'entorn d'execuci Map Reduce.
Implementat entre d'altres per:
81
Barcelona Activa
Haga clic para modificar el estilo Nou stack de tecnologies de ttulo del patrn
Tradicional Big Data
Queries RDBMS Hardware Monoltic NoSQL

RDBMS distribut
Map Reduce Hadoop
Hardware distribut
82
Barcelona Activa
Haga clic para modificar el estilo Comparaci de ttulo del patrn Dades Tradicionals Big Data
Gigabytes / Terabytes Centralitzat Estructurat Model de dades Relacions complexes
Petabytes / Exabytes Distribut Semi estructurat o desestructurat Dades planes Relacions escasses
83
Barcelona Activa
Dubtes i preguntes?
84
Barcelona Activa
Prctica Big Data
85
Barcelona Activa
Haga clic de para Big modificar el estilo Prctica Data de ttulo del patrn
Combinaci de la part terica amb 1 prctica:

Escolliu un problema que us agradaria resoldre.
Penseu quines dades existeixen pbliques o si tindreu accs a les dades.
Xarxa de transport pblic El vostre ADN Les vostres pellcules preferides Sensors i actuadors Les lleis del pas ...
86
Barcelona Activa
Haga clic de para Big modificar el estilo Prctica Data de ttulo del patrn
Existeixen altres fonts de dades interessants associades a les dades que tenim? Quin tipus de dades sn? Sn grans volums de dades? Com shaurien destructurar? Com adquiriu les dades? En temps real? Cada hora? Cada dia? Quines consultes haureu de fer sobre les vostres dades? Quins requisits CAP teniu?
A quin problema ens enfrontem? Quina seria la millor estructura de dades per resoldre el problema?
87
Barcelona Activa
Grcies
@djkram & @gy4nt mplanaguma@bdigital.org mpous@bdigital.org
88
bcn.cat/barcelonactiva bcn.cat/cibernarium

Big Data Tcm64-23033

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Big Data Tcm64-23033

Uploaded by

Copyright:

Available Formats

Barcelona Activa

rea dEconomia, Empresa i Ocupaci

Barcelona Activa: Qui som?

rees dactivitat de Barcelona Activa

Capacitaci Professional i Ocupaci

Una xarxa dEquipaments Especialitzats

Centre Iniciativa Emprenedora

Almogvers Business Factory

Parc Tecnolgic BCN Nord

Centre Desenvolupament Professional Porta22

Convent de Sant Agust

13 antenes Cibernrium a biblioteques 10 punts datenci en Ocupaci

Enginyer Telecomunicacions i investigador

Quin inters teniu amb el mn Big Data?

Estadistiques i dades dinters Una xarxa dEquipaments Especialitzat

Estadistiques i dades dinters

Estadistiques i dades dinters

Estadistiques i dades dinters Una xarxa dEquipaments Especialit

Estadistiques i dades dinters Una xarxa dEquipaments Especi

Quins sn els reptes del Big Data?

Tot pot ser mesurat al online

90% de les dades d'Internet dels ltims 2 anys

2.2 milions de TeraBytes es creen cada dia

Los objetivos son la clave Data vs Moore's Law

Quins Los indicadors objetivos podem son la mesurar? clave

Los objetivos son la clave ...i qui ho genera?

Los objetivos son la clave ...i qui ho genera?

...per i els dipositius que generen dades?

Quines aplicacions podem mesurar?

Haga clic para modificar el estilo de ttulo del patrn

"Big data is high-volume, high-velocity and

Les dimensions de les dades ha deixat obsoletes les tecnologies clssiques

Haga clic para modificar el estilo de ttulo del patrn

Tendncia: 10% estructurat - 90% desestructurat

Quins sn seus reptes? Haga clic para els modificar el estilo

Emmagatzematge Massiu i Processat Distribut

Consistncia: tots els nodes amb la mateixa informaci al mateix temps.

Quines les propostes tecnolgiques? Haga clic sn para modificar el estilo

Google Anal Haga clic para modificar el estilo

Beneficis de les RDBMS Haga clic para modificar el estilo

Fcil de instalar Consistente en webs estticas

Not Only SQL

NoSQL de ttulo del patrn

Clau Valor Basades en Documents Basades en Columnes Basades en Graf

Model de dades: Parells de Claus i Valor

Basat en Amazon Dynamo paper Focus en la escalabilitat

Dynamo: Amazons Highly Available Key-value Store http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/decandia07dynamo.pdf

Basat en Lotus Notes Sense esquema

Model de Dades: Dades en columnes amb ndex i timestamp.

Basat en el paper de 2004 de la Google BigTable

Bigtable: A Distributed Storage System for Structured Data

Rendiment Disponibilitat Exactitud Seguretat SQL

Mo Haga clic para modificar el estilo de ttulo del patrn

20.000 discs 2TB en 1 segon

MapReduce: Simplied Data Processing on Large Clusters

s una implementaci OpenSource d'entorn d'execuci Map Reduce.

Implementat entre d'altres per:

Queries RDBMS Hardware Monoltic NoSQL

Map Reduce Hadoop

Gigabytes / Terabytes Centralitzat Estructurat Model de dades Relacions complexes

Prctica Big Data

Combinaci de la part terica amb 1 prctica:

Haga clic para modificar el estilo de ttulo del patrn

You might also like