INTRODUÇÃO AO BIG DATA

Profª. Drª. Alessandra Montini

16/10/2017
DEFINIÇÃO DO BIG DATA
DEFINIÇÃO DE BIG DATA

O que é BIG DATA?

BIG DATA é um banco de dados com milhões

de registros?

BIG DATA é um Software?

DEFINIÇÃO DE BIG DATA

BIG DATA é um conjunto de metodologias

utilizadas para capturar, armazenar e
processar um volume imenso de informações
de várias fontes (dados estruturados e não
estruturados) com o objetivo de acelerar a
tomada de decisão e trazer vantagem
competitiva.
TIPOS DE DADOS

Dado Estruturado

Dado Semiestruturado

Dado Não Estruturado

DADO ESTRUTURADO

Inicialmente, os modelos eram

construídos com base em informações
armazenadas em bancos de dados com
dados estruturados.
DADO ESTRUTURADO
A tabela apresenta um exemplo de dados estruturados:
Idade Sexo Salário Gasto no Cartão Estado

26 Masculino 6800 380 São Paulo

35 Feminino 5000 1000 Rio de Janeiro
39 Feminino 6320 1550 Paraná
70 Masculino 5214 400 Rio de Janeiro
54 Masculino 6000 1790 São Paulo
64 Feminino 15000 3000 Rio de Janeiro
69 Feminino 22000 1000 Paraná
68 Masculino 4027 3000 Rio de Janeiro
30 Masculino 8000 3000 São Paulo
72 Feminino 7825 3000 Rio de Janeiro
73 Feminino 7000 3000 Paraná
72 Masculino 4300 2000 Rio de Janeiro
DADO ESTRUTURADO

• Com o avanço da tecnologia uma

quantidade maior de informação
pode ser inserida na tomada de
decisão.
• Além dos dados estruturados, dados
semiestruturados e não estruturados
foram inseridos na tomada de
decisão.
DADO SEMIESTRUTURADO
Um exemplo de arquivo com dados semiestruturados é o arquivo:
XML (eXtensible Markup Language)
<estoque>
<item>
<nome>Livro</nome>
<preco>12</preco>
</item>
<item>
<nome>Ventilador</nome>
<preco>23</preco>
</item>
<item>
<nome>Bolsa</nome>
<preco>123</preco>
</item>
</estoque>
DADO SEMIESTRUTURADO

Neste caso, os dados são irregulares

com uma estrutura embutida.
A estrutura dos dados é heterogênea.

Sua principal característica é a

facilidade de compartilhamento de
informações pela internet.
DADO SEMIESTRUTURADO
• Um arquivo Json (JavaScript Object Notation ) também é formado por
dados semiestruturados.

{ "items" : [
{"nome":"Sapato","preco":278},
{"nome":"Bolsa","preco":120},
{"nome":"Ventilador","preco":75}
]
}

• Este arquivo possui um formato leve para o tráfego de informações.

Possui menos bytes que o arquivo XML. Ele é relevante quando é
necessário trafegar milhares de registros;
DADO NÃO ESTRUTURADO

• Um dado não estruturado é um dado sem

uma estrutura pré-definida.
• Textos são exemplos de dados não
estruturados. Podem ser oriundos de várias
fontes como:
BOLETIM DE OCORRÊNCIA
LIVROS, RELATÓRIOS E ARTIGOS CIENTÍFICOS
REDES SOCIAIS: LINKEDIN, TWITTER E FACEBOOK
PESQUISAS REALIZADAS NO GOOGLE
E-MAIL
SAC – SERVIÇO DE ATENDIMENTO ONLINE
DADOS NÃO ESTRUTURADOS

Imagens, fotos e vídeos também são

dados NÃO estruturados
DADOS NÃO ESTRUTURADOS
As imagens podem ser obtidas via satélite.
DADOS NÃO ESTRUTURADOS
Podem ser gerados com base no resultado de exames médicos.
DADOS NÃO ESTRUTURADOS
As fotos podem vir do Facebook, WhatsApp, de revistas, jornais,
arquivos policiais, cadastros.
DADOS NÃO ESTRUTURADOS

Os vídeos podem vir do YouTube ou de circuito fechado de TV, por

exemplo.
DADOS NÃO ESTRUTURADOS

• A voz é um dado não estruturado.

• A Polícia Federal utiliza análise de voz em

suas investigações.

• Pode-se analisar a voz do cliente para

identificar o humor antes de realizar a oferta
de um produto novo.
DADOS NÃO ESTRUTURADOS
As informações de Call Center são importantes para entender as
necessidades dos clientes.
DADOS NÃO ESTRUTURADOS

Um desafio das empresas é extrair

informação dos dados não
estruturados.
NECESSIDADE DE TRABALHAR COM BIG DATA

• Vivemos na Era dos Dados devido ao

grande volume de dados gerados pela
humanidade e pelos dados que trafegam
rapidamente no universo digital.

• Esse volume de informação que pode ser

processada em tempo real está
revolucionando a forma de tomada de
decisão.
NECESSIDADE DE TRABALHAR COM BIG DATA

• A quantidade de informações
gerada pela humanidade cresce
rapidamente.

• A maior quantidade de
informações geradas são dados não
estruturados.
NECESSIDADE DE TRABALHAR COM BIG DATA

• As informações disponíveis em redes sociais como

o Facebook e LinkedIn e as informações geradas
pelos sensores podem ser utilizadas para o
aprimoramento de modelos.

• As informações disponíveis no Google podem ser

utilizadas em diversas ações.
NECESSIDADE DE TRABALHAR COM BIG DATA

• As buscas feitas pela internet geram

informações sobre os internautas e deixam
um rastro digital a ser analisado.

• As pessoas vivem conectadas por meio de

aplicativos e geram muitas informações que
podem ser analisadas
NECESSIDADE DE TRABALHAR COM BIG DATA

Os consumidores adquirem produtos pela

internet possibilitando a detecção de seus
hábitos de consumo.

Empresas possuem dados sobre a utilização

de seus produtos pelos clientes podendo
identificar hábitos de consumo e sugerir
produtos e serviços sob medida.
NECESSIDADE DE TRABALHAR COM BIG DATA

Existem muitos dispositivos que geram informações:

RELÓGIO COM SENSORES

NECESSIDADE DE TRABALHAR COM BIG DATA

Existem muitos dispositivos que geram informações:

DRONE
NECESSIDADE DE TRABALHAR COM BIG DATA

Existem muitos dispositivos que geram informações:

ÓCULOS COM CÂMERA

(podem ajudar a tomada de
decisão)
NECESSIDADE DE TRABALHAR COM BIG DATA

Existem muitos dispositivos que geram informações:

CIDADES
INTELIGENTES
NECESSIDADE DE TRABALHAR COM BIG DATA

Existem muitos dispositivos que geram informações:

CARROS
CONECTADOS
NECESSIDADE DE TRABALHAR COM BIG DATA

Existem muitos dispositivos que geram informações:

CASAS
INTELIGENTES
NECESSIDADE DE TRABALHAR COM BIG DATA

• As câmeras geram uma preciosa

diversidade de informações que podem
ser processadas pelo Big Data.

• As tecnologias de Big Data podem extrair

informação e gerar negócios com base na
análise de Voz.
NECESSIDADE DE TRABALHAR COM BIG DATA

• As empresas devem se preparar para gerar

negócios com base nesse imenso fluxo de
informação gerada pela humanidade
diariamente.

Essas informações são mais valiosas do que

ouro e mais valiosas do que o petróleo.
NECESSIDADE DE TRABALHAR COM BIG DATA

• Da mesma forma que o petróleo, os dados

devem ser localizados, armazenados
transformados para gerar valor para a
organização.

• A base de dados relacionada aos clientes possui

grande valor.
AMBIENTE FAVORÁVEL PARA O BIG DATA

Como estamos na era dos dados a

quantidade de informação gerada é muito
grande e a tomada de decisão precisa ser
feita muitas vezes em tempo real.
AMBIENTE FAVORÁVEL PARA O BIG DATA

O ambiente é favorável para a extração de

informação dos dados devido ao:

• Baixo Custo de Armazenamento de Dados

• Aumento do poder de processamento dos
computadores
• Necessidade da Rápida e Assertiva Tomada
de Decisão
BAIXO CUSTO DE ARMAZENAMENTO DE DADOS
• O custo para armazenagem de dados está
cada vez menor.

• As informações também podem ser

armazenadas em empresas terceirizadas. Por
exemplo, pode-se armazenar dados na
nuvem da Microsoft, da Amazon e de outras
empresas.

• O baixo custo de armazenamento favorece

a manipulação do grande volume de dados.
AUMENTO DO PODER DE PROCESSAMENTO

• O grande volume de informação a ser

processado requer grande poder de
processamento.

• Hoje podemos processar muita

informação de forma rápida e com custo
baixo.
NECESSIDADE DE RÁPIDA TOMADA DE DECISÃO

• Muitas vezes, existe a necessidade da

rápida tomada de decisão.

• Em alguns casos, a decisão precisa ser

tomada em tempo real.

• Como por exemplo, na detecção de

fraude e oferta de produtos.
PORQUE PROJETOS DE BIG DATA FRACASSAM?

1. Inviabilidade do projeto;

2. Falta de planejamento;

3. Falta de profissionais capacitados.

REFERÊNCIAS DE IMAGENS

• http://br.freepik.com/ - Acesso em 20/07/2017 às 13h50min.

• https://pixabay.com/ - Acesso em 20/07/2017 às 14h20min.