Ambiente de Data Warehouse A tecnologia de Data Warehousing (0 processo de fazer Data Warehouse) @ con- siderada por todos os autores a evolucao natural do Ambiente de Apoio a Decisio, Sua crescente utilizacdo pelas empresas esta relacionada a necessidade do dominio de informagées estratégicas para garantir respostas e agées rapidas, assegurando a competitividade de um mercado altamente competitivo e mutavel. Dentre os fatores que contribuiram para essa absorcdo, merecem destaque os avangos tecnolégicos, as mudancas organizacionais e estruturais nos negécios, a abertura de mercados e a globalizagao da economia. Com o advento da tecnologia de Data Warehousing, os Ambientes de Apoio & Decisdo passaram a ser denominados Ambientes de Data Warehouse, os quais contém como repositérios principais os Data ‘Marts (DM) que, como veremos, compdem 0 denominado Data Warehouse. 0 propésito deste capitulo € apresentar as principais caracteristicas dessa arquitetura e seus elementos de composigao. Dentre estes aspectos, um maior nivel de detalhe seré dado as metodologias empregadas para o desenvolvimento do modelo do DW. 0 principal objetivo do Data Warehouse, como citamos, € disponibilizar informagdes para apoio a decisoes da empresa. Existem varias ideias, opinides, definigdes, conceitos e fer- ramentas para criagéo e manutencao de um Data Warehouse, mas € importante ressaltar que nao existe nenhum Data Warehouse pronto para ser utilizado sem um trabalho anterior de levanta- mento de necessidades da empresa e de seus executivos. Consequentemente, 0 conceito de Data Warehouse exige estudo e envolvimento da empresa e de seus executivos na definicao e construgo dessa base de dados de utiliza¢ao corporativa. Tecnicamente a construgdo exige a transferéncia e transformagao dos dados existentes em sistemas corporativos, utilizados nas operagdes didrias de controle e operacdes, para uma base de dados independente. Essa base de dados ficaré disponibilizada para os usuarios, mantida por meio de processo diferenciado dos existentes para os sistemas em operacao transacional normais 4 empresa. Ambiente de Data Warehouse 25| | Sistemas legados = (ERP) = oLapToots EIS/DSS DATA MINING a .. oF browser Querys Noves pore. sistemas ae O ambiente. A principal justificativa para a aplicagdo de tecnologia de Data Warehouse em uma organizacao é a existéncia na empresa de: = Varias plataformas de hardware e de software. = Constantes alteracdes nos sistemas transacionais corporativos. = Dificuldade acentuada na recuperacao de dados histéricos em periodos superiores ao ano atual de operacies. Existéncia de sistemas "pacotes” de fornecedores diferentes. Falta de padronizacéo e integrago dos dados existentes nos diversos sistemas. Caréncia de documentacao e seguranca no armazenamento dos dados. Dificuldade de aplicagao de sistemas EIS ou DSS devido a dependéncias iltiplas de sistemas corporativos. = Tomando como base 0 modelo de montagem de Data Warehouse apresen tado, a empresa pode optar por construi-lo em uma base global ou em bases teoricamente locais de acordo com as areas de negécios. = Isso implica na utilizagéo de arquiteturas especificas para a construcao de um Data Warehouse, as quais tém evoluido desde o principio dos conceitos de DW até 0 momento atual sempre em busca do sucesso de sua utilizagao. 26 Tecnologia ¢ Projeto de Data WarehouseCaracteristicas da Tecnologia de Data Warehousing Nesse contexto, 0 Data Warehouse proporciona uma sélida e concisa inte- grago dos dados da empresa, para a realizacdo de analises gerenciais estratégicas de seus principais processos de negécio. Ele se preocupa em integrar e consolidar as informacdes de fontes internas, na maioria das vezes heterogéneas, e fontes exter- nas, sumarizando, filtrando e limpando esses dados, preparando-os para andlise & suporte a deciséo. Essa tecnologia originou 0 Data Warehouse, que possui um conjunto de carac- teristicas, conforme apresentado a seguir, que o distingue de outros ambientes de sistemas convencionai = Extracdo de dados de fontes heterogéneas (existentes ou externas); = Transformacao e integracdo dos dados antes de sua carga final; = Normalmente requer maquina e suporte proprio; = Visualizagéo dos dados em diferentes niveis. 0s dados do Data Warehouse podem ou nao ser extraidos para um nivel mais especifico, os Data Marts, a partir deste para um banco de dados individual; = Utilizagio de ferramentas voltadas para acesso com diferentes niveis de apresentacao; = Dados somente sao inseridos, ndo existindo atualizacao, ou melhor, updates. Outras Caracteristicas de um Data Warehouse Seguindo nossa abordagem, achamos de extrema importancia a consolidacdo dos conceitos de Data Warehouse para que, entendendo suas caracteristicas e obje- tivos, possamos vir a realizar um projeto dessa base de dados de forma eficiente e eficaz. Ambiente de Data WarehouseDados baseados em assuntos de negécio “Ambiente transaconal ata Werehouse rdem de prosucdo . maune Produgdo rientaedo por assunto Orientagao por Assunto Significa que um Data Warehouse atmazena as informagdes agrupadas por assuntos de interesse da empresa que sdo mais importantes, em contraste com os sistemas operacionais que so orientados a processos desenvolvidos para manter as transagées realizadas diariamente. Esses assuntos sao em realidade os processos principais de uma organizacio. Quando referenciamos processos, estamos focando naqueles processos de negécio que so atividades desenvolvidas na organizag3o como transformagao de entrada safda com agregacao de valor. E 0 proceso que mostra desempenho e que possui indicadores de sua evo- lugdo. Eles podem e devem ser compreendidos e controlados para 0 sucesso e competitividade da organizagao. Esse controle é o principal objetivo dos sistemas de apoio & decisao. 28 Tecnologia ¢ Pojeto de Data Warehouse0 projetista de sistemas transacional corporativo tem o seu foco no projeto do banco de dados e no projeto dos processos transacionais e suas atividades e controles meramente operacionais, do dia a dia. Os projetistas de Data Warehouse devem ter seu foco na modelagem dos dados e no projeto de banco de dados. 0s dados de interesse nos dois casos sao sistemicamente diferentes também, pois no Data Warehouse somente interessam dados que sejam importantes para a tomada de decisdes, que sejam relativos a anélise e desempenho de processos ou atividades criticas, enquanto nos sistemas transacionais interessam dados que ndo tém nenhuma importancia 4 tomada de decisio e inclusive existem somente para fins de controle operacional. Variagao de Tempo Os dados de um Data Warehouse so precisos em relago a0 tempo, representam resultados operacionais em determinado momen- to de tempo, o momento em que foram capturados. Os dados de um DW sao um snapshot, um conjunto estético de registros de uma ou mais tabelas, capturados em um momento de tempo predeterminado. Isso implica que os dados de um DW nao possam ser atualizados. Por exemplo, um dado relativo as vendas de um determinado més nunca mais tera seus valores modificados. Estranho compreender algo que nao muda e é variavel em relacao ao tempo. Mas & simples! Os dados de um sistema transacional refletem o valor corrente de alguma coisa, sua exatidao é valida para determinados instantes, podendo ser alterado; logo, pode ser atualizado. Por exemplo, 0 valor total das notas fiscais as 12:00 horas pode ser diferente do encontrado no processo as 18:00 horas. Aestrutura de dados operacionais possui normalmente opcio de existéncia de data, podendo existir como dado-chave ou nao. J4 em um Data Warehouse a data é elemento essencial e componente-chave, pois estamos projetando uma estrutura sobre janelas de tempo, algo como se visualizassemos os saldos bancarios, porém 0 conjunto de saldos mensais durante um longo periodo de meses. Outro aspecto destacado por Inmon & que o horizonte de tempo de sistemas transacionais é relativamente pequeno em relacdo ao Data Warehouse. Um horizonte de tempo de 60 a 90 dias é satisfatorio para um ambiente transacional. Em nossas aplicacdes normalmente as sumarizagées se referem a este espaco de tempo. J4 num Data Warehouse os espacos de tempo séo significativamente maiores, situando-se entre entre cinco a dez anos. Ambiente de Data Warehouse 29Nao Volatil Quando se ouve falar que um Data Warehouse & nao volétil, imaginam-se muitas coisas, entretanto 0 que realmente isso significa? Um Data Warehouse tem duas operagées basicas: a carga dos dados (inicial e incremental) e 0 acesso a esses dados em modo de leitura. Isso significa que a funcionalidade de um DW 6 completamente diferente de um sistema transacional; portanto, os requisitos do Sistema Gerenciador de Banco de Dados desses dois sistemas sao diferentes. Um Data Warehouse nao provoca preocupagdes do tipo deadlock, ou atuali- zagies de registro a registro. [ UMA VIA } 0s dados vém de um ambiente operacional, e no sio trazidos diretamente. Como ja citamos, séo filtrados, limpos e transformados para satisfazer as neces- sidades de informacao. Eles ficam no Data Warehouse até que seja decidido que nao fazem mais parte dele, ou que se tornaram irrelevantes para a analise de tomada de decisao. Depois de carregado, um Data Warehouse somente possui operacées de con- sulta, e sem necessidade de nenhum tipo de bloqueio por concorréncia de usuarios no acesso.. A figura apresenta a nao volatilidade do Data Warehouse. Somente duas das operagées de processamento séo realizadas nesse ambiente: inclusio de novos registros e consulta aos registros existentes. Bancos de dados ‘Bancos de dados Wwansacionais Data Warehouse Incr t—O Incl Exclir ary powseae Acessar ey 4 Aterar nao volatil 30 Tecnologia e Projeto de Data WarehouseIntegragéo Esta é uma das caracteristicas de suma importancia em um Data Warehouse, pois todos os seus dados tém um alto nivel de integracdo. Mas 0 que significa isso? Por exemplo, as convengées de nomes, valores de varidveis, tais como sexo masculino e feminino, e outros atributos fisicos de dados como data types so formalmente unificados e integrados nessa base Gnica. 0 exemplo da figura seguinte permite visualizar este conceito. Sexo Mt Sexo 'F Extragdo Sexo Mt fio Sexo-F* Sex0t Sexo 2 Integrogao, Em ambientes de miltiplas plataformas sistémicas, a caracteristica de inte- 4gracio se torna fundamental, pois necessitamos de unicidade de informagoes A existéncia de sistemas mais antigos com padrées de codificacao de dados, como 0 da figura, leva a existéncia de diferentes padrées entre os sistemas ‘operacionais, que quando da carga do DW sao resolvidos pelos processos de filtragem e agregacao. Arquitetura do Ambiente A arquitetura do Data Warehouse inclui, além de estrutura de dados, meca- nismos de comunica¢ao, processamento e apresentacao da informacao para o usuario final. A figura seguinte apresenta a arquitetura padrao desse ambiente. Ambiente de Data Warehouseesto de — | rmetagados ‘Sistemas Tegados (ERP) oLaPTooLs EIS/DSS. DATA MINING Lap Novos De uma forma geral, as arquiteturas orientadas a esse ambiente sio consti- tufdas por um conjunto de ferramentas que respondem desde a carga até 0 proces- samento de consultas, assim como por repositérios de dados, como 0 Data Warehouse e os Data Marts. {As ferramentas existentes podem ser divididas em dois grupos: 41) Ferramentas relacionadas & carga inicial e as atualizacdes periédicas do Data Warehouse, que S80 responsaveis pela extracao dos dados de malti- plos sistemas operatives e fontes externas, assim como pela limpeza, transformacao e integrac3o dos dados. 2) Ferramentas relacionadas as consultas orientadas para 0 usuério final que so responsdveis pela elaboracao de relatorios, pesquisas informativas, analise de desempenho e mineragao de dados (Data Mining). Quanto aos repositérios, 0 DW funciona como um grande conjunto de todos os dados, enquanto os Data Marts s8o as prateleiras desse armazém de dados, que permitem uma visio mais direcionada de um problema, funcionando como reposi- torios menores, orientados a areas especificas. A seguir apresentamos os principais componentes e tipos de arquitetura existentes para Data Warehouse, e a abordagem mais utilizada no mercado empre- sarial brasileiro. 32 Tecnologia Pojeto de Data WarehouseA ilustragao destaca o fato de que o Data Warehouse é a composicéo de um conjunto de prateleiras (Data Marts) que so os elementos de estruturaco de um armazém de dados. Desta forma podemos considerar a existéncia de um Data Warehouse virtual, que existe conceitualmente pela conjuncao de miltiplos Data Marts. Componentes Com uma viséo mais abrangente, & possfvel analisar os componentes do DW com relagao aos seguintes aspectos: papéis exercidos por pessoas, processos e ou ferramentas associadas e dados. Papéis Por sua abrangéncia, esse ambiente envolve desde profissionais de proces- samento de dados até analistas de negécios que podem ser considerados "usuarios" do ambiente. Esse ambiente inclui os administradores do projeto, os projetistas do banco, os administradores de bancos de dados (DBAs) dos sistemas operacionais, os administradores de dados (ADs) que tem uma importancia muito grande no proceso de ‘integracdo entre os ambientes transacionais e os ambientes dimensionais, os programadores e os analistas de sistemas para a extracéo e limpeza dos dados, os analistas dos aplicativos que acessarao as informacdes e os usuarios finais. Essa diversidade de "usuarios’ implica uma preocupacdo maior do que a observada nos sistemas operacionais, em que os analistas e projetistas dos sistemas apenas atendem ao grupo de usuarios que efetivamente utilizariam o sistema. “Ambiente de Data WarehouseNo Data Warehouse esses "usuarios" encontram-se agrupados por papéis da seguinte forma: 34 = Analistas responséveis pela carga dos dados: representam 0s programadores que necessitam conhecer 0 mapeamento entre 0 DW e os sistemas operativos, além de todos os requisitos necessérios 8 filtragem e a integracdo dos dados. & = Usuérios finais: so os especialistas, gerentes, executivos e analistas de negécio, que utilizam a informacao para apoio a tomada de decisao. Esses Usuarios apresentam uma grande famitiaridade com os termos do negécio e estao sempre em busca da solugo de um problema ou de novas oportu- rnidades. Eles podem ser divididos em dois grupos: os usuarios diretos e os usuarios indiretos. Os usuérios diretos so aqueles que acessam livremente © DW como um todo, enquanto os indiretos acessam os DMs especia lizados. William Hinmon classifica os usudrios em trés tipos: turistas, fazendeiros e exploradores. Mas vamos conhecer mais detalhes desses perfis em capitulo que trata de anélise multidimensional. = Analistas responsaveis pelo desenvolvimento e manutengio do Data Warehouse e dos Data Marts: equivalem aos administradores de bancos de dados (DBA) e administradores de dados (DA) dos Sistemas Gerencia- dores de Bancos de Dados (SGBD) dos sistemas operacionais. Estabelecem © nivel de preocupacéo com os metadados, com a arquitetura de armaze- namento e com a estrutura dos dados, visando, principalmente, methorar 0 desempenho das consultas. € comum o estabelecimento de equipes diferentes para os dois ambientes. = 0s administradores de dados (ADs) tem um papel de fundamental impor- tancia nesse contexto novo, pois seu papel de integrador dos ambientes transacional e dimensional é fator de garantia da qualidade e da existén- cia integra do Data Warehouse, por meio de metodologias de acompanha- mento e administracao dos metadados entre os sistemas transacionais e seu processo de manutengo de extracdo, transformagao e carga do Data Warehouse. Tecnologia e Projeto