Arquiteturas de DW Os Tipos de Arquitetura e de Implementacgao de DW Neste capitulo nds discutiremos as arquiteturas e implementagies possiveis para Data Warehouse. Vamos utilizar 0 termo Data Mart, definido simplesmente no capitulo anterior como um subconjunto de um Data Warehouse, ou melhor, uma pequena por¢ao de dados do Data Warehouse organizada por assunto. Em todo o restante do Livro, quando utilizarmos o termo Data Mart, estaremos nos referindo a um Data Warehouse por ser esta uma abordagem mais simples de ser entendida. Nem sempre é 0 caso de a escolha da arquitetura ser a prioridade para o come- ¢0 de um projeto de Data Warehouse. A arquitetura pode ser determinada ou modifi- cada apés o comeco da implementacao, entretanto um longo tempo seré despendido se isso vier a ocorrer. A-escolha da arquitetura € uma decisao gerencial do projeto, e est normal- mente baseada nos fatores relativos a infraestrutura disponivel, ao ambiente de negocios (porte da empresa), concomitantemente como escopo de abrangéncia desejado, assim como a capacitacdo dos empregados da empresa e dos recursos disponibilizados ou projetados para investimento. A abordagem de implementacdo escolhida uma decisdo que pode causar dramaticos impactos quanto ao sucesso de um projeto de Data Warehouse. Muitas varigveis afetam a escolha da implementagio e a arquitetura, entre elas 0 tempo para a execucao do projeto, o retorno do investimento a ser reatizado, a velocidade dos beneficios da utilizagao das informacées, a satisfacdo do usuario executivo e os recursos necessdrios 8 implementacao de uma arquitetura. A Escotha da Arquitetura A selecao de uma arquitetura determinara ou sera determinada pelo local onde 0 Data Warehouse ou Data Marts estarao residindo. Por exemplo, os Data Marts vao uitetuas de OW| i | | | | residir em uma instalacao central ou distribuidos em instalagdes remotas ou locais, administradas de forma centralizada ou independente. As arquiteturas que vamos apresentar neste capitulo so: global, independente e integrada. As abordagens de implementacao a serem apresentadas sao a top down, bottom up e a combinacao das duas, denominada intermediaria. A escolha de uma arquitetura e de uma abordagem de implementacdo é normalmente uma combinag3o das arquiteturas disponiveis e as abordagens de implementagao. Por exemplo, a arquitetura de Data Warehouse pode ser fisicamente distri- butda, centralmente administrada, implementada como bottom up e iniciada a partir de um Data Mart de um departamento especifico na empresa. Arquitetura Global £ considerada a que suporta toda ou a maior parte dos requerimentos ou necessidades de um Data Warehouse integrado com grande grau de acesso e tilizagdo das informagdes para todos os departamentos de uma empresa. 0 Data Warehouse é projetado e construido com base nas necessidades da empresa como um todo. € considerado um repositério comum de dados de suporte decisdo, dispontvel para toda a empresa, ou melhor, em toda a empresa. A concepcdo inicial que 0 termo global nos passa é que o Data Warehouse global é centralizado. 0 termo global reflete o escopo de acesso e utilizacao das informagées na empresa. = Global = Por toda a empresa A arquitetura global pode ser fisicamente centralizada ou fisicamente distri- butda nas instalacdes de uma empresa. A centralizacio fisica é utilizada quando a empresa existe em um Gnico local e 0 Data Warehouse & administrado por um departamento de Tecnologia da Informacao. A distribuicao fisica de um Data Warehouse global é utilizada quando a empresa possui diversos locais fisicos (instalagdes) e os dados em miltiplas instalagdes fisi- cas com a administragéo também por um departamento de Tecnologia da Infor- macio. Quando dizemos que um departamento de Tecnologia da Informagio admi- nistra 0 Data Warehouse, no queremos afirmar que esse departamento controla 0 Data Warehouse. Por exemplo, nas instalagées distribuidas ele pode ser controlado por um departamento em particular. Ele decide que dados devem entrar no Data Tecnologia Projeto de Data WarehouseWarehouse e quando devem ser atualizados (carga incremental), como outros departamentos podem acessar, que pessoas podem acessar seus dados. ‘A administracdo e a implementacao devem ser realizadas por um departamento e profissionais especificos da area de Tecnologia da Informacdo, considerando-se principamente que é 0 departamento que administra as redes de comunicagdo de dados da empresa A figura seguinte ilustra os dois caminhos de utilizagao de uma arquitetura global para Data Warehouse. No topo da figura vocé observa que o Data Warehouse esté distribuido em trés instalacdes fisicas. Na parte de baixo o Data Warehouse reside em uma Gnica instalagao. ‘Arquitetura global dstribuida Dados operacionais er ‘Arcuitetura global cetrazada Os dados sao extrafdos de sistemas operacionais e possivelmente de fontes de dados externas por processos batch em hordrios fora do pico de operacdes. Eles so filtrados, eliminam-se os dados ndo necessérios e realiza-se a transformacao para a qualidade e necessidade dos requisitos levantados para o projeto. Eles sao entao carregados nas bases de dados apropriadas de Data Warehouse para acesso aos usuirios finais. A arquitetura global habilita os usuarios finais a utilizar visbes corporativas de dados, que normalmente sao requisitos de negécio, entretanto esse tipo de ambiente consome muito tempo de desenvolvimento e administracao, assim como seu custo de implementacdo é muito alto. ‘routeturas de OWArquitetura de Data Mart Independente E a arquitetura preferida dos fornecedores de software para consulta de infor- magées de Data Warehouse, pois é isolada e o trabalho de venda desses produtos encanta os olhos dos usuarios. ‘A arquitetura independente implica em Data Marts stand alone controlados por lum grupo especifico de usuarios e que atende somente as suas necessidades espec ficas e departamentais, sem foco corporativo nenhum. Este fato faz com que nao exista nenhuma conectividade desses Data Marts com outros Data Mart de outros departamentos ou areas de negécio Por exemplo, os dados sao extraidos dos sistemas operacionais pela geracdo interna do departamento, com auxilio da érea ou departamento de tecnologia da infor- macao. A rea de Tecnologia de Informacao ndo controla a implementacao e desen- volvimento, somente auxitia a manutencao técnica do ambiente. Caso existam dados externos a serem utilizados, € necessario que a area de Tecnologia da Informacéo seja envolvida para adequar layouts de arquivos e necessidades técnicas. operacenass | 5 AA arquitetura independente requer os mesmos perfis técnicos para a imple- mentacdo, porém os recursos e pessoal operacional podem ser administrados pelo i grupo de trabalho, ou departamento. Esse tipo de arquitetura raramente tem impacto j ‘nos recursos de Tecnologia da Informacio e resulta sempre em implementacao rapida. | Entretanto, sua restricZo possui um minimo de integracéo corporativa e nao permite nenhuma visio global. Normalmente esse tipo de Data Mart esta acessivel somente a0 | pessoal do departamento especifico "proprietario" do Data Mart. Infelizmente esta é uma situagao hoje conhecida no Brasil e diriamos mundial- mente, resultado do foco de negécios de venda de produtos que comentamos no ‘nfcio dessa arquitetura independente. Tecnolaga¢ Projet de ata WarehouseArquitetura de Data Marts Integrados A arquitetura de Data Marts integrados € basicamente uma distribuigao de implementagao. Apesar de os Data Marts serem implementados separadamente por grupos de trabalho ou departamentos, eles sao integrados ou interconectados, proven- do uma viso corporativa maior dos dados e informacées. De fato o alto nivel de integracao é similar ao da arquitetura global. Por outro lado, os usuarios de um depar- tamento podem acessare utilizar os dados de um Data Mart de outro departamento. Essa arquitetura permite muitas outras fungdes e capacidades de informacdo em relacao 4 arquitetura independente. Por meio dessa integracio, consequente- mente, aumenta sensivelmente o nivel de complexidade de requisitos. Necessitamos controlar e administrar esse ambiente. Devemos considerar que essa arquitetura contém, por exemplo, dados comuns a miltiplos Data Marts. Pode- mos optar por compartilhamento de dados entre os Data Marts, uma op¢ao que iré ‘aumentar consideravelmente a administracao desse ambiente. No tocante a negdcios © lado positivo dessa opgio é que aumentamos a capacidade e qualidade de visio corporativa de informacoes. Neste caso a atuacdo da area de Tecnologia da Informacao deve ser bem maior que na arquitetura independente, ficando sob sua responsabilidade o controle & administragao dos Data Marts. ‘Arqutetura de Data Marts integrades | Dados operaconals Cada departamento & proprietario de seus dados, porém as ferramentas e re- ‘cursos necessérios para implementac3o séo providos e administrados por Tecnologia da Informacao. Tipos de Implementacao Varios tipos de implementacao das arquiteturas apresentadas podem ser usados. As abordagens de implementacdo que vamos apresentar neste livro sdo as que conside- ramos as mais importantes e em utiliza¢ao no Brasil e no mundo, como top down, bottom up ou uma combinacao das duas, que denominamos de intermediaria. rquitetuas de OW,A opcio por um tipo de abordagem de implementagio € influenciada por fatores como a infraestrutura de Tecnologia da Informagio, a arquitetura escolhida, © escopo da implementacao, os recursos dispontveis e principalmente pela neces- sidade ou ndo de acesso corporativo dos dados, assim como pelo retorno de investi- mento desejado e velocidade de implementacao. Implementagao Top Down A implementago top down & conhecida como padrao inicial do conceito de DW. Ela requer maior planejamento e trabalho de definicdes conceituais de tecno- logia completos antes de iniciar-se 0 projeto de Data Warehouse propriamente dito. A discussdo interna envolve todas as pessoas da empresa que i 0 participar do projeto corporativamente, todos os departamentos. Devem ser tomadas decisdes sobre as fontes de dados que serdo utilizadas, seguranca, estruturas de dados, qualidade de dados a ser considerada, padroes de dados e varios modelos de dados dos sistemas transacionais atuais devem estar completos antes de iniciarmos a implementacao. Isso significa um grande trabalho inicial, pois na maioria dos casos, princi- palmente em nosso pais, nao existem diagramas de modelos de dados dos sistemas em operacao, no maximo conseguimos catalogos de bancos de dados. Nessa arquitetura o processo se inicia com a extra¢do, a transformacio e a integrago das informagées dos sistemas operativos e dados externos para um ODS ou até diretamente das fontes operacionais. A seguir, os dados e metadados sdo transferidos para o DW. A partir do DW sao extraidos os dados e metadados para os Data Marts. Nos Data Marts, as informagdes estéo em maior nivel de sumarizacao e, nor- malmente, no apresentam o nivel histérico encontrado no Data Warehouse. Essa implementacao tem como lado positive o fato de forcar a empresa a definir regras de negécio de forma corporativa antes de iniciar-se 0 projeto do Data Warehouse em si. A figura seguinte apresenta a arquitetura padrdo empregando 0 ODS. Tecnologia ¢ rojeto de Oata Warehouse‘Sistemas transacionais + — = —=7& = Fontes externas Data Mining Em seguida sao apresentadas algumas vantagens e desvantagens dessa arqui- tetura: Vantagens = Heranca de arquitetura: todos os DM originados de um DW utilizam 2 arquitetura e os dados desse DW, permitindo uma facil manutengao. Visdo de empreendimento: o DW concentra todos os negécios da empre- sa, sendo possivel extrair dele niveis menores de informacdes. Repositério de metadados centralizado e simples: 0 DW prové um repo- sitorio de metadados central para o sistema. Essa centralizacdo permite manutencdes mais simples do que aquelas realizadas em miltiplos repo- sitérios. Controle e centralizagéo de regras: a arquitetura top down gatante a existéncia de um dnico conjunto de aplicagdes para extracao, limpeza e integrago dos dados, além de processos centralizados de manutencao & monitoracao. Desvantagens © Implementagéo muito longa: os DW sio, normalmente, desenvolvidos de modo iterativo, por areas de assuntos, como, por exemplo, vendas, finan- 2S e recursos humanos. Mesmo assim, so necessarios, em média, 15 ou mais meses para que a primeira area de assunto entre em producéo, dificultando a garantia de apoio politico e orcamentario. ‘Alta taxa de risco: nao existem garantias para o investimento nesse tipo de ambiente. ruiteturas de OW,= Herancas de cruzamentos funcionais: € necesséria uma equipe de desenvolvedores e usuarios finais altamente capacitados, para avaliar as, informagées e consultas que garantam & empresa habilidade para sobreviver e prosperar na arena de mudancas de competicdes politicas, geograficas e organizacionais. = Expectativas relacionadas ao ambiente: a demora do projeto e a falta de retorno podem induzir expectativas nos usuarios. ‘A abordagem de implementagao top down pode ser bem utilizada se existir a figura centralizada na empresa da. administragao Tecnologia da Informac3o como responsdvel por todos os recursos de hardware e outros recursos computacionais envolvidos. Na maioria das empresas os departamentos ndo possuem recursos préprios para implementar seus proprios Data Marts. Pessoalmente consideramos que esse tipo de implementac3o nao é factivel para padrées brasileiros, pois a maioria das empresas nao possui visao corporativa de negécios, assim como os prazos de obtencao de resultados so muito longos, 0 que na nossa cultura de negécios inviabiliza esse tipo de implementacao. Implementacao Bottom Up Em virtude de a implementacao top down ser politicamente dificil de ser defi- rida e muito cara, requerendo um tempo grande para implementacao, investimento e sem apresentar retomno rapido, a implementagao bottom up vem se tornando muito popular. Esse tipo de implementacao permite que o planejamento e o desenho dos Data Marts possam ser realizados sem esperar que seja definida uma infraestrutura corporativa para Data Warehouse na empresa. Essa infraestrutura nao deixar de existir, s6 que ela poderd ser implementada incrementalmente conforme forem sendo realizados 0s Data Marts. Essa implementacao @ bastante escolhida pelos executivos de empresas por possuir um retorno de investimento muito répido, ou nas palavras usuais em negécios um faster pay back. 0 propésito dessa implementacdo € a construcéo de um Data Warehouse incre- mental a partir do desenvolvimento de Data Marts independentes. 0 processo comeca com a extra¢ao, a transformacao € a integracdo dos dados para um ou mais Data Marts, os quais s40 modelados, normalmente, com base em um modelo dimensional. Um dos grandes problemas dessa implementagéo € a falta de um gerenciador que garanta padrées Gnicos de metadados, mesmo com a independéncia dos Data Marts. 54 Tecnologia « Projeto de Oata WarehouseA dificuldade em garantir essa padronizagdo @ responsavel pela falha na elaboracao incremental do Data Warehouse. Podem ocorrer redundancias de dados e inconsisténcias entre os Data Marts, que podem ser minimizados por meio de um planejamento, monitorago e estabelecimento de regras de desenvolvimento (meto- dologias). Com uma estrutura de miltiplos Data Marts, 0 processo de extracdo pode tomar-se critico na interferéncia junto aos sistemas transacionais. A figura apresenta uma visio dessa abordagem de implementacao. acca Date Warehouse — Lame] - ——. Z Se) = || ie \____fa] od A seguir so apresentadas as vantagens e desvantagens dessa arquitetut Vantagens = Implementacao répida: 2 construcdo dos DM é altamente direcionada, permitindo um répido desenvolvimento. Normalmente, um DM pode ser co- locado em producao em um periodo de seis a nove meses. Retorno rapido: a arquitetura baseada em DM com incremento demonstra rapidamente seu valor, permitindo uma base para investimentos adicionais com um nivel mais elevado de confianca Manutencao do enfoque da equipe: um dos maiores desafios do desen- volvimento de um ADW € a manutengao do mesmo enfoque por toda a equipe. A elaboracéo de DMs incrementais permite que os principais negécios sejam enfocados inicialmente, sem que haja gastos no desen- voivimento de areas que nao so essenciais a0 problema. Heranca incremental: a estratégia de DMs incrementais obriga a entrega de recursos de informacdo passo a passo. Isso permite equipe crescer e aprender, reduzindo os riscos. A avaliagéo de ferramentas, tecnologias, ‘quiets de OWconsultores e vendedores s6 deve ser realizada uma vez, a nao ser que existam restrigdes que impecam o reaproveitamento. Desvantagens = Perigo de legamarts: um dos maiores perigos no ADW é a criacao de DMs independentes. 0 advento de ferramentas de drag-and-drop facilitou desenvolvimento de solucdes individuais de acordo com as necessidades da empresa. Essas solugdes podem nao considerar a arquitetura de forma global. Desse modo, os DMs independentes transformam-se em DM lega- dos, ou legamarts que dificultam, quando nao inviabilizam, futuras integragées. Eles so parte do problema e nao da solucao. = Desafio de possuir a viséo de empreendimento: durante a construcdo dos DMs incrementais, € necessario que se mantenha um rigido controle do negécio como um todo. Esse controle requer maior trabalho ao extrair e combinar as fontes individuais do que utilizar um DW. = Administrar e coordenar miltiplas equipes e iniciativas: normalmente, esse tipo de arquitetura emprega o desenvolvimento de DM em paralelo. Isso pode conduzir a uma rigida administracdo, tentando coordenar os esforgos e recursos das maltiplas equipes, especialmente nas areas de regras e semantica empresariais. = A maldigéo de sucesso: a arquitetura com DMs incrementais carrega a "maldigdo de sucesso". Nesses casos, 0s usuérios finais do DMs encontram- -se felizes querendo mais informacao para seus DMs. Ao mesmo tempo, ‘outros usuérios de outros DMs aguardam o incremento de seus DMs. Isso conduz a equipe de DM a vencer desafios politicos, de recurso e de administracao. Muitas das novas abordagens propostas baseiam-se na arquitetura bottom up. Elas procuram otimizar 0 proceso de desenvolvimento e garantir a consis- téncia dos metadados e facilidade de integracdo do ambiente. Implementagdéo Combinada Essa forma de implementagdo tem o propésito de integrar a arquitetura top down com a bottom up. Nessa abordagem efetua-se a modelagem de dados do Data Warehouse de viséo macro, sendo 0 passo seguinte a implementacio de partes desse modelo. Essas partes so escolhidas por processos ou atividades da area de interesse e constituem os Data Marts. 56 Cada Data Mart pode ser gerado a partir do macromodelo de dados do Data Warehouse e integrado ao modelo fisico do Data Warehouse. Tecnologia « Projeto de Data WarehouseA principal vantagem dessa abordagem é a garantia da consisténcia dos dados, obtida em virtude de 0 modelo de dados para os Data Marts ser Gnico, possibilitando realizar 0 mapeamento e o controle dos dados. Wont levalucso Dados extenos “anaes de necessidades Caracteristicas da Implementacao Combinada = Implementagao = Planejamento Top Down « Processos de Negocio Desenvolvimento Bottom Up - Um DM de cada vez (resultados atingidos em pequenos ciclos a cada quatro meses) ~ Cada Data Mart encarado de forma evolutiva: - Complexidade do modelo - Volume de dados « Investimentos Gestdo de Metadados - Coeréncia entre os varios Data Marts ‘rguiteturas de OW