Granularidade de Dados Um dos fatores mais importantes para a modelagem fisica de dados, indepen- dente da arquitetura e implementagao a serem utilizadas, @ a definicao de granu- laridade de dados. Granularidade de Dados no Data Warehouse Como encontramos na pratica um desconhecimento muito grande sobre o que é granularidade e como traté-la, acredito que um pequeno capitulo sobre o assunto contribua significativamente para a qualidade dos projetos que o leitor vier a realizar ‘ta granulardade Bawa granulandage A granularidade de dados refere-se ao nivel de sumarizagao dos elementos e de detalhe disponiveis nos dados, considerado o mais importante aspecto do projeto de um Data Warehouse. Quanto mais detalhe existir, mais baixo sera o nivel de granularidade. Quanto ‘menos detalhe existir, mais alto serd o nivel de granularidade. A granularidade de dados tem se mantido como uma questo critica nos projetos de Data Warehouse. Nos sistemas operacionais, é tida como certa. Quando 0s dados detalhados sao atualizados, é certo que eles sdo armazenados no nivel mais baixo de granularidade. No entanto, no ambiente de Data Warehouse, a granula- ridade nao é um pressuposto. A razao pela qual a granularidade é a principal questao de projeto consiste no fato de que ela afeta profundamente o volume de dados que reside no Data Granslaridade de Dados60 Tecnologia Pojeto de Data Warehouse Warehouse e, 20 mesmo tempo, afeta profundamente o tipo de consulta que pode ser atendido. 0 volume de dados contido no Data Warehouse & balanceado de acordo com o nivel de detalhe de uma consulta desejada. Destacando para fixar entao: = Quanto mais detalhe temos nos dados, menor € a granularidade. CONSE- QUENTEMENTE, quanto menos nivel de detalhe temos nos dados, maior é a granularidade. A granularidade € importante, pois serviré como parametro de avaliagies do tipo: = Quanto maior o volume de dados, menor a performance. A selecdo da granularidade apropriada teré significantes efeitos no volume de dados do Data Warehouse. Quando a granularidade de um Oata Warehouse ou de um Data Mart é estabelecida, 0 projeto tem seu desenvolvimento com foco e ira fluir com mais tranquilidade. Enquanto nao for visualizado o nivel de granularidade, torna-se muito dificil a modelagem do Data Mart. Quando se tem um nfvel de granularidade muito alto, 0 espaco em disco e 0 ndmero de indices necessérios se tornam bem menores, porém ha uma correspon- dente diminuigo da possibilidade de utilizac3o dos dados para atender a consultas, detalhadas. ‘A maioria das literaturas destaca a granularidade somente como fator de controle de area de armazenamento de dados e performance, entretanto gostariamos de destacar a importancia da granularidade em termos de andlise de negécios.. Um Data Mart 6 construido para permitir que se visualizem comportamentos de determinados fatos de negécio ao longo de grandes janelas de tempo. Imagine 0 leitor possuir um Data Mart de vendas com as vendas realizadas de nossos produtos nos diltimos cinco anos. Qual seria a utilidade desse Data Mart para as estratégias de negécios? Manter uma granularidade baixa de transagio de vendas, tratando-as consolidadas més a més, ou alta granularidade, tratando as vendas por cada operacao realizada, como na figura seguinte que apresentamos? Interessaria para alguém conhecer a evolucao das vendas no dia 5 de cada més ‘nos altimos cinco anos? Acredito que nao. Mas interessaria, isso sim, conhecer 0 comportamento das vendas no més de dezembro nos iltimos cinco anos. Logo 0 gréo desejado é relativo 4 sumarizacao mensal.No nosso pais ainda nao se tem conhecimento de projeto de Data Warehouse que controle a granularidade em conjunto de dias que nao seja um més, ou seja, detalhar ou analisar por um determinado dia do més. ‘Alto nivel de detalnes Balxo nivel de detanes Balxo nivel do granulaidade ‘Alto nivel de granuandade (cal | Exempla Example Detathe de cada transacto ‘Sumano das vansagtes e venda de um vendecor ‘be venda de um vendedor fealzada durante um mes featzadas durante um mes 50 registos por més registro por més. Mas poderiamos ter uma granularidade relativa a agrupamento de dias, como, por exemplo, periodo de Natal, periodo de Péscoa e por ai vai. Isso implicaria uma sumarizag3o mais complexa, pois as transacGes seriam sumarizadas em conjuntos diferenciados conforme a classificagao da data da transacao. A afirmagao de alguns autores correta 6 que a granularidade tem impacto na performance e disponibilizagao de consultas e relatorios. Uma vez definida a granularidade em um Data Mart para um determinado assunto de negécios, ela deve ser utilizada para todo 0 Data Warehouse onde existir teferéncia a este assunto, pois nao podemos analisar informacdes se apresentadas em granularidades diferentes em diferentes Data Marts. Elas ficardo completamente sem integracdo, gerando conflitos sensiveis de entendimento dos resultados das informacdes de um projeto de Data Warehouse, exceto se mantidas em meios diferentes de armazenamento de dados. Observe 0 exemplo da figura seguinte. Um fato séo as vendas reatizadas por vendedores, independente de produto. Outro fato sdo as vendas de produto no més. Como as granularidades estado diferentes, as safdas de informagao nao casam, proporcionando diferentes resultados quanto 20 valor de venda. Grautaridade de DadosBalxo nivel de detahes Alto nivel de granuaridade C4 Exerplo Exemplo Detalne de cada transacto Suman das ransaptes 4 vend de um vendedor e venda ce proautos fealaaga durant um mes ‘ealaadas durante um més fos te so regisvos pormes | — Vendedor | registro pormés Vendedor ne ‘Valor = Granulandades derentes em um mesmo assur Vendas Isso, meu amigo, € somente pata ilustrar que quando falamos de granular dade, estamos nao somente falando de dados relatives ao tempo, mas de formas de agrupar as informacées. Se, por exemplo, em um assunto de um Data Mart temos as vendas por vende- dor e produto classificadas por estado somente, e em outro assunto do Data Mart temos as vendas por vendedor e produto classificadas por regido de vendas sem referéncia a estado, da mesma forma estaremos com graos diferentes de informacao, independentemente do fator tempo ou nivel de detalhe. No caso da figura em que temos um assunto de transacdo de vendas e outro sumarizado por més, a diferenca efetiva de granularidade ird exigir que se realize um proceso de sumarizacao sobre os dados detalhados de vendedor para comparé-los com os dados ja sumarizados sobre produtos, mas nao inviabiliza a utilizacao de dois tipos de granularidade. O mais importante da granularidade em um projeto é entendermos que ela ndo se limita somente a tempo, mas a todos os fatores de classificagéo da informacdo que estiverem sendo utilizados. A granularidade baixa utilizada quando queremos manter realmente o Data Warehouse como uma base histérica de recuperacao e andlise detalhada das tran- sages de nossos sistemas operacionais. Normalmente nem todos os campos dos sistemas legados so transportados para o Data Warehouse. Somente os campos de dados necessarios por razdes de and- lise ou legais. 62 Tecnologia e Projto de Data WarchouseAlto nivel de aetanes ‘Baixo nivel de detatnes Baixo nivel de granulerdade Alto nivel de granularidade Exempio Exempio Detathe de cada ransacto Sumétio das ransagbes. e vends ce um vendedor de vende de prosutos ‘ealzada duramio um mes fealzadas durante um més Daa Hora Mes Regito estado | SOreyistospormés | Regio Vendedor Vale aa (Granvlaidaes diferentes em um mesmo assunto Venda. registro pormes Utilizar 0 Data Warehouse como ambiente histérico de dados nao é uma deci- so economicamente interessante, pois ¢ muito mais barato manter informacdes historicas para recuperacao em fitas magnéticas, por exemplo. No caso de ambientes bancérios a necessidade de rastreamento de operacdes de um cliente pode levar a manutencdo de um nivel de granularidade baixo, utilizando-se 0 Data Warehouse como base histrica de dados. Entretanto, mesmo no ambiente bancério, a anélise estratégica de operacdes de um cliente pode ser realizada sobre sumarizacoes de suas operacdes. A escolha do nivel ou niveis de granularidade a serem utilizados em um projeto é vital para o sucesso. 0 método mais indicado para este fim é a utilizacao do bom-senso e da andlise detalhada das necessidades de informacdo levantadas para o projeto. Ouvir atentamente o usuario, discutir e propor alternativa nos levam € ajustes e uma correta granularidade de projeto. Quando vocé sumariza os dados até um nivel muito baixo de detalhes, eles terdo algumas sensiveis diferencas quanto ao processamento de um conjunto de registros de transacao. Se vocé sumarizar a um nivel alto de detalhes, muitas das consultas poderao ser resolvidas diretamente usando os conjuntos de transacao do ambiente operacional, ou seja, estamos sendo redundantes. Recomendamos no inicio do projeto a utilizagéo de bom-senso e intuicao, além de toda a sua experiéncia sobre negécios. Nos capitulos especificos sobre modelagem multidimensional vamos discorrer mais sobre granularidade. No entanto, hd um outro aspecto da compactacao de dados que ocorre 4 medida que o nivel de granularidade é elevado. Granade de Dados64 Tecnologia © Pojeto de Data Warehouse A medida que o nivel de granularidade se eleva, ha uma correspondente diminuigo da possibilidade de utilizacao dos dados para atender a consultas. Ja ‘com um nivel mais baixo de granularidade ¢ possivel responder a qualquer consulta necessaria. Niveis Duais de Granularidade 0 chamado nivel duplo de granularidade, ilustrado na figura anterior, se enquadra nos requisitos da maioria das empresas. Na camada de dados resumidos ficam os dados que fluem do armazenamento operacional e sao resumidos na forma de campos apropriados para a utilizacao de analistas e gerentes. Na segunda camada, ou nivel de dados histéricos, ficam todos os detalhes vindos do ambiente operacional. Como ha uma verdadeira montanha de dados neste nivel, faz sentido armazenar os dados em um meio alternativo como fitas magné- ticas, ou outro elemento tecnolégico de armazenagem em massa que possibilite rapida recuperacao de dados. Com a criagéo de dois niveis de granularidade no nivel detalhado do Data Warehouse, é possivel atender a todos os tipos de consulta. ‘A maior parte do processamento analitico dirige-se aos dados resumidos que so compactos e de facil acesso. Nas ocasides em que um maior nivel de detalhe deve ser investigado, existira o nivel de dados histéricos armazenado separadamente dos dados resumidos. 0 acesso aos dados do nivel hist6rico de granularidade € caro, incdmodo complexo, mas caso haja necessidade de alcancar esse nivel de detalhe, devemos pensar seriamente em construf-lo. © que nos parece € que nessa abordagem temos algo como dois Data Warehouse para o mesmo processo de negécio em analise. E como se tivéssemos uma base de dados histérica com todos 0s pedidos de venda detalhados, dia a dia, levemente resumidos, e uma base de dados na qual as vendas estivessem, independentemente de detalhes de pedidos, sumarizadas por periodo, quem vendeu, o que vendeu, onde vendeu, para quem vendeu etc.