Conception Data Warehouse

Conception d'un entrept de donnes (Data Warehouse)
par Yazid Grim (Business Intelligen(ce))
Date de publication : Dernire mise jour :
Nous avons vu dans mes articles prcdents ce qu'tait le BI, ce que comprenait un environnement dcisionnel et qu'il avait comme concept central l'entrept de donnes ou le Data Warehouse. Intressons nous maintenant comment concevoir un entrept de donnes. Quelle structure permet-elle d'avoir les fonctionnalits requises pour un entrept de donnes ? Quelles sont les techniques utilises pour bien concevoir ? Quels sont les indicateurs d'une bonne conception ? Ce mini cours commencera par introduire (ou rintroduire) les concepts fondamentaux de l'informatique dcisionnelle (ncessaires pour la comprhension de cet article), continuera par l'explication des mthodes de conception d'entrept de donnes via une tude de cas, et terminera par une critique de ces techniques et une conclusion mentionnant les indicateurs d'une bonne conception d'entrept.
Conception d'un entrept de donnes (Data Warehouse) par Yazid Grim (Business Intelligen(ce))
I - Introduction II - Concepts fondamentaux II-A - Entrept de donnes (Data Warehouse) II-B - Data Mart, ou magasin de donnes II-C - Dimension II-D - Fait II-E - ETL, ou ETC pour les francophiles II-F - toile II-G - Flocon III - Modlisation en toile, un cas III-A - Le cas III-B - L'analyse III-C - La solution IV - Modlisation en flocon, un cas V - Conception d'entrepts de donnes V-A - Constellation V-B - Construire un entrept de donnes, un vrai ! VI - Critique des mthodes de conception d'entrepts VI - Conclusion VIII - Remerciements
-2Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
http://grim.developpez.com/cours/businessintelligence/concepts/conception-datawarehouse/
I - Introduction
Nous avons vu dans mes articles prcdents ce qu'tait le BI, ce que comprenait un environnement dcisionnel et qu'il avait comme concept central l'entrept de donnes ou le Data Warehouse. Intressons nous maintenant comment concevoir un entrept de donnes. Quelle structure permet-elle d'avoir les fonctionnalits requises pour un entrept de donnes ? Quelles sont les techniques utilises pour bien concevoir ? Quels sont les indicateurs d'une bonne conception ?
Ce mini cours commencera par introduire (ou rintroduire) les concepts fondamentaux de l'informatique dcisionnelle (ncessaires pour la comprhension de cet article), continuera par l'explication des mthodes de conception d'entrept de donnes via une tude de cas, et terminera par une critique de ces techniques et une conclusion mentionnant les indicateurs d'une bonne conception d'entrept.
II - Concepts fondamentaux II-A - Entrept de donnes (Data Warehouse)

J'estime en avoir assez parl ici et ici : mais un peu de rptition ne fait pas de mal !!! Un entrept de donnes, ou data Warehouse, est une vision centralise et universelle de toutes les informations de l'entreprise. C'est une structure (comme une base de donnes) qui pour but, contrairement aux bases de donnes, de regrouper les donnes de l'entreprise pour des fins analytiques et pour aider la dcision stratgique. La dcision stratgique tant une action entreprise par les dcideurs de l'entreprise et qui vise amliorer, quantitativement ou qualitativement, la performance de l'entreprise. En gros, c'est un gigantesque tas d'informations pures, organises, historises et provenant de plusieurs sources de donnes, servant aux analyses et l'aide la dcision. L'entrept de donnes est l'lment central de l'informatique dcisionnelle l'heure o j'cris ce tutorial. En effet, l'entrept de donnes est le meilleur moyen que les professionnels ont trouv pour modliser de l'information pour des fins d'analyse, et il ne serait pas tonnant que d'ici quelques annes un nouveau concept apparaisse pour rvolutionner l'informatique dcisionnelle# Mais intressons nous ce qui existe pour l'instant#
II-B - Data Mart, ou magasin de donnes

Les Data Warehouses tant, en gnral, trs volumineux et trs complexes concevoir, on a dcid de les diviser en bouches plus faciles crer et entretenir. Ce sont les Data Marts. On peut faire des divisions par fonction (un data mart pour les ventes, pour les commandes, pour les ressources humaines) ou par sous-ensemble organisationnel (un data mart par succursale). Nous verrons plus tard comment organiser les data marts pour crer un entrept proprement dit.
II-C - Dimension
Lorsqu'on fait un schma de BD pour un systme d'information classique, on parle en termes de tables et de relations, une table tant une reprsentation d'une entit et une relation une technique pour lier ces entits. Et bien en BI, on parle en termes de Dimension et de Faits. C'est une autre approche des donnes, on entend par dimensions les axes avec lesquels on veut faire l'analyse. Il peut y avoir une dimension client, une dimension produit, une dimension gographie (pour faire des analyses par secteur gographique), etc. Une dimension est tout ce qu'on utilisera pour faire nos analyses.
II-D - Fait
Les faits, en complment aux dimensions, sont ce sur quoi va porter l'analyse. Ce sont des tables qui contiennent des informations oprationnelles et qui relatent la vie de l'entreprise. On aura des tables de faits pour les ventes (chiffre d'affaire net, quantits et montants commands, quantits factures, quantits retournes, volumes des ventes, etc.) par exemple ou sur les stocks (nombre d'exemplaires d'un produit en stock, niveau de remplissage du stock, taux de roulement d'une zone, etc.), ou peut tre sur les ressources humaines (performances des employs, nombre de demandes de congs, nombre de dmissions, taux de roulement des employs, etc.). Un fait est tout ce qu'on voudra analyser.
II-E - ETL, ou ETC pour les francophiles
L'ETL, dont j'ai expliqu les fondements dans cet article, sert transposer le modle entit-relation des bases de donnes de production ainsi que les autres modles utiliss dans les oprations de l'entreprise, en modle base de dimensions et de faits (nous verrons ces modles dans les deux prochaines dfinitions).
II-F - toile
Une toile est une faon de mettre en relation les dimensions et les faits dans un entrept de donnes. Nous le verrons plus tard, mais le principe est que les dimensions sont directement relies un fait (schmatiquement, a fait comme une toile).
II-G - Flocon
Un autre modle de mise en relation des dimensions et des faits dans un entrept de donnes. Le principe tant qu'il peut exister des hirarchies de dimensions et qu'elles sont relies au faits, a fait comme un flocon :) Note : les flocons et les toiles peuvent tre vus comme une manire de diviser les entrepts de donnes et les magasins de donnes. On peut les voir comme l'atome de l'informatique dcisionnelle : le plus petit lment avec lequel ont peut faire des analyses et avec lequel ont peut faire des magasins de donnes qui, mis ensemble, forment un entrept de donnes.
III - Modlisation en toile, un cas

Nous allons utiliser un exemple pour expliquer la modlisation en toile. L'important en BI est de toujours garder l'esprit que ce que nous faisons est diffrent des bases de donnes traditionnelles. Le schma cr sera accessible par les utilisateurs et doit donc tre le plus simple et explicite possible !
III-A - Le cas
On vous demande de crer un data Mart (une toile) pour l'analyse de l'activit des reprsentants d'une entreprise de vente d'imprimantes. Le chef d'entreprise veut savoir ce qui se passe pour ses vendeurs. Les employs font ils leur travail, quelle est la zone de couverture des vendeurs, ou sont les endroits o les vendeurs sont le moins efficaces, quelle est la moyenne de ventes des reprsentants, etc., etc. L'entreprise possde un systme de gestion de ressources humaines, un systme de gestion des ventes et des feuilles de routes avec des informations concernant les vendeurs : kilomtres parcourus, litres d'essence utilise, frais de voyage, ventes, promesses de ventes, etc.
III-B - L'analyse
Note : cette mthode m'a t apprise l'universit Sherbrooke par Monsieur R. Laurin.
Notre objectif est d'analyser l'activit des reprsentants. Il semble que nous ayons toutes les informations pour ce faire... Mais dans diffrents systmes. Commenons l'analyse : Le but du jeu est de dceler les axes d'analyses (les dimensions) avec leurs attributs ainsi que les lments analyser (les faits). La meilleur faon de ce faire, selon moi, est l'tude approfondie de ce qui se passe dans l'entreprise : documents changs, rapports priodiques, interviews des personnes cls, tude des besoins. Il faut vraiment faire un travail d'acteur, et rentrer dans la peau de chaque utilisateur, savoir comment les analystes organisent leurs raisonnements, savoir ce que voient les dcideurs avant de dcider, connatre les indicateurs de bonne sant de l'entreprise et de la concurrence. Un vrai travail de fourmi et des heures de plaisir :) Les techniques d'acquisition d'information et d'analyse des besoins tant un sujet eux seuls, je passerais la main pour ce point # Nous supposeront que tout a t fait selon les rgles de l'art et nous nous contenterons de compiler :) Une manire trs pratique de modliser un cas en BI se fait comme suit : Date Annes Mois Jours Heures Analyse : consommation d'essence, Qte commande, Qte prcommande, kilomtrage, Vendeur Nom Prnom Salaire Produit Catgorie Type Groupe Zone Client gographique Pays Nom Province Adresse Ville Pays
nombre de visites, etc. Explications : le tableau suivant a t rempli pendant la phase d'analyse, en posant des questions aux dcideurs du type : Que voulez vous analyser (la dernire ligne du tableau) ? Quels sont vos critres d'analyse (la premire ligne du tableau) ? Jusqu' quel niveau de dtail voulez vous aller (les cellules l'intrieur) ? Remarque : L'axe du temps (dimension Temps) est toujours prsent dans un entrept de donnes, c'est le type d'analyse le plus commun et le plus frquent en entreprise. La structure d'un entrept tant plus rigide que les systmes conventionnels (se basent sur des ETL, des validations cres par l'homme, etc.), il est capital d'avoir une analyse des besoins exhaustive et conforme aux attentes des dcideurs. Il faut savoir : D'o provient chaque champ ? Comment transite l'information ? O trouver l'information voulue?
Se poser des questions du type : Ai-je assez de donnes pour rpondre aux besoins ? Si non, qu'est ce que cela impliquerait de les crer ? Comment alimenter mes dimensions ? Comment alimenter mes faits ? Comment valider mes chargements ? Etc., etc., etc.
Vous pouvez penser que c'est de la paranoa (comme certains clients) et croire que tous ces problmes n'apparatront pas forcment. Mais rappelez vous qu'un entrept a cote trs cher, et qu'un entrept avec des donnes incompltes, invalides ou non-conformes la demande est tout simplement mettre la poubelle#
III-C - La solution
La modlisation en toile dcoule naturellement du tableau ci-dessus, il en rsulte le schma suivant :
Schma en toile Vous comprenez maintenant pourquoi on appelle ce schma " modle en toile ". Toutes les dimensions sont directement relies la table de faits, qui contient les donnes analyser. Plusieurs remarques sont faire pour ce schma : La table de fait contient se qu'on appelle des " mesures ", des champs (numriques pour la plupart) sur lesquels on va faire nos analyses, on peut y trouver le montant des ventes nettes, les quantits vendues, les kilomtres parcourus, les quantits en pr commande, etc. La table de faits est relie aux dimensions par des relation (1, n). Pour analyser une ligne de fait par client par exemple, il faut qu'il y ait une relation entre cette ligne et la dimension client. Les tables de dimension contiennent les lments qu'utiliseront les dcideurs pour voir la table de faits. Les utilisateurs pourront ainsi apprcier les montant des ventes par vendeur, par client, ou le kilomtrage pour un vendeur pour un client donne (pour voir si ce client est rentable), calculer le cot de revient d'un produit par rapport aux activits des vendeurs, etc. On n'utilise JAMAIS la cl d'un systme de production comme cl de dimension : pour prserver l'historique des modifications dans l'entrept de donnes (voir l'article sur la gestion de l'historique dans un entrept de donnes). La granularit des tables de dimensions et de faits doit tre la mme : imaginez que la table de faits regroupe les informations par heures et que la table de dimension du temps gre les minutes, il ne sera pas possible de lier la dimension temps et la table de faits (multi dtermination). Chaque ligne de la table de faits doit avoir une relation avec chacune des tables de dimensions : dans le cas contraire, on aurait perte d'information ou analyse errone. Il n'existe de relations qu'entre les dimensions et les tables de faits. Il sera beaucoup trop compliqu de grer et d'utiliser des dimensions lies entre elles. N'oubliez pas que le schma doit tre assimilable par des non informaticiens pour pouvoir l'exploiter. N'ayons pas peur de crer des doublons !
IV - Modlisation en flocon, un cas

La modlisation en flocon tant une variante de la modlisation en toile, nous prendrons le mme cas avec la mme analyse. Il faut savoir que la modlisation en flocon existe pour des raisons de performances. En effet, des dimensions de plusieurs millions de lignes peuvent poser des problmes de lenteur lors de l'exploitation des donnes. Le principe de la modlisation en flocon est de crer des hirarchies de dimensions, de telle manire avoir moins de lignes par dimensions. Vous me direz que cela va en contradiction avec la dernire remarque de la modlisation en toile, et je vous dirai que vous avez raison, la seule chose prs que la performance prime sur la structure. C'est la seule faon que les gens ont trouve pour avoir des rsultats clairs et rapides. Le schma d'une modlisation en flocon pourrait tre comme suit :
Modlisation en flocon Conseil : ne " floconisez " pas tort et travers. En effet, pour garder une structure simple, grable et comprhensible, utilisez le plus possible la modlisation en toile. La modlisation en flocon n'intervenant que lorsque des problmes de performances apparaissent ou sont facilement prdictibles. Une rgle informelle en BI prconise de floconner que si l'on a la relation (1-1000). C'est--dire que si l'on russit crer une hirarchie de deux dimensions avec une ligne de la dimension pre (groupe produit par exemple) faisant rfrence plus de 1000 lignes de la dimension fille (produit par exemple). Dans ce cas, il est peut tre temps de penser aux flocons. Note : cette rgle ft mise en prenant en considration les technologies logicielles et matrielles actuelles. Il ne serait pas tonnant, mon sens, de voir disparatre la modlisation en flocon avec les avances technologiques (rapidit des disques durs, technologies OLAP, etc.)
- 10 Ce document est issu de http://www.developpez.com et reste la proprit exclusive de son auteur. La copie, modification et/ou distribution par quelque moyen que ce soit est soumise l'obtention pralable de l'autorisation de l'auteur.
V - Conception d'entrepts de donnes

Je sais ce que vous vous dites : mais c'est pas ce qu'on vient de faire la !! Relisez les titres et voyez si je parle d'entrepts :) Plus srieusement, un entrept de donnes, un vrai, selon la dfinition officielle et pas celle des commerciaux, est une vue complte et centralise des donnes de l'entreprise. La modlisation en toile ou en flocon, elle, ne s'intresse qu' la conception d'un sous ensemble d'entrept, une seule table de fait. On ne peut mme pas dire qu'une toile ou un flocon reprsente un data Mart, car une fonction de l'entreprise peut comporter plusieurs tables de faits. La fonction commerciale d'une entreprise peut comporter une toile pour les ventes, un flocon pour les commandes, une autre toile pour les retours, etc. Ce qui est juste, c'est qu'un entrept de donnes est l'ensemble de ces toiles et/ou flocons. Mais comment organiser tout a ?
V-A - Constellation
Vous remarquez que tous ces termes sont emprunts l'astronomie et la mto : toile, flocon, constellation. Hubert Reeves n'a qu' bien se tenir :) Une constellation est une srie d'toiles (tu m'tonnes !) ou de flocons relies entre eux par des dimensions. Il s'agit donc d'toiles avec des dimensions en commun. Un environnement dcisionnel idal serait une place ou il serait possible de naviguer d'toile en toile, de constellation en constellation et de Data Mart en DataMart la recherche de l'information si prcieuse. Un des indicateurs cls d'une bonne conception d'entrept est la grosseur des constellations. En effet, plus la constellation est grosse, plus cela veut dire que vous avez rutilis vos dimensions, et qui dit rutilisation de dimension, dit dimensions compltes, centralises et avec une vue oriente entreprise. Je m'explique : En conception d'entrept, il ne faut pas se casser la tte, ds qu'une dimension existante ne correspond pas parfaitement aux besoins d'une nouvelle toile, on en cre une autre, mme si elle est " presque " comme la dimension que nous allions utiliser. C'est pour cela qu'il faut crer, autant que possible, des dimensions gnriques et qui soient vraies tout le temps, pour toutes les fonctions de l'entreprise. Ces dimensions pourront tre rutilises et assurer une prennit des donnes. Et si de telles dimensions ne peuvent pas tre cres, il ne faut pas avoir de remords crer des dimensions similaires mais adaptes aux besoins de la nouvelle toile. Mais si vous voyez que dans chaque toile vous tes obligs de crer une nouvelle dimension " client " par exemple, posez vous des questions sur votre conception.
V-B - Construire un entrept de donnes, un vrai !

Rcapitulons, nous avons vu comment crer une toile ou un flocon, nous avons vu que les data marts sont des toiles regroupes par fonction ou par utilit dans l'entreprise et nous savons qu'un entrept est l'ensemble de tous les data marts de l'entreprise. Nous savons faire une toile, mais comment les regrouper pour mettre en #uvre un entrept de donnes ? Et bien trois mthodes s'offrent nous : Top-Down : c'est la mthode la plus lourde, la plus contraignante et la plus complte en mme temps. Elle consiste en la conception de tout l'entrept (ie : toutes les toiles), puis en la ralisation de ce dernier. Imaginez le travail qu'une telle mthode implique : savoir l'avance toutes les dimension et tous les faits de
l'entreprise, puis raliser tout a# Le seul avantage que cette mthode comporte est qu'elle offre une vision trs claire et trs conceptuelle des donnes de l'entreprise ainsi que du travail faire. Bottom-Up : c'est l'approche inverse, elle consiste crer les toiles une par une, puis les regrouper par des niveaux intermdiaires jusqu' obtention d'un vritable entrept pyramidal avec une vision d'entreprise. L'avantage de cette mthode est qu'elle est simple raliser (une toile la fois), l'inconvnient est le volume de travail d'intgration pour obtenir un entrept de donnes ainsi que la possibilit de redondances entre les toiles (car elles sont faites indpendamment les unes des autres). Middle-Out : c'est l'approche hybride, et conseille par les professionnels du BI. Elle consiste en la conception totale de l'entrept de donnes (ie : concevoir toutes dimensions, tous les faits, toutes les relations), puis crer des divisions plus petites et plus grables et les mettre en #uvre. Cela quivaut dcouper notre conception par lments en commun et raliser les dcoupages un par un. Cette mthode tire le meilleur des deux prcdentes sans avoir les contraintes. Il faut juste noter que cette mthode implique, parfois, des compromis de dcoupage (dupliquer des dimensions identiques pour des besoins pratiques).
VI - Critique des mthodes de conception d'entrepts

C'est trs humblement que j'ajoute cette section car je ne suis pas un chef de file dans le domaine. Le BI me passionne, je lis normment sur le sujet, mais je n'ai pas encore propos de mthode de conception :) Mon avis est que les mthodes dcrites plus haut sont une trs bonne faon de faire du BI avec les moyens techniques d'aujourd'hui. Bien que nous appliquions des compromis entre conception logique et relle (toile et flocon) et bien que la ralisation ne ressemble pas toujours la conception (cration de tables d'agrgats, division de tables pour des questions de performance, recration de dimensions identiques pour des questions de performance, etc.), la reprsentation des donnes base de dimensions et de faits offre un regard trs analytique sur le data de l'entreprise et permet de sublimer les limitations du modle relationnel en troisime forme normale en matire de manipulation de gros volumes des donnes. Il reste que, en utilisant ces mthodes rgulirement, l'on se rend compte qu'il y a beaucoup de bidouillage et beaucoup de gestion d'intgrit manuelle (grce aux ETL), un point tel que si l'on n'est pas extrmement rigoureux dans sa gestion de projet, l'environnement dcisionnel peut facilement se transformer en une vrai usine gaz. En rsum, tant la meilleure manire de faire du dcisionnel pour l'instant, la modlisation en toile reste une faon trs efficace d'organiser les donnes pour des fins d'analyse. Mais le temps, et la veille technologique, nous diront s'il existera une meilleure manire de faire du dcisionnel avec les nouvelles technologies logicielles et matrielles.
VI - Conclusion
Je citerais, en conclusion, les lments qui vous feront dduire que votre conception est bonne : Que votre entrept de donnes permettra de faire toutes les oprations analytiques et donnera aux dcideurs des moyens chiffrs pour valuer les faits voulus. Que vos dimensions seront orientes entreprise et pas fonction, avoir le plus possible des dimensions gnriques et rutilisables. Pas trop de flocons dans votre entrept, si c'est le cas, pensez plutt changer de serveur ou de moteur de stockage. C'est plus une technique d'optimisation que de conception. Avoir des noms d'attributs et de tables comprhensibles par les utilisateurs. Documenter, documenter, documenter. N'oubliez pas qu'un entrept non document est un entrept qu'on ne peut pas faire voluer, comprendre ou modifier. Gare la rtention d'information !! N'oubliez pas, pendant votre phase d'analyse, de lister les outputs et les questionnements des analystes et dcideurs de votre entreprise. Ceux-ci serviront de fil conducteur tout au long de votre projet.
VIII - Remerciements
Encore un grand merci toute l'quipe de dveloppez.com pour leurs soutien et leurs conseils aviss qui ont contribus l'aboutissement de ce document. Mention spciale pour l'quipe de corrcteurs, Olsimare et Adrien Artero ;)

Conception Data Warehouse

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Conception Data Warehouse

Uploaded by

Copyright:

Available Formats

Conception d'un entrept de donnes (Data Warehouse)

par Yazid Grim (Business Intelligen(ce))

Date de publication : Dernire mise jour :

II - Concepts fondamentaux II-A - Entrept de donnes (Data Warehouse)

II-B - Data Mart, ou magasin de donnes

II-E - ETL, ou ETC pour les francophiles

III - Modlisation en toile, un cas

IV - Modlisation en flocon, un cas

V - Conception d'entrepts de donnes

V-B - Construire un entrept de donnes, un vrai !

VI - Critique des mthodes de conception d'entrepts

You might also like