Almacenes de Datos para Gestión de Datos Masivos Introducción A Los Almacenes de Datos

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS
INTRODUCCIN A LOS ALMACENES DE DATOS. ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS. CARGA Y MANTENIMIENTO DE UN ALMACN DE DATOS. DISEO Y ARMADO DE UN ALMACN DE DATOS.
INTRODUCCIN A LOS ALMACENES DE DATOS

EL OBJETIVO ES EL ANLISIS DE DATOS PARA EL SOPORTE EN LA TOMA DE DECISIONES. GENERALMENTE, LA INFORMACIN QUE SE QUIERE INVESTIGAR SOBRE UN CIERTO DOMINIO DE LA ORGANIZACIN: SE ENCUENTRA EN BASES DE DATOS Y OTRAS FUENTES MUY DIVERSAS. LAS FUENTES PUEDEN SER TANTO INTERNAS COMO EXTERNAS. MUCHAS DE ESTAS FUENTES SON LAS QUE SE UTILIZAN PARA EL TRABAJO DIARIO: BASES DE DATOS OPERACIONALES.

SOBRE ESTAS MISMAS BD DE TRABAJO YA SE PUEDE EXTRAER CONOCIMIENTO: VISIN TRADICIONAL. LA BD TRANSACCIONAL SE UTILIZA PARA VARIOS COMETIDOS: SE MANTIENE EL TRABAJO TRANSACCIONAL DIARIO DE LOS SISTEMAS DE INFORMACIN ORIGINALES: CONOCIDO COMO OLTP, ON-LINE TRANSACTIONAL PROCESSING. SE HACE ANLISIS DE LOS DATOS EN TIEMPO REAL SOBRE LA MISMA BD: CONOCIDO COMO OLAP, ON-LINE ANALYTICAL PROCESSING.

EL USO DE LA BD TRANSACCIONAL PARA VARIOS COMETIDOS PRESENTA ALGUNOS PROBLEMAS: PERTURBA EL TRABAJO TRANSACCIONAL DIARIO DE LOS SISTEMAS DE INFORMACIN ORIGINALES (KILLER QUERIES): SE DEBE HACER POR LA NOCHE O EN FINES DE SEMANA. LA BD EST DISEADA PARA EL TRABAJO TRANSACCIONAL, NO PARA EL ANLISIS DE LOS DATOS: GENERALMENTE NO PUEDE SER EN TIEMPO REAL (ERA AP (PROCESO ANALTICO) PERO NO OLAP (PROCESO ANALTICO EN LNEA)).

SE DESEA OPERAR EFICIENTEMENTE CON ESOS DATOS: LOS COSTES DE ALMACENAMIENTO MASIVO Y CONECTIVIDAD SE HAN REDUCIDO DRSTICAMENTE EN LOS LTIMOS AOS. PARECE RAZONABLE RECOGER LOS DATOS (INFORMACIN HISTRICA) EN UN SISTEMA SEPARADO Y ESPECFICO: NACE EL DATA-WAREHOUSING. DATA WAREHOUSES (DW): ALMACENES O BODEGAS DE DATOS.

UN AD (ALMACN DE DATOS) O DW EST ORIENTADO HACIA LA INFORMACIN RELEVANTE DE LA ORGANIZACIN: SE DISEA: PARA CONSULTAR RELATIVA A LAS ORGANIZACIN: EFICIENTEMENTE INFORMACIN ACTIVIDADES BSICAS DE LA
VENTAS, COMPRAS, PRODUCCIN, ETC. NO PARA SOPORTAR LOS PROCESOS QUE SE REALIZAN EN LA ORGANIZACIN: GESTIN DE PEDIDOS, FACTURACIN, ETC.
10

UN AD (DW) ES INTEGRADO: INTEGRA DATOS RECOGIDOS DE: DIFERENTES SISTEMAS ORGANIZACIN. Y/O FUENTES EXTERNAS. OPERACIONALES DE LA
11
12

UN AD ES VARIABLE EN EL TIEMPO: LOS DATOS SON RELATIVOS A UN PERIODO DE TIEMPO Y DEBEN SER INCREMENTADOS PERIDICAMENTE. LOS DATOS SON ALMACENADOS (SNAPSHOTS) CORRESPONDIENTES A TIEMPO. COMO FOTOS PERIODOS DE
13
14

UN AD ES NO VOLTIL: LOS DATOS ALMACENADOS NO SON ACTUALIZADOS, SLO SON INCREMENTADOS. EL PERIODO DE TIEMPO CUBIERTO POR UN AD VARA ENTRE 2 Y 10 AOS.
15
16

UN AD PROVEE VENTAJAS PARA LAS ORGANIZACIONES: RENTABILIDAD DE LAS INVERSIONES REALIZADAS PARA SU CREACIN. AUMENTO DE LA COMPETITIVIDAD EN EL MERCADO. AUMENTO DE LA PRODUCTIVIDAD DE LOS TCNICOS DE DIRECCIN.
17
18

UN AD GENERA PROBLEMAS PARA LAS ORGANIZACIONES: INFRAVALORACIN DEL ESFUERZO NECESARIO PARA SU DISEO Y CREACIN. INFRAVALORACIN DE LOS RECURSOS NECESARIOS PARA LA CAPTURA, CARGA Y ALMACENAMIENTO DE LOS DATOS. INCREMENTO CONTINUO DE LOS REQUISITOS DE LOS USUARIOS. PRIVACIDAD DE LOS DATOS.
19
20
ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

LA ARQUITECTURA DE UN AD VIENE DETERMINADA POR SU SITUACIN CENTRAL COMO FUENTE DE INFORMACIN PARA LAS HERRAMIENTAS DE ANLISIS.
21
22

LOS COMPONENTES SON LOS SIGUIENTES: SISTEMA ETL (EXTRACTION, TRANSFORMATION, LOAD). REPOSITORIO PROPIO DE DATOS. INTERFACES Y GESTORES DE CONSULTA. SISTEMAS DE INTEGRIDAD Y SEGURIDAD.
23
24

SISTEMA ETL (EXTRACTION, TRANSFORMATION, LOAD): REALIZA LAS FUNCIONES DE EXTRACCIN DE LAS FUENTES DE DATOS (TRANSACCIONALES O EXTERNAS), TRANSFORMACIN (LIMPIEZA, CONSOLIDACIN, ETC.) Y LA CARGA DEL AD, REALIZANDO: EXTRACCIN DE LOS DATOS. FILTRADO DE LOS DATOS: LIMPIEZA, CONSOLIDACIN, ETC. CARGA INICIAL DEL ALMACN: ORDENACIN, AGREGACIONES, ETC. REFRESCO DEL ALMACN: OPERACIN PERIDICA QUE PROPAGA LOS CAMBIOS DE LAS FUENTES EXTERNAS AL ALMACN DE DATOS.
ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS 25

REPOSITORIO PROPIO DE DATOS: INFORMACIN RELEVANTE, METADATOS. INTERFACES Y GESTORES DE CONSULTA: PERMITEN ACCEDER A LOS DATOS Y SOBRE ELLOS SE CONECTAN HERRAMIENTAS MS SOFISTICADAS: OLAP, EIS, MINERA DE DATOS. SISTEMAS DE INTEGRIDAD Y SEGURIDAD: SE ENCARGAN DE UN MANTENIMIENTO GLOBAL, COPIAS DE SEGURIDAD, ETC.
26

LA ORGANIZACIN (EXTERNA): LAS HERRAMIENTAS DE EXPLOTACIN DE LOS ALMACENES DE DATOS HAN ADOPTADO UN MODELO MULTIDIMENSIONAL DE DATOS: SE OFRECE AL USUARIO UNA VISIN MULTIDIMENSIONAL DE LOS DATOS QUE SON OBJETO DE ANLISIS.

EJEMPLO: ORGANIZACIN: CADENA DE SUPERMERCADOS. ACTIVIDAD OBJETO DE ANLISIS: VENTAS DE PRODUCTOS. INFORMACIN REGISTRADA SOBRE UNA VENTA: DEL PRODUCTO TAURITN 33CL SE HAN VENDIDO EN EL ALMACN ALMACN NRO.1 EL DA 17/7/2003, 5 UNIDADES POR UN IMPORTE DE 103,19 EUROS. PARA HACER EL ANLISIS NO INTERESA LA VENTA INDIVIDUAL (TICKET) REALIZADA A UN CLIENTE SINO LAS VENTAS DIARIAS DE PRODUCTOS EN LOS DISTINTOS ALMACENES DE LA CADENA.
27
28
29
30

MODELO MULTIDIMENSIONAL: EN UN ESQUEMA MULTIDIMENSIONAL SE REPRESENTA UNA ACTIVIDAD QUE ES OBJETO DE ANLISIS (HECHO) Y LAS DIMENSIONES QUE CARACTERIZAN LA ACTIVIDAD (DIMENSIONES). LA INFORMACIN RELEVANTE SOBRE EL HECHO (ACTIVIDAD) SE REPRESENTA POR UN CONJUNTO DE INDICADORES (MEDIDAS O ATRIBUTOS DE HECHO). LA INFORMACIN DESCRIPTIVA DE CADA DIMENSIN SE REPRESENTA POR UN CONJUNTO DE ATRIBUTOS (ATRIBUTOS DE DIMENSIN).
31
32

ENTRE LOS ATRIBUTOS DE UNA DIMENSIN SE DEFINEN JERARQUAS.

ESTE ESQUEMA NOMBRES: MULTIDIMENSIONAL RECIBE VARIOS ESTRELLA: SI LA JERARQUA DE DIMENSIONES ES LINEAL.
ESTRELLA JERRQUICA O JERARQUA NO ES LINEAL.
COPO
DE
NIEVE:
SI
LA
33
34

SE PUEDEN OBTENER HECHOS A DIFERENTES NIVELES DE AGREGACIN: OBTENCIN DE MEDIDAS SOBRE LOS HECHOS PARAMETRIZADAS POR ATRIBUTOS DE LAS DIMENSIONES Y RESTRINGIDAS POR CONDICIONES IMPUESTAS SOBRE LAS DIMENSIONES. UN NIVEL DE AGREGACIN PARA UN CONJUNTO DE DIMENSIONES SE DENOMINA CUBO. EJEMPLO DE HECHO: EL PRIMER TRIMESTRE DE 2004 LA EMPRESA VENDI EN VALENCIA POR UN IMPORTE DE 22.000 EUROS DEL PRODUCTO TAURITN 33 CL..
36

SE PUEDE RECOPILAR TODA LA INFORMACIN NECESARIA EN UN NICO ESQUEMA ESTRELLA O COPO DE NIEVE?: NO: NECESIDAD DE VARIOS ESQUEMAS. CADA UNO DE ESTOS ESQUEMAS SE DENOMINA DATAMART. EL SIGUIENTE ES UN EJEMPLO DE UN ALMACN FORMADO POR CUATRO DATAMARTS.
37
38

EL ALMACN DE DATOS PUEDE ESTAR FORMADO POR VARIOS DATAMARTS Y, OPCIONALMENTE, POR TABLAS ADICIONALES: EL DATAMART ES UN SUBCONJUNTO DE UN ALMACN DE DATOS, GENERALMENTE EN FORMA DE ESTRELLA O COPO DE NIEVE. LOS DATAMARTS SE DEFINEN PARA SATISFACER LAS NECESIDADES DE UN DEPARTAMENTO O SECCIN DE LA ORGANIZACIN. UN DATAMART CONTIENE MENOS INFORMACIN DETALLE Y MS INFORMACIN AGREGADA. DE
CARGA Y MANTENIMIENTO DE UN ALMACN DE DATOS
39
40

EL SISTEMA ENCARGADO DEL MANTENIMIENTO DEL ALMACN DE DATOS ES EL SISTEMA E.T.T. (EXTRACCIN TRANSFORMACIN -TRANSPORTE) O E.T.L. (EXTRACCIN TRANSFORMACIN LOAD (CARGA)): LA CONSTRUCCIN DEL SISTEMA E.T.T. ES RESPONSABILIDAD DEL EQUIPO DE DESARROLLO DEL ALMACN DE DATOS. EL SISTEMA E.T.T. ES CONSTRUIDO ESPECFICAMENTE PARA CADA ALMACN DE DATOS. APROXIMADAMENTE 50% DEL ESFUERZO. EN LA CONSTRUCCIN DEL E.T.T. SE PUEDEN UTILIZAR HERRAMIENTAS DEL MERCADO O PROGRAMAS DISEADOS ESPECFICAMENTE.

LAS FUNCIONES DEL SISTEMA E.T.T. SON: CARGA INICIAL (INITIAL LOAD). MANTENIMIENTO O REFRESCO PERIDICO: INMEDIATO, DIARIO, SEMANAL, MENSUAL,... (REFRESHMENT)..
41
42

EL ALMACENAMIENTO INTERMEDIO PERMITE: REALIZAR TRANSFORMACIONES SIN PARALIZAR LAS BD OPERACIONALES Y EL ALMACN DE DATOS. ALMACENAR METADATOS. FACILITAR LA INTEGRACIN DE FUENTES EXTERNAS.
43
44

LA CALIDAD DE LOS DATOS ES LA CLAVE DEL XITO DE UN ALMACN DE DATOS. ES NECESARIO DEFINIR UNA ESTRATEGIA DE CALIDAD: ACTUACIN SOBRE LOS SISTEMAS OPERACIONALES: MODIFICAR LAS REGLAS DE INTEGRIDAD, LOS DISPARADORES Y LAS APLICACIONES DE LOS SISTEMAS OPERACIONALES. DOCUMENTACIN DE LAS FUENTES DE DATOS. DEFINICIN DE UN PROCESO DE TRANSFORMACIN. NOMBRAMIENTO DE UN RESPONSABLE DE CALIDAD DEL SISTEMA (DATA QUALITY MANAGER).
45
46

EXTRACCIN: SIGNIFICA EL USO DE: PROGRAMAS DISEADOS PARA EXTRAER LOS DATOS DE LAS FUENTES. HERRAMIENTAS : DATA MIGRATION TOOLS , WRAPPERS, ETC.
47
48

EXTRACCIN: COMPRENDE LA OPERACIONAL: LECTURA DE DATOS DEL SISTEMA

LA EJECUCIN DE LA EXTRACCIN: SI LOS DATOS OPERACIONALES ESTN MANTENIDOS EN UN SGBDR: LA EXTRACCIN DE DATOS SE PUEDE REDUCIR A CONSULTAS EN SQL O RUTINAS PROGRAMADAS. SI LOS DATOS OPERACIONALES ESTN EN UN SISTEMA PROPIETARIO (NO SE CONOCE EL FORMATO DE LOS DATOS) O EN FUENTES EXTERNAS TEXTUALES, HIPERTEXTUALES U HOJAS DE CLCULO: LA EXTRACCIN PUEDE SER MUY DIFCIL Y PUEDE TENER QUE REALIZARSE A PARTIR DE INFORMES O VOLCADOS DE DATOS PROPORCIONADOS POR LOS PROPIETARIOS QUE DEBERN SER PROCESADOS POSTERIORMENTE.
DURANTE LA CARGA INICIAL. MANTENIMIENTO DEL AD.
49
50

EXTRACCIN: EN EL MANTENIMIENTO / REFRESCO DEL AD, ANTES DE REALIZAR LA EXTRACCIN ES PRECISO IDENTIFICAR LOS CAMBIOS.

LA IDENTIFICACIN DE CAMBIOS SIGNIFICA: IDENTIFICAR LOS DATOS OPERACIONALES (RELEVANTES) QUE HAN SUFRIDO UNA MODIFICACIN DESDE LA FECHA DEL LTIMO MANTENIMIENTO. MTODOS: CARGA TOTAL: CADA VEZ SE EMPIEZA DE CERO. COMPARACIN DE INSTANCIAS DE LA BASE DE DATOS OPERACIONAL. USO DE MARCAS DE TIEMPO (TIME STAMPING) EN LOS REGISTROS DEL SISTEMA OPERACIONAL. USO DE DISPARADORES OPERACIONAL. EN EL SISTEMA DE
USO DEL FICHERO DE LOG (GESTIN TRANSACCIONES) DEL SISTEMA OPERACIONAL. USO DE TCNICAS MIXTAS.
ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS 51 ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS
52

TRANSFORMACIN: SIGNIFICA: TRANSFORMAR LOS DATOS FUENTES OPERACIONALES: EXTRADOS DE LAS
LIMPIEZA, ESTANDARIZACIN (CLEANSING). CALCULAR LOS DATOS DERIVADOS: APLICAR LAS (INTEGRATION). LEYES DE DERIVACIN
53
54

TRANSFORMACIN: EN LOS DATOS OPERACIONALES EXISTEN ANOMALAS DEBIDAS A: DESARROLLOS INDEPENDIENTES A LO TIEMPO, FUENTES HETEROGNEAS, ETC. SE DEBE ELIMINAR LAS ANOMALAS: LIMPIEZA DE DATOS: ELIMINAR DATOS, CORREGIR Y COMPLETAR DATOS, ELIMINAR DUPLICADOS, ETC. ESTANDARIZACIN: CODIFICACIN, FORMATOS, UNIDADES DE MEDIDA, ETC. LARGO DEL
55
56

TRANSFORMACIN: LAS CLAVES CON ESTRUCTURA SE DEBEN DESCOMPONER EN VALORES ATMICOS. EJ.: CDIGO DE PRODUCTO = 12M65431345: CDIGO DEL PAS: 12. ZONA DE VENTAS: M. NMERO DE PRODUCTO: 65431. CDIGO DE VENDEDOR: 345.

TRANSFORMACIN: SE DEBEN UNIFICAR CODIFICACIONES: PUEDEN EXISTIR CODIFICACIONES MLTIPLES QUE SE DEBEN UNIFICAR: EJ.: DIFERENTES (GNERO): CODIFICACIONES PARA SEXO
M, F: MASCULINO, FEMENINO. V, M: VARN, MUJER. 1, 0: HOMBRE, MUJER. A, B: MUJER, HOMBRE. DEBEN DETECTARSE LOS VALORES ERRNEOS.
57
58

TRANSFORMACIN: SE DEBEN UNIFICAR ESTNDARES: UNIDADES DE MEDIDA: EJ.: CM, INCHES: A CM. UNIDADES DE TIEMPO: EJ.: DD/MM/YY, MM/DD/YY: A DD-Mon-YY. MONEDA: EJ.: GBP, FF, EURO, USD: A USD. ETC.

TRANSFORMACIN: SE DEBEN ELIMINAR VALORES DUPLICADOS: SQL. RESTRICCIONES EN EL SGBDR. EJ.: CAMPOS DUPLICADOS EN DIFERENTES TABLAS.
59
60

TRANSFORMACIN: SE DEBE RECONSTRUIR LA INTEGRIDAD REFERENCIAL. Departamento 10 20 30 40 Emp 1099 1289 1234 6786 Nombre Smith Jones Doe Harris Departamento 10 20 50 60

TRANSFORMACIN: SE DEBE CREAR LAS CLAVES.
61
62

TRANSPORTE (CARGA): LA FASE DE TRANSPORTE CONSISTE EN: MOVER LOS DATOS DESDE LAS FUENTES OPERACIONALES O EL ALMACENAMIENTO INTERMEDIO HASTA EL ALMACN DE DATOS, Y. CARGAR LOS DATOS EN ESTRUCTURAS DE DATOS. LAS CORRESPONDIENTES

TRANSPORTE: CREACIN Y MANTENIMIENTO DE UN AD: CREAR EL AD (BASE DE DATOS). EN INTERVALOS DE TIEMPO FIJOS AADIR CAMBIOS AL AD: SE DEBEN DETERMINAR LAS VENTANAS DE CARGA MS CONVENIENTES PARA NO SATURAR LA BD OPERACIONAL. OCASIONALMENTE ARCHIVAR O ELIMINAR DATOS OBSOLETOS QUE YA NO INTERESAN PARA EL ANLISIS.
LA CARGA PUEDE CONSUMIR MUCHO TIEMPO. EN LA CARGA INICIAL DEL AD SE MUEVEN GRANDES VOLMENES DE DATOS. EN LOS MANTENIMIENTOS PERIDICOS DEL AD SE MUEVEN PEQUEOS VOLMENES DE DATOS. LA FRECUENCIA DEL MANTENIMIENTO PERIDICO EST DETERMINADA POR EL GRNULO DEL AD Y LOS REQUISITOS DE LOS USUARIOS.
64

PROCESOS POSTERIORES A LA CARGA: INDIZACIN: DURANTE LA CARGA: CARGA CON EL NDICE HABILITADO. PROCESO TUPLA A TUPLA (LENTO). DESPUS DE LA CARGA: CARGA CON EL NDICE DESHABILITADO. CREACIN DEL NDICE (TOTAL O PARCIAL) (RPIDO).
65
66

PROCESOS POSTERIORES A LA CARGA: OBTENCIN DE AGREGADOS: DURANTE LA EXTRACCIN. DESPUS DE LA CARGA (TRANSPORTE).
67
68
DISEO Y ARMADO DE UN ALMACN DE DATOS
69
70

ETAPAS:
71
72
73
74

DETALLES ACERCA DEL DISEO LGICO:
75
76

MODELADO MULTIDIMENSIONAL: EN UN ESQUEMA MULTIDIMENSIONAL SE REPRESENTA UNA ACTIVIDAD QUE ES OBJETO DE ANLISIS (HECHO) Y LAS DIMENSIONES QUE CARACTERIZAN LA ACTIVIDAD (DIMENSIONES). LA INFORMACIN RELEVANTE SOBRE EL HECHO (ACTIVIDAD) SE REPRESENTA POR UN CONJUNTO DE INDICADORES (MEDIDAS O ATRIBUTOS DE HECHO). LA INFORMACIN DESCRIPTIVA DE CADA DIMENSIN SE REPRESENTA POR UN CONJUNTO DE ATRIBUTOS (ATRIBUTOS DE DIMENSIN).

EL MODELADO MULTIDIMENSIONAL SE PUEDE APLICAR UTILIZANDO DISTINTOS MODELOS DE DATOS (CONCEPTUALES O LGICOS). LA REPRESENTACIN GRFICA DEL ESQUEMA MULTIDIMENSIONAL DEPENDER DEL MODELO DE DATOS UTILIZADO (RELACIONAL, ER, UML, OO, ETC.).
77
78

EL DESARROLLO DE LA TECNOLOGA DE ALMACENES DE DATOS SE HA CARACTERIZADO POR: UN TEMPRANO DESARROLLO INDUSTRIAL PROVOCADO POR LAS DEMANDAS DE LOS USUARIOS. EL USO DE METODOLOGAS DE DISEO CENTRADAS PRINCIPALMENTE EN LOS NIVELES LGICO E INTERNO: LA ATENCIN SE HA CENTRADO EN MEJORAR LA EFICIENCIA EN LA EJECUCIN DE CONSULTAS. EJ. DE METODOLOGA DE DISEO BASADA EN EL MODELO RELACIONAL: MODELO MULTIDIMENSIONAL DE KIMBALL.

LOS PASOS EN EL DISEO DEL ALMACN DE DATOS SON: PASO 1: ELEGIR UN PROCESO DE LA ORGANIZACIN PARA MODELAR. PASO 2: DECIDIR EL GRNULO (NIVEL DE DETALLE) DE REPRESENTACIN DEL PROCESO. PASO 3: IDENTIFICAR LAS DIMENSIONES QUE CARACTERIZAN EL PROCESO. PASO 4: DECIDIR LA INFORMACIN A ALMACENAR SOBRE EL PROCESO.
79
80

PASO 1: ELEGIR UN PROCESO DE LA ORGANIZACIN PARA MODELAR: PROCESO: ACTIVIDAD DE LA ORGANIZACIN SOPORTADA POR UN OLTP DEL CUAL SE PUEDE EXTRAER INFORMACIN CON EL PROPSITO DE CONSTRUIR EL ALMACN DE DATOS: PEDIDOS (DE CLIENTES). COMPRAS (A SUMINISTRADORES). FACTURACIN. ENVOS. VENTAS. INVENTARIO. ETC.

EJEMPLO: CADENA DE SUPERMERCADOS: CADENA DE SUPERMERCADOS CON 300 ALMACENES EN LA QUE SE EXPENDEN UNOS 30.000 PRODUCTOS DISTINTOS. ACTIVIDAD: VENTAS: LA ACTIVIDAD A MODELAR SON LAS VENTAS DE PRODUCTOS EN LOS SUPERMERCADOS (ALMACENES) DE LA CADENA.
81
82

PASO 2: DECIDIR EL GRNULO (NIVEL DE DETALLE) DE REPRESENTACIN: GRNULO: ES EL NIVEL DE DETALLE AL QUE SE DESEA ALMACENAR INFORMACIN SOBRE LA ACTIVIDAD A MODELAR: EL GRNULO DEFINE EL NIVEL ATMICO DE DATOS EN EL ALMACN DE DATOS. EL GRNULO DETERMINA EL SIGNIFICADO DE LAS TUPLAS DE LA TABLA DE HECHOS. EL GRNULO DETERMINA LAS DIMENSIONES BSICAS DEL ESQUEMA: TRANSACCIN EN EL OLTP. INFORMACIN DIARIA. INFORMACIN SEMANAL. INFORMACIN MENSUAL.
ETC.
83
84

EJEMPLO: CADENA DE SUPERMERCADOS. GRNULO: SE DESEA ALMACENAR INFORMACIN SOBRE LAS VENTAS DIARIAS DE CADA PRODUCTO EN CADA ALMACN DE LA CADENA. GRNULO: DEFINE EL SIGNIFICADO DE LAS TUPLAS DE LA TABLA DE HECHOS. DETERMINA LAS DIMENSIONES BSICAS DEL ESQUEMA.
85
86

GRNULO INFERIOR: NO SE ALMACENA INFORMACIN A NIVEL DE LNEA DE TICKET PORQUE NO SE PUEDE IDENTIFICAR SIEMPRE AL CLIENTE DE LA VENTA: SI SE PUDIERA, PERMITIRA HACER ANLISIS DEL COMPORTAMIENTO (HBITOS DE COMPRA) DEL CLIENTE.

GRNULO SUPERIOR: NO SE ALMACENA INFORMACIN A NIVEL SEMANAL O MENSUAL PORQUE SE PERDERAN OPCIONES DE ANLISIS INTERESANTES: VENTAS EN DAS PREVIOS A VACACIONES, VENTAS EN FIN DE SEMANA, VENTAS EN FIN DE MES, ETC. EN UN DW SE ALMACENA INFORMACIN A UN NIVEL DE DETALLE (GRNULO) FINO: NO PORQUE SE VAYA A INTERROGAR EL ALMACN A ESE NIVEL. SINO PORQUE ELLO PERMITE CLASIFICAR Y ESTUDIAR (ANALIZAR) LA INFORMACIN DESDE MUCHOS PUNTOS DE VISTA.
87
88

PASO 3: IDENTIFICAR LAS DIMENSIONES QUE CARACTERIZAN EL PROCESO: DIMENSIONES : DIMENSIONES QUE CARACTERIZAN LA ACTIVIDAD AL NIVEL DE DETALLE (GRNULO) QUE SE HA ELEGIDO: TIEMPO (DIMENSIN TEMPORAL: CUNDO SE PRODUCE LA ACTIVIDAD?). PRODUCTO (DIMENSIN CUL ES EL OBJETO DE LA ACTIVIDAD?). ALMACN (DIMENSIN PRODUCE LA ACTIVIDAD?). GEOGRFICA: DNDE SE
CLIENTE (DIMENSIN QUIN ES EL DESTINATARIO DE LA ACTIVIDAD?).
89
90

DE CADA DIMENSIN SE DEBE DECIDIR LOS ATRIBUTOS (PROPIEDADES) RELEVANTES PARA EL ANLISIS DE LA ACTIVIDAD. ENTRE LOS ATRIBUTOS DE UNA DIMENSIN EXISTEN JERARQUAS NATURALES QUE DEBEN SER IDENTIFICADAS: DA-MES-AO.
91
92

EJEMPLO: CADENA DE SUPERMERCADOS. NOTA: EN LAS APLICACIONES REALES EL NMERO DE DIMENSIONES SUELE VARIAR ENTRE 3 Y 15.

DIMENSIN TIEMPO: DIMENSIN PRESENTE EN TODO AD PORQUE EL AD CONTIENE INFORMACIN HISTRICA SOBRE LA ORGANIZACIN. AUNQUE EL LENGUAJE SQL OFRECE FUNCIONES DE TIPO DATE, UNA DIMENSIN TIEMPO PERMITE REPRESENTAR OTROS ATRIBUTOS TEMPORALES NO CALCULABLES EN SQL. SE PUEDE CALCULAR DE ANTEMANO.
93
94

ATRIBUTOS FRECUENTES: NRO. DE DA, NRO. DE SEMANA, NRO. DE AO: VALORES ABSOLUTOS DEL CALENDARIO JULIANO QUE PERMITEN HACER CIERTOS CLCULOS ARITMTICOS. DA DE LA SEMANA (LUNES, MARTES, MIRCOLES,...): PERMITE HACER ANLISIS SOBRE DAS DE LA SEMANA CONCRETOS (EJ. VENTAS EN SBADO, VENTAS EN LUNES,..).

DIMENSIN TIEMPO: ATRIBUTOS FRECUENTES: DA DEL MES (1..31): PERMITE HACER COMPARACIONES SOBRE EL MISMO DA EN MESES DISTINTOS (VENTAS EL 1 DE MES). MARCA DE FIN DE MES, MARCA DE FIN DE SEMANA: PERMITE HACER COMPARACIONES SOBRE EL LTIMO DA DEL MES O DAS DE FIN DE SEMANA EN DISTINTOS MESES. TRIMESTRE DEL AO (1..4): PERMITE HACER ANLISIS SOBRE UN TRIMESTRE CONCRETO EN DISTINTOS AOS.
95
96

MARCA DE DA FESTIVO (FERIADO): PERMITE HACER ANLISIS CONTIGUOS A UN DA FESTIVO. ESTACIN (PRIMAVERA, VERANO..). EVENTO ESPECIAL: PERMITE MARCAR DAS DE EVENTOS ESPECIALES (FINAL DE FUTBOL, ELECCIONES...). JERARQUA NATURAL: DA - MES - TRIMESTRE AO. SOBRE LOS DAS

DIMENSIN PRODUCTO: LA DIMENSIN PRODUCTO SE DEFINE A PARTIR DEL FICHERO MAESTRO DE PRODUCTOS DEL SISTEMA OLTP. LAS ACTUALIZACIONES DEL FICHERO MAESTRO DE PRODUCTOS DEBEN REFLEJARSE EN LA DIMENSIN PRODUCTO (CMO?). LA DIMENSIN PRODUCTO DEBE CONTENER EL MAYOR NMERO POSIBLE DE ATRIBUTOS DESCRIPTIVOS QUE PERMITAN UN ANLISIS FLEXIBLE: UN NMERO FRECUENTE ES DE 50 ATRIBUTOS.
97
98

ATRIBUTOS FRECUENTES: IDENTIFICADOR (CDIGO ESTNDAR), DESCRIPCIN, TAMAO DEL ENVASE, MARCA, CATEGORA, DEPARTAMENTO, TIPO DE ENVASE, PRODUCTO DIETTICO, PESO, UNIDADES DE PESO, UNIDADES POR ENVASE, FRMULA, ETC. JERARQUAS: PRODUCTO-CATEGORA-DEPARTAMENTO.

DIMENSIN ESTABLECIMIENTO (STORE): LA DIMENSIN ALMACN REPRESENTA LA INFORMACIN GEOGRFICA BSICA. ESTA DIMENSIN SUELE SER CREADA EXPLCITAMENTE RECOPILANDO INFORMACIN EXTERNA QUE SLO TIENE SENTIDO EN EL AD Y QUE NO LA TIENE EN UN OLTP: NMERO DE HABITANTES DE LA CIUDAD DEL ESTABLECIMIENTO, CARACTERIZACIN DEL TIPO DE POBLACIN DEL DISTRITO, ETC.
99
100

ATRIBUTOS FRECUENTES: IDENTIFICADOR (CDIGO INTERNO), NOMBRE, DIRECCIN, DISTRITO, REGIN, CIUDAD, PAS, DIRECTOR, TELFONO, FAX, TIPO DE ALMACN, SUPERFICIE, FECHA DE APERTURA, FECHA DE LA LTIMA REMODELACIN, SUPERFICIE PARA CONGELADOS, SUPERFICIE PARA PRODUCTOS FRESCOS, DATOS DE LA POBLACIN DEL DISTRITO, ZONA DE VENTAS, ETC. JERARQUAS: ESTABLECIMIENTO - DISTRITO - CIUDAD - REGIN - PAS (JERARQUA GEOGRFICA). ESTABLECIMIENTO - ZONA_VENTAS - REGIN_VENTAS (JERARQUA DE VENTAS).
101
102

PASO 4: DECIDIR LA INFORMACIN A ALMACENAR SOBRE EL PROCESO: HECHOS: INFORMACIN (SOBRE LA ACTIVIDAD) QUE SE DESEA ALMACENAR EN CADA TUPLA DE LA TABLA DE HECHOS Y QUE SER EL OBJETO DEL ANLISIS: PRECIO. UNIDADES. IMPORTE. ETC. NOTA: ALGUNOS DATOS QUE EN EL OLTP COINCIDIRAN CON VALORES DE ATRIBUTOS DE DIMENSIONES, EN EL AD PUEDEN REPRESENTAR HECHOS: EJ.: EL PRECIO DE VENTA DE UN PRODUCTO.
103
104

EJEMPLO: CADENA DE SUPERMERCADOS. GRNULO: SE DESEA ALMACENAR INFORMACIN SOBRE LAS VENTAS DIARIAS DE CADA PRODUCTO EN CADA ESTABLECIMIENTO DE LA CADENA. IMPORTE TOTAL DE LAS VENTAS DEL PRODUCTO EN EL DA. NMERO TOTAL DE UNIDADES VENDIDAS DEL PRODUCTO EN EL DA. NMERO TOTAL DE CLIENTES DISTINTOS QUE HAN COMPRADO EL PRODUCTO EN EL DA.
105
106

OTRAS ORIENTACIONES DE DISEO: USAR CLAVES SIN SIGNIFICADO. EVITAR NORMALIZAR. INCLUIR LA DIMENSIN TIEMPO. DIMENSIONES QUE CAMBIAN. DEFINICIN DE AGREGADOS.

OTRAS ORIENTACIONES DE DISEO: USO DE CLAVES SIN SIGNIFICADO: EN UN ALMACN DE DATOS DEBE EVITARSE EL USO DE LAS CLAVES DEL SISTEMA OPERACIONAL. LAS CLAVES DE LAS DIMENSIONES GENERADAS ARTIFICIALMENTE: DEBEN SER
CLAVES DE TIPO ENTERO (4 BYTES) SON SUFICIENTE PARA DIMENSIONES DE CUALQUIER TAMAO (232 VALORES DISTINTOS). LA DIMENSIN TIEMPO DEBE TENER TAMBIN UNA CLAVE ARTIFICIAL.
107
108

LOS INCONVENIENTES DEL USO DE LAS CLAVES DEL SISTEMA OPERACIONAL SON: EN EL OLTP SE PUEDE DECIDIR REUTILIZAR VALORES DE LA CLAVE NO UTILIZADOS ACTUALMENTE. EN EL OLTP SE PUEDE DECIDIR CODIFICACIN DE LAS CLAVES. CAMBIAR LA

OTRAS ORIENTACIONES DE DISEO: EVITAR NORMALIZAR: SI SE DEFINE UNA TABLA DE DIMENSIN PARA CADA DIMENSIN IDENTIFICADA EN EL ANLISIS, ES FRECUENTE QUE ENTRE EL CONJUNTO DE ATRIBUTOS DE LA TABLA APAREZCAN DEPENDENCIAS FUNCIONALES QUE HACEN QUE LA TABLA NO EST EN 3 F.N. RAZONES PARA EVITAR NORMALIZAR: EL AHORRO DE ESPACIO NO ES SIGNIFICATIVO. SE MULTIPLICAN LOS JOIN DURANTE LAS CONSULTAS.
109
110

OTRAS ORIENTACIONES DE DISEO: SIEMPRE INTRODUCIR LA DIMENSIN TIEMPO: EN UN ALMACN DE DATOS MUCHAS CONSULTAS SON RESTRINGIDAS Y PARAMETRIZADAS POR CRITERIOS RELATIVOS A PERIODOS DE TIEMPO: LTIMO MES, ESTE AO, ETC.

OTRAS ORIENTACIONES DE DISEO: DIMENSIONES QUE CAMBIAN: SE CONSIDERA RELEVANTE EL CASO EN QUE, EN EL MUNDO REAL, PARA UN VALOR DE UNA DIMENSIN: CAMBIA EL VALOR DE UN ATRIBUTO QUE ES SIGNIFICATIVO PARA EL ANLISIS SIN CAMBIAR EL VALOR DE SU CLAVE. EJ.: EN UN AD EXISTE LA DIMENSIN CLIENTE: EN LA TABLA CORRESPONDIENTE UN REGISTRO REPRESENTA LA INFORMACIN SOBRE EL CLIENTE MARA GARCA CUYO ESTADO CIVIL CAMBIA EL 15-01-1994 DE SOLTERA A CASADA. EL ESTADO CIVIL DEL CLIENTE ES UTILIZADO CON FRECUENCIA EN EL ANLISIS DE LA INFORMACIN.
111
112

EXISTEN TRES ESTRATEGIAS PARA EL TRATAMIENTO DE LOS CAMBIOS EN LAS DIMENSIONES: TIPO 1: REALIZAR LA MODIFICACIN. TIPO 2: CREAR UN NUEVO REGISTRO. TIPO 3: CREAR UN NUEVO ATRIBUTO.

OTRAS ORIENTACIONES DE DISEO: DEFINICIN DE AGREGADOS: EN UN ALMACN DE DATOS ES USUAL CONSULTAR INFORMACIN AGREGADA. EL ALMACENAMIENTO DE DATOS AGREGADOS POR DISTINTOS CRITERIOS DE AGREGACIN EN LA TABLA DE HECHOS MEJORA LA EFICIENCIA DEL AD.
113
114

LAS ESTRATEGIAS DE ALMACENAMIENTO DE DATOS AGREGADOS SON: ESTRATEGIA 1: DEFINIR NUEVAS TABLAS DE HECHOS (RESP. DIMENSIONES) PARA ALMACENAR LA INFORMACIN AGREGADA (RESP. LA DESCRIPCIN DE LOS NIVELES DE AGREGACIN). ESTRATEGIA 2: INSERTAR EN LA TABLA DE HECHOS (RESP. DIMENSIONES) TUPLAS QUE REPRESENTAN LA INFORMACIN AGREGADA (RESP. LOS NIVELES DE AGREGACIN).

CONCLUSIONES: EL DISEO DE UN DW TIENE CARACTERSTICAS PROPIAS QUE LO HACEN DIFERENTE AL DISEO DE DATOS PARA UNA BASE DE DATOS OPERACIONAL. LA ETAPA DE EXTRACCIN DE DATOS Y SU POSTERIOR ACTUALIZACIN DEBEN SER CONSIDERADAS CUIDADOSAMENTE PARA PRESERVAR LA UTILIDAD REAL DEL DW.
115
116

Almacenes de Datos para Gestión de Datos Masivos Introducción A Los Almacenes de Datos

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Almacenes de Datos para Gestión de Datos Masivos Introducción A Los Almacenes de Datos

Uploaded by

Copyright:

Available Formats

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

INTRODUCCIN A LOS ALMACENES DE DATOS

INTRODUCCIN A LOS ALMACENES DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ARQUITECTURA DE UN SISTEMA DE ALMACN DE DATOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS

ALMACENES DE DATOS PARA GESTIN DE DATOS MASIVOS