TECNICAS DE MIGRACION DE DATOS Y ETCL

INTRODUCCION

Cuando, como sucede en todo proceso de migración, se ha de proceder a integrar

dos o más sistemas pueden usarse diferentes técnicas, siendo las más comunes:

 Perfilado de datos: permite explorar los propios datos, agregando a los de

origen las reglas necesarias. Esta técnica hace posible también el obtener
resultados acerca de duplicidades o errores en los datos.
 Limpieza de datos: que puede llevarse a cabo empleando para ello una
herramienta de Data Quality que ayude a eliminar errores, incorrecciones o
duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca
y homologue los datos, preparándolos para el sistema de destino.
 Conexión a distintas fuentes de datos: una técnica que precisa de una
herramienta ad hoc que garantice el hacerlo en condiciones de
simultaneidad.

Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento

de la precisión, reducción del índice de errores, mayor agilidad y optimización del
tiempo; ya que su automatización evita los procesos manuales, algo que supone
su principal beneficio.

Qué se debe tener en cuenta para la elección del software de ETL

Existen muchas herramientas de ETL diferentes, como también hay infinidad de

bases de datos, sistemas y organizaciones distintas. En el momento de
seleccionar la que liderará la migración e integración de datos pueden tomarse en
consideración las recomendaciones de Gartner en cuanto a las cualidades que la
herramienta ha de presentar:
   Adaptabilidad a distintos sistemas operativos y plataformas hardware.
 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de
integración de datos : en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test,
representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
 Cualidades de arquitectura e integración referidas al grado de
interoperabilidad, compactación y consistencia de los diferentes
componentes que la formen.

 Aunque la elección de un software de ETL  no es sencilla, su repercusión en el

curso del proyecto es decisiva. Una decisión correcta pasa por la automatización
y en base a ella quedan garantizados:

 Un aumento en la velocidad de desarrollo del proyecto.

 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión.
 Minimización de errores.

HERRAMIENTAS ETL

 IBM Cognos Data Manager

 Oracle Warehouse Builder
 Microsoft Integration Services
 Informatica PowerCenter
IBM Cognos Data Manager

Características:

 IBM® Cognos Data Manager proporciona funciones dimensionales de

extracción, transformación y carga (ETL) para conseguir una inteligencia
empresarial de alto rendimiento.
 Se puede integrar con la GUI de IBM Data Manager Designer para diseñar
y crear prototipos
 Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas
remotos desde un sistema de entorno de diseño de Data Manager.
 Data Manager Engine se tiene que instalar en un sistema UNIX o Linux.

ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE

ETL OPTION

Caracteristicas:

 La opción empresarial ETL (Enterprise ETL Option) para Warehouse

Builder es una opción que puede ser adquirida con Oracle Warehouse
Builder como parte de la edición empresarial del motor de base de datos.
 Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales
como el Oracle Data Pump y transportable tablespaces.
 Permite prever el efecto que puedan tener los cambios que se hagan en
cualquier lugar de los metadatos del sistema ETL
 Es posible generar un modelo para configurar los ambientes de desarrollo,
pruebas y producción a niveles separados.
Microsoft SQL Server Integration Services

Caracteristicas:

 Puede extraer y transformar datos de diversos orígenes como archivos de

datos XML, archivos planos y orígenes de datos relacionales y, después,
cargar los datos en uno o varios destinos.
 Se pueden realizar tareas de migración fácilmente usando tareas visuales.
 Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB.
 Puede conseguir conectividad mediante CLI vía DLLs tipo ensamblador.

Informatica PowerCenter:

Caracteristicas:

 Calidad de datos generalizada para todos los grupos de interés, proyectos y

aplicaciones utilizando una sola plataforma unificada.
 Descubrimiento y análisis de datos, detección de riesgos ocultos,
localización de problemas estructurales y detención de la propagación de
los problemas de calidad.
 Acceso, integración y entrega de los datos rápidamente, de forma rentable
y sin codificación manual.
 Normalización de los datos en los formatos de tabla de destino y carga en
los nuevos sistemas.
 Garantía de acceso y entrega de datos críticos a toda la empresa donde y
cuando se necesiten, asegurando la conectividad sin límites a una amplia
variedad de fuentes de datos.
 Aplicación de test de validación para garantizar que los datos se mantiene
libres de daños y que no han sufrido menoscabos durante su traslado o
transformación.
 Interesantes opciones de integración de metadatos, que marcan la
diferencia con otras herramientas de migración de bases de datos.
 Visibilidad y control para todos los usuarios de negocio, que les otorga la
libertad necesaria para crear, administrar y compartir información
empresarial de carácter crítico contextualizada durante el proceso de
migración.
 Enmascaramiento de datos sensibles efectivo antes de producirse el
traslado a los nuevos sistemas de destino.
 Creación de subconjuntos seguros de datos de producción procedentes de
grandes bases de datos sin restricciones.
 Extracción rápida de datos de los sistemas de legado con cero impacto en
el desempeño operativo durante el proceso de migración de datos.

COMPARATIVA
 FACILIDAD DE USO

 IBM: Se puede integrar con la GUI de IBM Data Manager Designer pero este
es un módulo aparte.
 Oracle: Fácil cuando se trata de información almacenada en bases de datos
Oracle, debido a las herramientas Data Pump y transportable tablespaces,
pero no ofrece mucha compatibilidad a otras BD.
 Microsoft: Se pueden realizar tareas de migración fácilmente usando tareas
visuales.
 PowerCenter: Tiene una GUI fácil de utilizar, pero requeriere entrenamiento
para aprovecharla.

SOPORTE:

 IBM: Soporte mundial contratando en paquete.

 Oracle: Vía soporte local Oracle Latinoamérica.
 Microsoft: Soporte vía plataforma TechNet.
 PowerCenter: Soporte mundial vía web y consultoría.

IMPLEMENTACION
 VELOCIDAD

 IBM: Muy rápido cuando se trabaja con DB2 sin embargo la capa de
compatibilidad disminuye la velocidad de conexión con distintos manejadores
de base de datos.
 Oracle: La velocidad es proporcional al servicio Oracle en el cual este
trabajando.
 Microsoft: La velocidad es proporcional al servicio MSSQL en el cual este
trabajando.
 PowerCenter: Herramienta más rápida gracias a PushDown, sin embargo los
cambios son en momento y no permite hacer Rollback a un estado anterior.

CALIDAD DE LA INFORMACION

 IBM: Mediante Cognos Data Manager Packages se pueden incorporar

herramientas para DQ.
 Oracle: Permite DQ mediante el uso de Oracle Warehouse Builder Data
Profiling Features.
 Microsoft: Requiere del software SQL Server Data Quality Services para
ofrecer herramientas DQ.
 PowerCenter: Ofrece DQ a través de otro producto llamado Informatica Data
Quality.

MONITOREO

 IBM: Maneja registro de históricos.

 Oracle: Tiene herramientas prácticas y extensivas de monitoreo y registro
histórico.
 Microsoft: Tiene herramientas prácticas y extensivas de monitoreo y registro
histórico.
 PowerCenter: Tiene herramientas prácticas y extensivas de monitoreo y
registro histórico.

CONECTIVIDAD

 IBM: Cualquier conexión ODBC, DB2, para importación a DB2, cubos de

información T1MAP.
 Oracle: Solamente compatible con bases de datos Oracle mismas que la
instalada en el DataWarehouse
 Microsoft: Bases de datos SQL SERVER, ACCESS, ADO.NET
 PowerCenter: Varias bases de datos, archivos planos, xml, Excel, servicios
web puede exportar como servicio web.