Arquitectura de un Data Warehouse

5 marzo, 2010 por Ana Buigues Dejar una respuesta »

Una arquitectura de Data Warehouse es una forma de representar la estructura global de los datos, la comunicación, los procesos y la presentación al usuario final. La arquitectura está constituida por las siguientes partes interconectadas:

Arquitectura Data Warehouse

Elementos que constituyen la arquitectura de un Data Warehouse

Explicamos uno a uno la función de cada nivel.

1. Base de datos operacional y base de datos externa

Las organizaciones adquieren datos de bases de datos externas a la propia organización, que incluyen datos demográficos, económicos, datos sobre la competencia, etc.

Mediante el proceso de data warehousing se extrae la información que está en la bases de datos operacionales y se mezcla con otras fuentes de datos. Enriquecemos la información.

2. Nivel de acceso a la información

Es la capa con la que trata el usuario final. La información almacenada se convierte en información fácil y transparente para las herramientas que utlizan los usuarios. Se obtienen informes, gráficos, diagramas, etc.

3. Nivel de acceso a los datos

Comunica el nivel de acceso a la información con el nivel operacional, es el responsable de la interfaz entre las herramientas de acceso a la información y las bases de datos.

La clave de este nivel está en proveer al usuario de un acceso universal a los datos, es decir, que los usuarios sin tener en cuenta la ubicación de los datos o la herramienta de acceso a la información, deberían ser capaces de acceder a cualquier dato del data warehouse que les fuera necesario para realizar su trabajo.

4. Nivel de directorio de datos  (metadatos)

Para proveer de un acceso universal, es absolutamente necesario mantener alguna clase de directorio de datos o repositorio de información de metadato que ayude a mantener un control sobre los datos. El metadato aporta información sobre los datos de la organización, de dónde proviene, qué formato tenía, cuál era su significado y si se trata de un agregado, cómo se ha calculado éste.

Para mantener un almacén completamente funcional, es necesario disponer de una amplia variedad de metadatos, información sobre las vistas de datos para los usuarios finales y sobre las bases de datos operacionales.

5. Nivel de gestión de procesos

Este nivel tiene que ver con la planificación de las tareas que se deben realizar, no sólo para construir, sino también para mantener el data warehouse y la información del directorio de datos. Es  o el controlador de alto nivel de los procesos que se han de llevar a cabo para que el data warehouse permanezca actualizado.

6. Nivel de mensaje de la aplicación

Este nivel es el encargado del transporte de la información a lo largo del entorno, se puede pensar en él como un middleware.

7. Nivel Data Warehouse (físico)

Es el núclo del sistema, el repositorio central de información donde los datos actuales usados principalmente con fines informacionales residen. En el data warehouse físico se almacenan copias de los datos operacionales y/o externos, en una estructura que optimiza su acceso para la consulta y que es muy flexible.

8. Nivel de organización de datos

Incluye todos los procesos necesarios para seleccionar, editar, resumir, combinar y cargar en el data warehouse y en la capa de acceso a la información los datos operacionales y/o externos.

Estructura de un Data Warehouse

La estructura de un data warehouse se caracteriza por los diferentes niveles de esquematización y detalle de los datos que se encuentran en él.

1. Detalle de los datos actuales

Reflejan los acontecimientos más recientes, las últimas informaciones generadas por los sistemas de producción de la organización. El nivel de detalle no tiene por qué ser el mismo que el de los sistemas de producción, ya que los datos pueden ser fruto de alguna agregación o de una simplificación de los datos originales.

Una agregación es una partición horizontal de una relación según los valores de los atributos, seguida de una agrupación mediante una función de cálculo (suma, media, producto, etc)

2. Detalle de datos antiguos

Están almacenados en un nivel de detalle consistente con los datos detallados actuales, esto significa que si los datos actuales hacen referencia a ventas diarias en el año actual, los datos historiados contienen las ventas de años anteriores en el nivel de detalle de día también.

3. Datos resumidos

Son datos obtenidos como resultado de un proceso de síntesis de los datos actuales. Lo que se tiene entonces son datos agregados o resumidos. Por ejemplo, se entiende mejor la evolución de las ventas si se la presenta resumida por semanas que de manera diaria.

4. Metadatos

Ofrecen información descriptiva sobre el contexto, la calidad, la condición y las características de los datos. El metadato se sitúa en una dimensión diferente a la de los otros datos en el data warehouse, debido a que su contenido no es tomado directamente desde el ambiente operacional.

20 comentarios

  1. lottusUteq dice:

    Excelente, muy buena informacion muy concisa

  2. Belkys Villegas dice:

    Hola Ana, gsto en saludarte soy bibliotecologa y tesista en una maestria de Gerencia de las TIC´s estoy proponiendo como proyecto de tesis la creacion de un ssitema documental y de informacion digital para una empresa petrolera, pero mi tutor me exige que contemple la alpicacion de una data werehause e leido mucho al respecto y reconozco que a lo mas que podre llegar es la proponer la arquitectura de la informacion ya que no es propio de mi area ir mas alla. Por favor me puedes ayudar estoy desorientada..Mil gracias¡¡¡

  3. Ana Buigues dice:

    Hola Belkys, perdón por no responder antes pero he estado de vacaciones. Respecto a lo que comentas luego te mando un email y vemos si te puedo ayudar.
    Saludos.

  4. daniel dice:

    muy buen data, era lo que estaba buscando..gracias..

  5. GamerX dice:

    Saludos…
    me podrias decir las referencias que utilizaste para diseñar esa arquitectura porfavor
    ademas el nivel de mensaje de aplicacion no me queda claro… el transporte de informacion en este caso es realizado por alguna aplicacion, de ser asi me podrias dar un ejemplo

    de antemano muchas gracias

    • Ana Buigues dice:

      Hola,
      La arquitectura no la he diseñado yo (evidentemente), la puedes encontrar en varios libros, uno de ellos se llama “Building the Data Warehouse”. El nivel de mensaje de la aplicación es el que tiene que ver con el transporte de información a lo largo del entorno de nuestra organización, puede ser usado para aislar aplicaciones operacionales o informacionales, recoger transacciones o mensajes y entregarlos en cierto lugar a cierto tiempo, es el sistema de transporte que está por debajo del Data Warehouse, es una herramienta de conectividad. Un ejemplo sería alguna aplicación propietaría de la empresa que nos proporcione información.

      Un saludo!

  6. Lisa dice:

    Muy breve y conciso!!

    Aplauso..

    Solo deberías incluir la bibliografía….

    Gracias!

  7. lorena monroy dice:

    Buenas tardes, me parecio muy precisa la informacion y de gran ayuda, te hago una pregunta como las estructuras de datos, pueden influir en el comportamiento del data warehouse.

    Gracias.

  8. Edgar dice:

    Hola Ana, tengo que desarrollar el tema de tesis y no lo defino todavia, tengo dos alternativas:

    1) Mesas de ayuda basados en ITIL V3, o
    2) Aplicacion de un Data warehouse

    Cualquiera de los dos temas debera ser de aplicacion en la empresa (Instituto de la Democracia – CNE) que laboro .

    Si puedes darme alguna ayuda, te lo agradeceria.

  9. Luis dice:

    Gracias por la información, y espero que siga compartiendo lo aprendido

  10. klarken dice:

    Gracias por la informacion tengo que programar un data warehouse como proyecto final de la uni en esa materia, podrías ayudarme con alguna interfaz de como es su funcionamiento ?

  11. Luis Enrique dice:

    estimado seria recomendable que coloques las especificaciones técnicas de infraestructura

Deja un comentario