3 Data Warehouse y DataMart 3.7 Arquitectura de Bases de Datos estratégicas.(26 09 2012)
Administrador Grupo
francisco.gonzalez.cassio
Arquitectura de un Data Warehouse.Una arquitectura de Data Warehouse es una forma de representar la estructura global de los datos, la comunicación, los procesos y la presentación al usuario final.Elementos que Constituyen la Arquitectura de un Data WarehouseExplicamos uno a uno la Función de Cada Nivel.1. Base de Datos Operacional y Base de Datos Externa.Las organizaciones adquieren datos de bases de datos externas a la propia organización, que incluyen datos demográficos, económicos, datos sobre la competencia, etc.Mediante el proceso de data warehousing se extrae la información que está en la bases de datos operacionales y se mezcla con otras fuentes de datos. Enriquecemos la información.2. Nivel de Acceso a la Información.Es la capa con la que trata el usuario final. La información almacenada se convierte en información fácil y transparente para las herramientas que utlizan los usuarios. Se obtienen informes, gráficos, diagramas, etc.3. Nivel de Acceso a los Datos.Comunica el nivel de acceso a la información con el nivel operacional, es el responsable de la interfaz entre las herramientas de acceso a la información y las bases de datos.La clave de este nivel está en proveer al usuario de un acceso universal a los datos, es decir, que los usuarios sin tener en cuenta la ubicación de los datos o la herramienta de acceso a la información, deberían ser capaces de acceder a cualquier dato del data warehouse que les fuera necesario para realizar su trabajo.4. Nivel de Directorio de Datos (metadatos).Para proveer de un acceso universal, es absolutamente necesario mantener alguna clase de directorio de datos o repositorio de información de metadato que ayude a mantener un control sobre los datos. El metadato aporta información sobre los datos de la organización, de dónde proviene, qué formato tenía, cuál era su significado y si se trata de un agregado, cómo se ha calculado éste.Para mantener un almacén completamente funcional, es necesario disponer de una amplia variedad de metadatos, información sobre las vistas de datos para los usuarios finales y sobre las bases de datos operacionales.5. Nivel de Gestión de Procesos.Este nivel tiene que ver con la planificación de las tareas que se deben realizar, no sólo para construir, sino también para mantener el data warehouse y la información del directorio de datos. Es o el controlador de alto nivel de los procesos que se han de llevar a cabo para que el data warehouse permanezca actualizado.6. Nivel de Mensaje de la Aplicación.Este nivel es el encargado del transporte de la información a lo largo del entorno, se puede pensar en él como un middleware.7. Nivel Data Warehouse (físico).Es el núclo del sistema, el repositorio central de información donde los datos actuales usados principalmente con fines informacionales residen. En el data warehouse físico se almacenan copias de los datos operacionales y/o externos, en una estructura que optimiza su acceso para la consulta y que es muy flexible.8. Nivel de Organización de Datos.Incluye todos los procesos necesarios para seleccionar, editar, resumir, combinar y cargar en el data warehouse y en la capa de acceso a la información los datos operacionales y/o externos.Fuente:
luis.galindo.ortega
Estructura de una Datawarehouse
- Detalle de datos actuales
- Detalle de datos antiguos
- Datos ligeramente resumidos
- Datos completamente resumidos
- Meta data
- Refleja las ocurrencias más recientes, las cuales son de gran interés
- Es voluminoso, ya que se almacena al más bajo nivel de granularidad.
- Casi siempre se almacena en disco, el cual es de fácil acceso, aunque su administración sea costosa y compleja.
- Que la unidad de tiempo se encuentre sobre la esquematización hecha.
- Qué contenidos (atributos) tendrá la data ligeramente resumida.
A veces se encuentra en el ambiente de data warehouse y en otros, fuera del límite de la tecnología que ampara al data warehouse. (De todos modos, los datos completamente resumidos son parte del data warehouse sin considerar donde se alojan los datos físicamente.)
Metadata.- El componente final del data warehouse es el de la metadata. De muchas maneras la metadata se sitúa en una dimensión diferente al de otros datos del data warehouse, debido a que su contenido no es tomado directamente desde el ambiente operacional.
La metadata juega un rol especial y muy importante en el data warehouse y es usada como:
- Un directorio para ayudar al analista a ubicar los contenidos del data warehouse.
- Una guía para el mapping de datos de cómo se transforma, del ambiente operacional al de data warehouse.
- Una guía de los algoritmos usados para la esquematización entre el detalle de datos actual, con los datos ligeramente resumidos y éstos, con los datos completamente resumidos, etc.
La metadata juega un papel mucho más importante en un ambiente data warehousing que en un operacional clásico. [1]
Bibliografia
[1] http://www.ongei.gob.pe/publica/metodologias/Lib5084/14.HTM
Victor Manuel Niebla Romero
jgerardo.felixo
Arquitectura de las BD Estratégicas
La arquitectura lógica de un sistema de Data consta de tres niveles: (1) Bases De Datos Fuentes (de producción e históricos), (2) Una Base De Datos con Datos Resumidos extraídos de las bases de producción (el Data Warehouse) e Interfaces Orientadas a Usuarios que extraen Información Para La Toma De Decisiones. Las clásicas son: Análisis Multidimensional, Consultas y Reportes y Data Mining.
Figura: Arquitectura Lógica de un Sistema de Data Warehouse
Figura: Estructura Básica de la Arquitectura del DW
La Estructura Básica De La Arquitectura DW Incluye:
1. Datos Operacionales: Un origen de datos para el componente de almacenamiento físico DW.
2. Extracción De Datos: Selección sistemática de datos operacionales usados para poblar el componente de almacenamiento físico DW.
3. Transformación De Datos: Procesos para sumarizar y realizar otros cambios en los datos operacionales para reunir los objetivos de orientación a temas e integración principalmente.
4. Carga De Datos: Inserción sistemática de datos en el componente de almacenamiento físico DW.
5. Datawarehouse: Almacenamiento físico de datos de la arquitectura DW.
6. Herramientas De Acceso Al Componente De Almacenamiento Físico DW: Herramientas que proveen acceso a los datos.
josedejesus.santes.palacios
Hay tres características importantes inherentes a los sistemas de
bases de datos:la separación entre los programas de aplicación y los
datos, el manejo de múltiples vistas por parte de los usuarios y el
uso de un catálogo para almacenar el esquema de la base de datos. En
1975, el comité ANSI-SPARC (American National Standard Institute -
Standards Planning and Requirements Committee)propuso una arquitectura
de tres niveles para los sistemas de bases de datos, que resulta muy
útil a la hora de conseguir estas tres características. El objetivo de
la arquitectura de tres niveles es el de separar los programas de
aplicación de la base de datos física. En esta arquitectura, el
esquema de una base de datos se define en tres niveles de abstracción
distintos:
1. En el nivel interno se describe la estructura física de la base de
datos mediante un esquema interno. Este esquema se especifica mediante
un modelo físico y describe todos los detalles para el almacenamiento
de la base de datos, así como los métodos de acceso.
2. En el nivel conceptual se describe la estructura de toda la base de
datos para una comunidad de usuarios (todos los de una empresa u
organización), mediante un esquema conceptual. Este esquema oculta los
detalles de las estructuras de almacenamiento y se concentra en
describir entidades, atributos, relaciones, operaciones de los
usuarios y restricciones. En este nivel se puede utilizar un modelo
conceptual o un modelo lógico para especificar el esquema.
3. En el nivel externo se describen varios esquemas externos o vistas
de usuario. Cada esquema externo describe la parte de la base de datos
que interesa a un grupo de usuarios determinados y oculta a ese grupo
el resto de la base de datos. En este nivel se puede utilizar un
modelo conceptual o un modelo lógico para especificar los esquemas.
La mayoría de los SGBD no distinguen del todo los tres niveles.
Algunos incluyen detalles del nivel físico en el esquema conceptual.
En casi todos los SGBD que se manejan vistas de usuario, los esquemas
externos se especifican con el mismo modelo de datos que describe la
información a nivel conceptual, aunque en algunos se pueden utilizar
diferentes modelos de datos en los niveles conceptuales y externo. Hay
que destacar que los tres esquemas no son más que descripciones de los
mismos datos pero con distintos niveles de abstracción. Los únicos
datos que existen realmente están a nivel físico, almacenados en un
dispositivo como puede ser un disco. En un SGBD basado en la
arquitectura de tres niveles, cada grupo de usuarios hace referencia
exclusivamente a su propio esquema externo. Por lo tanto, el SGBD debe
transformar cualquier petición expresada en términos de un esquema
externo a una petición expresada en términos del esquema conceptual, y
luego, a una petición en el esquema interno, que se procesará sobre la
base de datos almacenada. Si la petición es de una obtención
(consulta) de datos, será preciso modificar el formato de la
información extraída de la base de datos almacenada, para que coincida
con la vista externa del usuario. El proceso de transformar peticiones
y resultados de un nivel a otro se denomina correspondencia o
transformación. Estas correspondencias pueden requerir bastante
tiempo, por lo que algunos SGBD no cuentan con vistas externas. La
arquitectura de tres niveles es útil para explicar el concepto de
independencia de datos que podemos definir como la capacidad para
modificar el esquema en un nivel del sistema sin tener que modificar
el esquema del nivel inmediato superior. Se pueden definir dos tipos
de independencia de datos:
• La independencia lógica es la capacidad de modificar el esquema
conceptual sin tener que alterar los esquemas externos ni los
programas de aplicación. Se puede modificar el esquema conceptual para
ampliar la base de datos o para reducirla. Si, por ejemplo, se reduce
la base de datos eliminando una entidad, los esquemas externos que no
se refieran a ella no deberán verse afectados.
• La independencia física es la capacidad de modificar el esquema
interno sin tener que alterar el esquema conceptual (o los externos).
Por ejemplo, puede ser necesario reorganizar ciertos ficheros físicos
con el fin de mejorar el rendimiento de las operaciones de consulta o
de actualización de datos. Dado que la independencia física se refiere
sólo a la separación entre las aplicaciones y las estructuras físicas
de almacenamiento, es más fácil de conseguir que la independencia
lógica.
En los SGBD que tienen la arquitectura de varios niveles es necesario
ampliar el catálogo o diccionario, de modo que incluya información
sobre cómo establecer la correspondencia entre las peticiones de los
usuarios y los datos, entre los diversos niveles. El SGBD utiliza una
serie de procedimientos adicionales para realizar estas
correspondencias haciendo referencia a la información de
correspondencia que se encuentra en el catálogo. La independencia de
datos se consigue porque al modificarse el esquema en algún nivel, el
esquema del nivel inmediato superior permanece sin cambios, sólo se
modifica la correspondencia entre los dos niveles. No es preciso
modificar los programas de aplicación que hacen referencia al esquema
del nivel superior. Por lo tanto, la arquitectura de tres niveles
puede facilitar la obtención de la verdadera independencia de datos,
tanto física como lógica. Sin embargo, los dos niveles de
correspondencia implican un gasto extra durante la ejecución de una
consulta o de un programa, lo cual reduce la eficiencia del SGBD. Es
por esto que muy pocos SGBD han implementado esta arquitectura
completa
http://es.scribd.com/doc/48514976/Base-de-Datos
jmanuelgarciaaragon
3.7 Arquitectura de Bases de Datos Estratégicas.
Una arquitectura de Data Warehouse es una forma de representar la estructura global de los datos, la comunicación, los procesos y la presentación al usuario final. La arquitectura está constituida por las siguientes partes interconectadas:
Elementos que constituyen la arquitectura de un Data Warehouse
Explicamos uno a uno la función de cada nivel.
1. Base de datos operacional y base de datos externa
Las organizaciones adquieren datos de bases de datos externas a la propia organización, que incluyen datos demográficos, económicos, datos sobre la competencia, etc.
Mediante el proceso de data warehousing se extrae la información que está en la bases de datos operacionales y se mezcla con otras fuentes de datos. Enriquecemos la información.
2. Nivel de acceso a la información
Es la capa con la que trata el usuario final. La información almacenada se convierte en información fácil y transparente para las herramientas que utilizan los usuarios. Se obtienen informes, gráficos, diagramas, etc.
3. Nivel de acceso a los datos
Comunica el nivel de acceso a la información con el nivel operacional, es el responsable de la interfaz entre las herramientas de acceso a la información y las bases de datos.
La clave de este nivel está en proveer al usuario de un acceso universal a los datos, es decir, que los usuarios sin tener en cuenta la ubicación de los datos o la herramienta de acceso a la información, deberían ser capaces de acceder a cualquier dato del data warehouse que les fuera necesario para realizar su trabajo.
4. Nivel de directorio de datos (metadatos)
Para proveer de un acceso universal, es absolutamente necesario mantener alguna clase de directorio de datos o repositorio de información de metadato que ayude a mantener un control sobre los datos. El metadato aporta información sobre los datos de la organización, de dónde proviene, qué formato tenía, cuál era su significado y si se trata de un agregado, cómo se ha calculado éste.
Para mantener un almacén completamente funcional, es necesario disponer de una amplia variedad de metadatos, información sobre las vistas de datos para los usuarios finales y sobre las bases de datos operacionales.
5. Nivel de gestión de procesos
Este nivel tiene que ver con la planificación de las tareas que se deben realizar, no sólo para construir, sino también para mantener el data warehouse y la información del directorio de datos. Es o el controlador de alto nivel de los procesos que se han de llevar a cabo para que el data warehouse permanezca actualizado.
6. Nivel de mensaje de la aplicación
Este nivel es el encargado del transporte de la información a lo largo del entorno, se puede pensar en él como un middleware.
7. Nivel Data Warehouse (físico)
Es el núcleo del sistema, el repositorio central de información donde los datos actuales usados principalmente con fines informacionales residen. En el data warehouse físico se almacenan copias de los datos operacionales y/o externos, en una estructura que optimiza su acceso para la consulta y que es muy flexible.
8. Nivel de organización de datos
Incluye todos los procesos necesarios para seleccionar, editar, resumir, combinar y cargar en el data warehouse y en la capa de acceso a la información los datos operacionales y/o externos.
Estructura de un Data Warehouse
La estructura de un data warehouse se caracteriza por los diferentes niveles de esquematización y detalle de los datos que se encuentran en él.
1. Detalle de los datos actuales
Reflejan los acontecimientos más recientes, las últimas informaciones generadas por los sistemas de producción de la organización. El nivel de detalle no tiene por qué ser el mismo que el de los sistemas de producción, ya que los datos pueden ser fruto de alguna agregación o de una simplificación de los datos originales.
Una agregación es una partición horizontal de una relación según los valores de los atributos, seguida de una agrupación mediante una función de cálculo (suma, media, producto, etc.)
2. Detalle de datos antiguos
Están almacenados en un nivel de detalle consistente con los datos detallados actuales, esto significa que si los datos actuales hacen referencia a ventas diarias en el año actual, los datos historiados contienen las ventas de años anteriores en el nivel de detalle de día también.
3. Datos resumidos
Son datos obtenidos como resultado de un proceso de síntesis de los datos actuales. Lo que se tiene entonces son datos agregados o resumidos. Por ejemplo, se entiende mejor la evolución de las ventas si se la presenta resumida por semanas que de manera diaria.
4. Metadatos
Ofrecen información descriptiva sobre el contexto, la calidad, la condición y las características de los datos. El metadato se sitúa en una dimensión diferente a la de los otros datos en el data warehouse, debido a que su contenido no es tomado directamente desde el ambiente operacional. [1]
[1] http://anabuigues.com/2010/03/05/arquitectura-de-un-data-warehouse/
cipriano hernandez
Estructura de una Datawarehouse
-
Detalle de datos actuales
- Detalle de datos antiguos
- Datos ligeramente resumidos
- Datos completamente resumidos
- Meta data
- Refleja las ocurrencias más recientes, las cuales son de gran interés
- Es voluminoso, ya que se almacena al más bajo nivel de granularidad.
- Casi siempre se almacena en disco, el cual es de fácil acceso, aunque su administración sea costosa y compleja.
- Que la unidad de tiempo se encuentre sobre la esquematización hecha.
- Qué contenidos (atributos) tendrá la data ligeramente resumida.
A veces se encuentra en el ambiente de data warehouse y en otros, fuera del límite de la tecnología que ampara al data warehouse. (De todos modos, los datos completamente resumidos son parte del data warehouse sin considerar donde se alojan los datos físicamente.)
Metadata.- El componente final del data warehouse es el de la metadata. De muchas maneras la metadata se sitúa en una dimensión diferente al de otros datos del data warehouse, debido a que su contenido no es tomado directamente desde el ambiente operacional.
La metadata juega un rol especial y muy importante en el data warehouse y es usada como:
- Un directorio para ayudar al analista a ubicar los contenidos del data warehouse.
- Una guía para el mapping de datos de cómo se transforma, del ambiente operacional al de data warehouse.
- Una guía de los algoritmos usados para la esquematización entre el detalle de datos actual, con los datos ligeramente resumidos y éstos, con los datos completamente resumidos, etc.
La metadata juega un papel mucho más importante en un ambiente data warehousing que en un operacional clásico. [1]
Bibliografia
[1] http://www.ongei.gob.pe/publica/metodologias/Lib5084/14.HTM
--
cesar.monarrez.a
- Datos Operacionales: Un origen de datos para el componente de almacenamiento físico DW.
- Extracción De Datos: Selección sistemática de datos operacionales usados para poblar el componente de almacenamiento físico DW.
- Transformación De Datos: Procesos para sumarizar y realizar otros cambios en los datos operacionales para reunir los objetivos de orientación a temas e integración principalmente.
- Carga De Datos: Inserción sistemática de datos en el componente de almacenamiento físico DW.
- Datawarehouse: Almacenamiento físico de datos de la arquitectura DW.
- Herramientas De Acceso Al Componente De Almacenamiento Físico DW: Herramientas que proveen acceso a los datos.
Los pasos 2, 3 y 4 considerados en la figura anterior, conforman el proceso conocido como ETT (Extracción, Transformación y Transporte).
Datamart.
Las soluciones de Data Marts, requieren una arquitectura de 3 capas: Los Data Warehouses son la primera capa (opcional), los Data Marts son la segunda capa, y las estaciones de trabajo de usuarios son la tercera.
http://exa.unne.edu.ar/depar/areas/informatica/SistemasOperativos/mromy.pdf