Base de données des réponses

                                                   A Un        ROAD ROUTE        MAP MAP

                                                                FOR DE

ENTERPRISE ENTERPRISE    DATA MANAGEMENT GESTION DE DONNÉES

                                                                                                Barry Williams Barry Williams

                                                                                                                                Principal Consultant Principal Consultant

                                                                                                                                Database Answers Ltd. Base de données des réponses Ltd

                                                                                                                                London Londres , , England Angleterre

                                                                                                                                info@barryw.org info@barryw.org


CHAPTER 1. CHAPITRE 1. INTRODUCTION .. INTRODUCTION .. 3 3

CHAPTER 2. CHAPITRE 2. ASSESSMENT . ÉVALUATION. 4 4

CHAPTER 3. CHAPITRE 3. A VISION OF THE FUTURE . Une vision de l'avenir. 5 5

CHAPTER 4. CHAPITRE 4. THE ROAD MAP . La Feuille de route. 9 9

CHAPTER 5. CHAPITRE 5. A CASE STUDY FOR THE ROAD MAP . Une étude de cas pour la Feuille de route. 34 34


CHAPTER 1. INTRODUCTION CHAPITRE 1. INTRODUCTION

1.1 Purpose of this Document 1.1 But de ce document

This document describes a Road Map for Enterprise Data Management which covers the important phases from Integration of Data Sources to the production of Integrated Performance Reports, with Business Intelligence. Ce document décrit une feuille de route pour les entreprises de gestion de données qui couvre les phases importantes de l'intégration de sources de données à la production intégrée de rapports sur le rendement, avec la Business Intelligence.

1.2 Benefits of this Document 1.2 Avantages de ce document

The benefits of this document are that it lays out a Road Map which can help anybody with questions about Enterprise Data Management to get useful answers. Les avantages de ce document est qu'il établit une feuille de route qui peut aider toute personne ayant des questions sur l'entreprise de gestion des données pour obtenir des réponses utiles.

1.3 What is in the Road Map ? 1.3 Qu'est-ce que dans la Feuille de route?

The Road Map contains five separate Stages which can be used to plan and control any activity related to Enterprise Data Management. La feuille de route en cinq étapes distinctes qui peuvent être utilisées pour planifier et contrôler toute activité liée à l'entreprise de gestion des données.

These Stages are : - Ces étapes sont: --

1) 1)        Database Design Database Design

2) 2)        Data Integration Intégration des données

3) 3)        Performance Reporting Performance Reporting

4) 4)        Internet Mashups Internet Mashups

5) 5)        Data Governance Data Governance

Separate documents discusses how the Road Map could be implemented by Microsoft, Informatica and Salesforce.com. Séparez les documents explique comment la feuille de route pourrait être mis en œuvre par Microsoft, Informatica et Salesforce.com.

The documentation for each Stage has generally the same structure : - La documentation de chaque étape est généralement la même structure: --

  • Definition - Définition --   usually a Wikipedia entry. généralement une entrée Wikipedia.
  • Best Practice Best Practice
  • Templates Modèles
  • Tools Outils
  • Tutorials Tutorials

The Approach has been to formalise Best Practice in Enterprise Data Management and to make this Best Practice accessible by a series of Questions. L'approche a été de formaliser les meilleures pratiques en matière de gestion des données d'entreprise et de rendre accessible cette pratique exemplaire d'une série de questions.

1.4 How to use this Document 1.4 Comment utiliser ce document

To use this Document, you should answer the Questions in the Self-Assessment in Section 2.1 to determine which Stage you are at. Pour utiliser ce document, vous devez répondre aux questions de l'auto-évaluation dans la section 2.1 pour déterminer qui vous êtes au stade.

If you have a question that is not covered please tell us about it and we will be happy to respond. Si vous avez une question qui n'est pas couvert s'il vous plaît signalez-le nous et nous serons heureux de répondre.

You can email us at dba_requests@barryw.org . Vous pouvez nous envoyer un email à dba_requests@barryw.org.

Chapter 3 presents a Vision of the Future for the role of Databases. Le chapitre 3 présente une vision de l'avenir pour le rôle des bases de données.

 

Chapter 5 presents a Case Study showing how the Road Map would be used in practice. Le chapitre 5 présente une étude de cas montrant comment la feuille de route serait utilisée dans la pratique.


CHAPTER 2. ASSESSMENT CHAPITRE 2. ÉVALUATION

2.1 Self-Assessment 2.1 Auto-évaluation

The first table contains a summary of the Questions which help in the Self-Assessment for any individual or organisation to determine where they are along the Road Map. Le premier tableau contient un résumé des questions qui contribuent à l'auto-évaluation pour tout individu ou organisation afin de déterminer où ils sont le long de la Road Map.

This is sample of Questions which will be added to regularly. Ceci est l'échantillon de questions qui seront ajoutés régulièrement.

Nr. Nr.

QUESTION QUESTION

STAGE STAGE

1 1

Do you need to design a Database ? Avez-vous besoin pour concevoir une base de données?

1 1

2 2

Do you need to handle multiple languages ? Avez-vous besoin de gérer plusieurs langues?

1 1

3 3

Do you use multiple types of Database, such as SQL Server and Oracle ? Avez-vous d'utiliser plusieurs types de base de données, comme SQL Server et Oracle?

2 2

4 4

Is Data Quality an La qualité des données est une Enterprise Enterprise Issue ? Issue?

2 2

5 5

Do you have a Single View of the Things of Importance, such as Customers ? Avez-vous une vue unique des choses d'importance, tels que les clients?

2 2

6 6

Do you have Master Data Management (MDM) in place ? Avez-vous des Master Data Management (MDM) en place?

2 2

7 7

Can you verify the derivation of all data (the Data Lineage') in your Reports ? Pouvez-vous vérifier le calcul de toutes les données (les données Lineage ") dans vos rapports?

3 3

8 8

Do you want to combine Excel data in your Reports ? Voulez-vous combiner les données Excel dans vos rapports?

3 3

9 9

Does your Chief Exec have Report requirements that you cannot meet ? Est-ce que votre rapport Exec ont des exigences que vous ne pouvez pas répondre?

3 3

10 10

Is anyone using Mashups in your organisation ? Est-ce que quelqu'un utilisant Mashups dans votre organisation?

4 4

11 11

Do you have a top-down view of Data Management in your organisation ? Avez-vous une vue de haut en bas de la gestion des données dans votre organisation?

5 5

12 12

Does your organisation have a Data Governance function ? Est-ce que votre organisation est-elle une fonction de gouvernance de données?

5 5

2.2 Assessment Snapshot 2.2 Évaluation du profil instantané

This table provides a snapshot to help in the Assessment process. Ce tableau donne un aperçu de l'aide dans le processus d'évaluation.

Data Architecture and Data Models for Sources and Targets. Architecture des données et des modèles de données des sources et cibles.

STAGE STAGE

                        BASIC BASIC

             AVERAGE MOYENNE

                     IDEAL IDEAL

1) Data Sources 1) Sources des données

Knowledge in the Connaissance dans le

heads les chefs   of individuals. des individus.

Top 20 Applications known with list of Data Sources and Owners Top 20 des applications connues et la liste des sources de données et propriétaires

Agile development with refactoring techniques. Agile de développement avec les techniques de refactoring.

No Data Models and poor documentation of links between code and databases. Pas de modèles de données et la mauvaise documentation des liens entre le code et les bases de données.

Basic Data Dictionary in place. Dictionnaire des données de base en place.

Data Models and sign-off by DBA on all changes. Modèles de données et à l'approbation par le DBA de toutes les modifications.

User access and sign-off for Data Dictionary D'accès et de signature pour Dictionnaire de données

2) Data Integration 2) Intégration des données

Ad-hoc integration using bespoke SQL Scripts Ad-hoc d'intégration sur mesure en utilisant des scripts SQL

Some Templates established and commercial Tools in use. Certains des modèles établis et des outils commerciaux à utiliser.

MDM approved, data owner sign-off, MDM a approuvé, de données propriétaire-t-il,

Data Quality is an La qualité des données est une Enterprise Enterprise issue. problème.

Software Tools linked to the Data Dictionary Outils logiciels liés à la Dictionnaire de données

Clear and reconciled top-down and bottom-up views of data. Clair et réconciliée top-down et bottom-up vues de données.

3) Performance Rpts 3) Performance rpts

One-off, often independent Dept. One-off, souvent indépendants Dept Spreadsheets Tableur  

Independent Maps, KPIs and drill-down to detailed Reports Cartes indépendants, ICR et de drill-down à des rapports détaillés

Integrated Maps, KPIs and drill-downs for Chief Exec Maps intégré, ICR et de drill-downs pour Exec

4) Internet Mashups 4) Internet Mashups

None Aucun

Isolated development Développement isolé

Users aware Les utilisateurs au courant

5) Data Governance 5) Data Governance

None Aucun

No end-to-end agreement. Pas de bout en bout, d'accord.

Procedures published, Roles and Responsibilities and Sign-off all in place. Procédures publiées, rôles et responsabilités et Sign-off en place.

Data lineage known and auditable. Lignage des données connues et vérifiables.


CHAPTER 3. A VISION OF THE FUTURE CHAPITRE 3. UNE VISION DE L'AVENIR

3.1 Universal Information Architecture 3.1 Architecture de l'information universelle

In the future, the current trend to Widgets and end-user data integration will continue and user demands will increasingly call for easy access to all data at any time and using any device. Dans l'avenir, la tendance actuelle à la Widgets et l'utilisateur final l'intégration des données va se poursuivre et des demandes des utilisateurs de plus en plus appel à un accès facile à toutes les données à tout moment et en utilisant n'importe quel appareil.

The functionality offered by cell phones or mobiles will continue, with Apple's iPhone expected to maintain its position of leadership. Les fonctionnalités offertes par les téléphones portables ou les téléphones mobiles va continuer, avec l'iPhone d'Apple devrait maintenir sa position de leadership.

This situation is shown in the following diagram, with four very different perspectives being seen by Cette situation est montrée dans le diagramme suivant, avec quatre de vue très différents sont vus par   groups :- groupes: --

1) 1)        Suppliers Fournisseurs

2) 2)        Users & Organisations Utilisateurs et organisations

3) 3)        University Research Departments Départements de recherche universitaires

4) 4)        Students Etudiants

Architecture de l'information universelle


3.2 Evolution of Databases 3.2 Evolution des bases de données  

In the future, Databases will be accessible at any time and from any location using any Device. À l'avenir, les bases de données seront accessibles à tout moment et de n'importe où en utilisant n'importe quel périphérique.

This diagram shows how real-time links can be provided to all Databases. Ce schéma montre comment en temps réel les liens peuvent être fournis à tous les bases de données.

In addition, more data types, built-in compatible Data Models in the Clouds, mix-and-match selection of required Tables, with Platforms for Vertical Applications and creation of Data Marts. generation of Data and built-in resolution of the impedance mismatch between the Relational and Object approaches. Conceptually, there will be an Integrated Data Platform, with a range of superimposed Data Service Layers. En outre, davantage de types de données, built-in compatible avec les modèles de données dans les nuages, mélanger-et-match de sélection de tableaux, avec des plates-formes pour les applications verticales et la création de Data Marts. Génération de données et intégrées dans la résolution de l'impédance mismatch entre les approches relationnelles et objets. Conceptuellement, il y aura une plate-forme intégrée de données, avec une série de couches superposées de données du service.  

Databases will come equipped with self-correction, self-monitoring and self-tuning. Bases de données sont équipées de l'auto-correction, l'auto-contrôle et d'auto-tuning.


3.3 Data Architecture for the Future 3.3 Architecture des données pour l'avenir  

This Architecture features three Levels. Cette architecture comporte trois niveaux.


3.4 Data Quality in the Clouds 3.4 Qualité des données dans les nuages

Gartner predicts that within a few years, 80% of all Enterprises will have at least some involvement in Cloud Computing. Gartner prévoit que d'ici quelques années, 80% de toutes les entreprises auront au moins une participation au Cloud Computing.

Our thinking should therefore encompass Scenarios where some of our data will be located in the Clouds. Notre réflexion doit donc englober les cas où certains de nos données sera situé dans les nuages.

Data Integration and Data Quality must provide for integration with Cloud data. Intégration des données et qualité des données doit fournir à l'intégration de données avec Cloud.

This diagram shows that Data Sources and Data Quality On Demand Services can be in the Clouds. Ce diagramme montre que les sources de données et qualité des données à la demande de services peut être dans les nuages.

DataQuality -on-Demand is provided by Informaticahttp://www.informaticaondemand.com/ DataQuality-on-Demand est fourni par Informatica - http://www.informaticaondemand.com/

 

3.5 Data Dictionary in the Clouds 3.5 Dictionnaire des données dans les nuages

The Data Dictionary will be located in the Clouds so that it will be readily available to anybody at any time and from any location. Le dictionnaire de données sera situé dans les nuages, afin qu'il soit facilement accessible à quiconque, à tout moment et en tout lieu.

Here is an extract from a typical Dictionary : - Voici un extrait d'un dictionnaire typique: --

TYPE TYPE

DETAILS Détails

COMMENTS COMMENTAIRES

DATA OWNER PROPRIÉTAIRE DE DONNEES

CRM CRM

Salesforce Salesforce

Bobby Caldwell Bobby Caldwell

Custom Objects Objets

Will meet face-to-face Se rencontreront en face-à-face

3.6 Populating a Data Dictionary 3.6 Remplir un dictionnaire de données

The Data Dictionary will be populated by reading data from the System Catalogues for Data Sources. Le Dictionnaire des données seront peuplées par la lecture des données du système de catalogues de sources de données.

Data Sources Sources des données

SQL Server, Oracle, Etc. SQL Server, Oracle, etc

SOURCES SOURCES

Objects Objets

Bobby is happy Bobby est heureux

HR HR

SQL Server SQL Server

Frankie Beverley Frankie Beverley

Finance Finance

Spreadsheets Tableur

Ray sees things clearly Ray voit les choses clairement

Ray Charles Ray Charles

Source Object Explorer Source Object Explorer

- Informatica On Demand - Informatica On Demand

- MS Integrated Services - MS Integrated Services

Data Dictionary Dictionnaire de données


CHAPTER 4. THE ROAD MAP CHAPITRE 4. LA FEUILLE DE ROUTE

This Section describes the details the major Stages in the Road Map. Cette section décrit les détails des grandes étapes de la Feuille de route.

It is presented in a step-by-step sequence, from Data Sources Il est présenté dans une étape-par-étape de séquence, à partir de sources de données   to Data Governance. Les données de la gouvernance.

The Steps are : - Les étapes sont les suivantes: --

·           Data Sources - Sources de données --

o o          Identify the Data Sources Identifier les sources de données

o o          Create Data Models Créer des modèles de données

·           Data Integration – Intégration des données --

o o          Design Target ERD Data Model for combined Data Sources Design Public ERD modèle de données pour combiner des sources de données

·           Mapping – Mapping --

o o          Map Entities Carte Entités

o o          Map Attributes Carte Attributes

o o          Define Rules for Relationships and Field validation Définir des règles pour les relations et la validation sur le terrain

·           Data Quality (DQ) – Qualité des données (DQ) --

o o          Produce DQ Profiles Produire des profils DQ

o o          Agree required DQ Standards Accepter les normes requises DQ

o o          Repeat Data Validation and Clean-Up as necessary Répétez les données de validation et de nettoyage en tant que de besoin

·           Design the Data Mart Design Data Mart

·           Performance Reports - Rapports sur le rendement --

o o          Agree KPIs with Users KPI accord avec les utilisateurs

o o          Agree Top-Level Summary Reports Accord de niveau supérieur rapports sommaires

o o          Agree Detailed Reports Des rapports détaillés d'accord

·           Internet Mashups - Internet Mashups --

o o          Determine the requirements for Mashups Déterminer les exigences pour les Mashups

o o          Design and Build Mashups as appropriate Design and Build Mashups en tant que de besoin

·           Data Governance - Data Governance --

o o          Ensure Compliance with Policies and Procedures. Assurer le respect des politiques et procédures.

o o          Modify as appropriate Modifier le cas échéant


4.1 Stage 1 – Database Design 4.1 Étape 1 - Conception des bases de données

4.1.1 State-of-the-Art 4.1.1 State-of-the-Art

* Wikipedia on Database Design * Conception des bases de données sur Wikipedia      - http://en.wikipedia.org/wiki/Database_design - Http://en.wikipedia.org/wiki/Database_design

* Wikipedia on Data Modeling * Modélisation des données sur Wikipedia         - http://en.wikipedia.org/wiki/Data_modeling - Http://en.wikipedia.org/wiki/Data_modeling

4.1.2 Best Practice 4.1.2 Best Practice

Here is a series of Steps in designing a Database : - Voici une série d'étapes dans la conception d'une base de données: --

Step 1. Establish the Scope of the Database. Étape 1. Établir la portée de la base de données.

Step 2. Identify the 'Things of Interest' Étape 2. Identifier les «choses d'intérêt"

Step 3. Define the Business Rules that determine how these 'Things of Interest' are related Etape 3. Définir les règles qui déterminent la façon dont ces «choses d'intérêt» sont liés

Step 4. Choose the Data Modelling Tool. Étape 4. Choisissez la modélisation des données Tool.

Step 5. Produce first draft Data Model and review with the Users. Étape 5. Produire premier projet de modèle de données et d'examiner avec les utilisateurs.

Step 6. Ask the Users to provide sample data. Étape 6. Demander aux utilisateurs de fournir des données d'échantillon.

Step 7. Load data into Database and confirm the Design. Étape 7. Charger des données dans la base de données et de confirmer le Design.

4.1.3 Templates 4.1.3 Modèles

A very valuable set of over 600 Kick-Start Data Models are available on the Database Answers Web Site : - Une série de plus de 600 Kick-Start modèles de données sont disponibles sur la base de données Sites Web Site: --

                                - http://www.databaseanswers.org/data_models/index.htm - Http://www.databaseanswers.org/data_models/index.htm

You will probably find something to give you an excellent start to designing a new Database. Vous trouverez probablement quelque chose à vous donner un excellent point de départ à la conception d'une nouvelle base de données.

If not, contact us by email at barryw@databaseanswers.org and we will help you to get started. Si non, contactez-nous par courriel à barryw@databaseanswers.org et nous allons vous aider à démarrer.


4.1.3.1 A Database for Local Authority Parking 4.1.3.1 Une base de données pour l'autorité locale de stationnement

Here is an example of an Entity-Relationship Diagram for a Database designed for Parking Tickets in a Local Authority in the UK :- Voici un exemple d'un diagramme entité-relation pour une base de données conçu pour les billets de stationnement dans une autorité locale au Royaume-Uni: --

4.1.4 Tools 4.1.4 Outils

There is a wide choice of Data Modeling Tools and here is a sample of the most popular Tools available : - Il ya un large choix d'outils de modélisation des données et voici un échantillon des plus populaires outils disponibles: --

4.1.5 Tutorials 4.1.5 Didacticiels

* Data Modelling * Les données de modélisation - http://www.databaseanswers.org/tutorial4_data_modelling/index.htm - Http://www.databaseanswers.org/tutorial4_data_modelling/index.htm

* Database Design - http://www.databaseanswers.org/tutorial4_getting_started_with_db_design/index.htm * Conception des bases de données - http://www.databaseanswers.org/tutorial4_getting_started_with_db_design/index.htm

* Understanding a Database Schema - http://www.databaseanswers.org/tutorial4_db_schema/index.htm * Comprendre un schéma de base de données - http://www.databaseanswers.org/tutorial4_db_schema/index.htm

4.1.6 How do I ? 4.1.6 Comment dois-je faire?

4.1.6.1 Get Certified as a DBA ? 4.1.6.1 obtenir une certification en tant que DBA?

Certification can be described as 'Necessary but not sufficient'. La certification peut être qualifié de «nécessaire mais pas suffisante». In other words, some employers consider it as evidence that you have the necessary technical knowledge and skills to be a Database Administrator, but without any experience, it will not guarantee you a job. En d'autres termes, certains employeurs considèrent comme une preuve que vous avez les connaissances techniques nécessaires et les compétences nécessaires pour être un administrateur de base de données, mais sans aucune expérience, il ne va pas vous garantir un emploi.

If you take your profession seriously and are committed to self-improvement, then you should certainly consider getting certified in the DBMS of your choice. Si vous prenez votre métier au sérieux et se sont engagés à l'auto-amélioration, alors vous devriez certainement avoir certifié dans le SGBD de votre choix.

Here are some very useful Microsoft Web Links : - Voici quelques très utiles Liens Web de Microsoft: --

* Overview of Certification * Vue d'ensemble de la certification                - http://www.microsoft.com/learning/mcp/default.mspx - Http://www.microsoft.com/learning/mcp/default.mspx

* Database Administrator * Administrateur de base de données                  - http://www.microsoft.com/learning/mcp/mcitp/dbadmin/default.mspx - Http://www.microsoft.com/learning/mcp/mcitp/dbadmin/default.mspx

* Microsoft Certified Master * Microsoft Certified Master             - http://www.microsoft.com/learning/mcp/master/sql/default.mspx - Http://www.microsoft.com/learning/mcp/master/sql/default.mspx

* Certified Database Architect * Base de données Certified Architect          - http://www.microsoft.com/learning/mcp/architect/database/default.mspx - Http://www.microsoft.com/learning/mcp/architect/database/default.mspx

4.1.6.2 Tune the Performance of a Database 4.1.6.2 Optimisation de la performance d'une base de données

Examine the Query Execution Plan to make sure that the appropriate Indexes have been created and are being used properly. Examiner le plan d'exécution de la Requête de faire en sorte que les index ont été créés et sont utilisés correctement.

 

4.1.7 Qualities for Success 4.1.7 Les qualités pour réussir

Skills include T-SQL for SQL Server and PL/SQL for Oracle. Compétences des T-SQL pour SQL Server et PL / SQL pour Oracle.

A good Database Administrator (DBA) likes to have responsibility for a clearly defined area, namely a production Database. Un bon administrateur de bases de données (DBA) aime avoir la responsabilité d'un domaine bien défini, à savoir une base de données de production.    He (or she) is happy to make decisions and defend them against questions from Developers, Managers and End-Users. Il (ou elle) est heureuse de prendre des décisions et de les défendre contre des questions posées par les développeurs, gestionnaires et utilisateurs finaux.

 

It is useful for a Database Designer to have a DBA background, but is likely to welcome the challenge of interacting with Users, creating a design for a new Database and working with Users to get agreement on the new design. Il est utile pour le concepteur d'une base de données pour avoir un DBA fond, mais est susceptible d'accueillir le défi de l'interaction avec les utilisateurs, la création d'un design d'une nouvelle base de données et de travail avec les utilisateurs d'obtenir un accord sur le nouveau design.

 


4.2 Stage 2 – Data Integration 4.2 Étape 2 - Intégration des données

4.2.1 State-of-the-Art 4.2.1 State-of-the-Art

* Wikipedia on Data Integration * Intégration des données sur Wikipedia       - http://en.wikipedia.org/wiki/Data_integration - Http://en.wikipedia.org/wiki/Data_integration

* Wikipedia on Data Quality * Wikipedia sur la qualité des données              - http://en.wikipedia.org/wiki/Data_quality - Http://en.wikipedia.org/wiki/Data_quality

* Wikipedia on Microsoft's Integration Services - * Wikipedia sur Microsoft Integration Services --  

http://en.wikipedia.org/wiki/SQL_Server_Integration_Services http://en.wikipedia.org/wiki/SQL_Server_Integration_Services

Case Study Étude de cas

Here's a Case Study on the Database Answers Web Site about Data Integration in the Clouds Voici une étude de cas sur la base de données Sites Web Site sur l'intégration des données dans les nuages

                http://www.databaseanswers.org/data_integration_case_study.htm http://www.databaseanswers.org/data_integration_case_study.htm

Connecting Databases Connexion de bases de données

One of the requirements might be to connect separate physical Databases. L'une de ces conditions peut être séparée de connecter les bases de données physiques.

In order to achieve this, the requirements can be defined and then appropriate products can be selected from chosen vendors. Pour atteindre cet objectif, les exigences peuvent être définies et les produits appropriés peuvent être choisis parmi les fournisseurs retenus. For example , Par exemple,   a simple techniques is to prefix a Table name with the Database name in an SQL statement. une simple des techniques est de préfixer le nom d'une table avec le nom de base de données dans une requête SQL.

4.2.2 Best Practice 4.2.2 Best Practice

Architectures are vitally important to an understanding of Data Integration. Architectures sont d'une importance vitale pour la compréhension de l'intégration des données.

After the appropriate Architecture has been correctly designed, the choice of Products can be made. Après l'architecture a été correctement conçu, le choix des produits peuvent être faites.

It is possible that sometimes these Products might be developed in-house, especially if an organization or individual has experience and a Library of Software Utilities has been established. Il est possible que, parfois, ces produits pourraient être développés à l'interne, en particulier si une organisation ou une personne a de l'expérience et d'une bibliothèque de logiciels Utilitaires a été mis en place.

A number of different Architectures are included in this Section to provide a starting-point for specific Projects. Un certain nombre d'architectures sont inclus dans cette section pour fournir un point de départ pour des projets spécifiques.

For planning the Steps for a Project, here is a general Approach Pour la planification des étapes d'un projet, ici, est une approche   : - : --

Step 1. Establish the Scope of both Sources and Targets. Étape 1. Établir la portée de ces deux sources et cibles.

Step 2. Identify the key Data Owners within the Scope. Étape 2. Identifier les principaux propriétaires de données dans le champ d'application.

Step 3. Define the Mappings between Source and Target Data Items Etape 3. Définir les correspondances entre source et cible les objets

Step 4. Agree the minimum acceptable Data Quality standards. Étape 4. Accord le minimum acceptable de qualité des données standards.

                For example, every Address will be validated. Par exemple, chaque adresse sera validée.

This page lists some useful Web Links for Customer Data Integration : Cette page liste quelques liens Web utiles pour la clientèle d'intégration de données: --

http://www.databaseanswers.org/customer_data_integration.htm http://www.databaseanswers.org/customer_data_integration.htm

4.2.2.1 Mapping Data from Source to Target 4.2.2.1 Source de données cartographiques à la cible

Mapping is defined at the field level between all Sources and Targets. La cartographie est défini au niveau du terrain entre les sources et cibles.

For example, for Local Government, a Voter from the Electoral Register can be mapped to a Customer in the Customer Master Index. Par exemple, pour les collectivités locales, un électeur de la liste électorale peut être mappé à un client à la clientèle Master Index.

A Parking Ticket Vehicle Owner can also be mapped to the same Customer. Un billet de stationnement des véhicules des propriétaires peut également être associé à la même clientèle.

4.2.2.2 Duplicate Records 4.2.2.2 Duplicate Records

When there are many sources of similar data, such as Customers, there are frequently duplicate records. Quand il ya beaucoup de sources de données similaires, tels que les clients, il ya souvent des enregistrements en double.

For example , Par exemple,   in the dans le US États-Unis , John Doe could be also called Jon Doe, Johnny Doe, Mr.J.. Doe and so on. , John Doe peut être aussi appelé Jon Doe, Johnny Doe, Mr.J.. Doe, etc.

In the Dans le UK Royaume-Uni , Joe Bloggs could also be called Joseph Bloggs , Joey Bloggs , Mr.J.Bloggs and so on. , Joe Bloggs pourrait aussi être appelé Joseph Bloggs, Joey Bloggs, Mr.J.Bloggs et ainsi de suite.

 

The rules for recognizing and resolving this kind of problem has led to the development of software for Deduplicating records. Les règles pour la reconnaissance et la résolution de ce type de problème a conduit au développement de logiciels pour Deduplicating dossiers. This process is informally referred to as 'de-duping', especially by people who do a great deal of it. Ce processus est informel dénommé «de-tricherait", en particulier par des gens qui font beaucoup de lui.

Best Practice is to look for a commercial product, rather than to write your own bespoke software because it usually takes longer than expected and commercial products can be quite cheap. Meilleures Pratiques est à la recherche d'un produit commercial, plutôt que d'écrire vos propres logiciels sur mesure, car elle prend en général plus longtemps que prévu et des produits commerciaux peut être assez bon marché.

This page on the Database Answers Web Site is an excellent starting- point : - Cette page sur la base de données du site Sites Web est un excellent point de départ: --

http://www.databaseanswers.org/deduping.htm http://www.databaseanswers.org/deduping.htm

 

4.2.2.3 Architectures 4.2.2.3 Architectures
4.2.2.3.1 Major Components 4.2.2.3.1 composantes principales  

This diagram shows a top-down view of the major Components in the Architecture. Ce diagramme montre une vue de haut en bas des principaux composants de l'architecture.

4.2.2.3.2 Architecture for Data Integration 4.2.2.3.2 Architecture for Data Integration

This diagram shows details of the Data Integration Component in the Architecture shown above. Ce diagramme montre les détails de l'intégration des données dans l'architecture des composants ci-dessus.


4.2.2.3.3 Service-Oriented Architecture (SOA) 4.2.2.3.3 Service-Oriented Architecture (SOA)

Architecture SOA


4.2.2.3.4 Architecture of Web-Services for Data Quality 4.2.2.3.4 Architecture de Web-Services pour la qualité des données

The use of Web Services allows some Components in this Architecture to be distributed in the Clouds. L'utilisation de Web Services permet à certains composants de cette architecture à être distribués dans les nuages.


4.2.2.4 Data Models 4.2.2.4 Modèles de données
4.2.2.4.1 Father of Data Models 4.2.2.4.1 Père de modèles de données

MDM requires a Common Data Model as the Target to which data from multiple Sources can be loaded. MDM a besoin d'un modèle commun de données comme la cible à laquelle les données provenant de plusieurs sources peuvent être chargés.

This Data Model can used to provide a generic, flexible foundation for a Data Services Layer. Ce modèle de données peut être utilisé pour fournir un générique, d'une base flexible Data Services Layer.

 

This diagram shows a very high-level Data Model which is one candidate for this kind of CDM. Ce diagramme montre un très haut niveau du modèle de données qui est un candidat pour ce type de mécanisme.

In practice, this is never used because it is too cumbersome and makes it difficult to obtain with the interested Stakeholders. Dans la pratique, ce n'est jamais utilisée car elle est trop lourde et il est difficile à obtenir avec les parties intéressées. It can also postpone difficult decisions and therefore can encourage bad practice. Il peut aussi différer les décisions difficiles et, par conséquent, peut encourager les mauvaises pratiques.

Père de tous les types de données

4.2.2.4.2 Data Model for Salesforce ERD 4.2.2.4.2 Modèle de données pour Salesforce ERD

If one of the Data Sources is Salesforce.com, then knowledge of the Salesforce Database design is vital. Si l'une des sources de données est Salesforce.com, alors la connaissance de la conception de bases de données Salesforce est vitale.

The ERD is shown in a Chapter at the end of this document. La DRE est exposée dans un chapitre à la fin de ce document.

The most important Entities are Account ( ie Customer), Case, Contact, Contract, Partner Les plus importantes entités de compte (c'est-à-dire la clientèle), l'affaire, contact, contrat, Partner


4.2.2.5 Customer Master Index 4.2.2.5 Customer Master Index

A Customer Master Index (CMI) is very important in establishing a Single View of a Customer. Un client Master Index (CMI) est très important dans l'établissement d'un simple d'un client. The CMI consists basically of cross-references between each Source System and the single Target System. Le CMI se compose essentiellement de références croisées entre chaque système source et le seul système cible.

Customer Master Index


4.2.2.6 Master Data Management 4.2.2.6 Master Data Management

One of the major components in Master Data Management ('MDM') is Customers. L'un des principaux composants de Master Data Management (MDM) est Customers.

A Customer Master Index, ('CMI') supports a Single View of a Customer. Un client Master Index ( «CMI»), soutient un simple d'un client.

Master Data Management applies the same principles to all the 'Things of Interest' in an organisation . Master Data Management applique les mêmes principes à toutes les "choses d'intérêt" dans une organisation.

This can typically include Employees, Products and Suppliers. Cela peut comprendre les employés, les produits et les fournisseurs.

MDM involves the same kind of operations as a CMI. MDM implique le même genre d'opérations comme un CMI. That is, identification and removal of duplicates, and putting in place to eliminate duplicates in any new data loaded into the Databases. C'est, à l'identification et l'élimination des doublons, et de mettre en place pour éliminer les doublons dans les nouvelles données chargées dans les bases de données.

There is a wide choice of software vendors offering MDM products. Il ya un large choix de fournisseurs de logiciels offrant des produits de MDM.

De-duplication and Address validation is a niche market in this area. De-duplication et de validation d'adresses est un marché de niche dans ce domaine.

On my Database Answers Web Site, I have a Tutorial on Getting Started in MDM : - Base de données de réponses sur mon site web, j'ai un tutoriel sur Getting Started dans MDM: --


4.2.2.7 Data Platform 4.2.2.7 Plate-forme de données

These building-blocks represent successive levels that can be put in place in a controlled manner. Ces blocs de construction représentent les niveaux successifs qui peuvent être mis en place de manière contrôlée.

Each building-block builds on the previous manner. Chaque bloc de construction s'appuie sur le précédent manière.

This can be used in the planning and control of the Data Management. Cela peut être utilisé dans la planification et le contrôle de la gestion des données.

Data Governance provides a thread of continuity through the process and can ensure the integrity and consistency of the data. Gouvernance des données constitue un élément de continuité dans le processus et peut assurer l'intégrité et la cohérence des données.

Étapes à suivre pour la plate-forme de données


4.2.3 Templates 4.2.3 Modèles

Here's a page on the Database Answers Web Site discussing Performance Reports : - Voici une page sur la base de données Sites Web Site de discuter les rapports sur le rendement: --

http://www.databaseanswers.org/tutorial4_integrated_performance_reporting/index.htm http://www.databaseanswers.org/tutorial4_integrated_performance_reporting/index.htm

4.2.3.1 Information Catalogue 4.2.3.1 Information de catalogue

The Information Catalogue records a range of critical data related to a Data Migration activity. Les documents d'information au catalogue une gamme de données critiques liées à une activité de migration des données.

For example, a list of Entities, Tables, Fields Mappings and Par exemple, une liste des entités, des tables, des champs et Mappings   Rules for Relationships and Validation. Les relations et les règles de validation.

4.2.3.1.1 4.2.3.1.1   Mapping Entities Mapping Entities

This Templates is used to define the mapping of Entities or Tables from a specific Source to a specific Target. Ce sont les modèles utilisés pour définir la cartographie des entités ou des tableaux à partir d'une source spécifique d'une cible spécifique.

For example, from an Electoral Register to a Generic Customer Services Data Model (GCDM). Par exemple, à partir d'un registre électoral à un générique des services à la clientèle Modèle de données (GCDM).

This Transformation is supported by Mapping Specifications and the appropriate software. Cette transformation est soutenue par le cahier des charges et la cartographie des logiciels appropriés.

This software can be either manually-coded SQL, a specialized solutions , such as Salesforce's Excel Connector, Ce logiciel peut être codé manuellement SQL, une des solutions spécialisées, telles que l'Excel Salesforce Connector,

or a general-purpose commercial product, such as Informatica . ou d'un usage général commercial de produits, tels que Informatica.

Source Table Source Tableau

Target Table Table cible

Comment Commentaire

Example : Electoral Register Exemple: registre électoral

Example : Customer Exemple: la clientèle

 

Example : Elections Exemple: Elections

Example : Customer_Event Exemple: Customer_Event

 

4.2.3.1.2 4.2.3.1.2   Mapping Attributes Mapping Attributes

This Template defines the correspondence between Fields in Data Sources and Targets. Ce modèle définit la correspondance entre les champs de données sources et cibles.

An example of this Template in use is included in Section 6.4. Un exemple de ce modèle en cours d'utilisation est incluse dans la section 6.4.

SOURCE SOURCE

TABLE TABLE

DATA DONNEES

ITEM ITEM

TYPE TYPE

VALIDATION VALIDATION

TARGET TARGET

TABLE TABLE

TARGET TARGET

ATTRIBUTE ATTRIBUT

COMMENT COMMENTAIRE

 

 

 

4.2.3.1.3 4.2.3.1.3   Rules for Relationships Règlement pour les relations

These Business Rules define the conditions that Relationships between Entities must support. Ces Business Rules définissent les conditions que les relations entre les entités doivent soutenir.

They can be translated into SQL which can be applied as Test Conditions for the Data Warehouse. Ils peuvent être traduits en SQL qui peuvent être appliquées en tant que conditions d'essai pour le Data Warehouse.

A sample is provided for as an example. Un exemple est fourni à titre d'exemple.

  1. Example : An ADDRESS can be associated with zero, one or many CUSTOMER ADDRESSes . Exemple: une adresse peut être associée à zéro, une ou plusieurs adresses clients.

For example, many people can live at the same Address. Par exemple, beaucoup de gens peuvent vivre, à la même adresse.

  1. Example : A CUSTOMER can be associated with zero, one or many CUSTOMER ADDRESSes . Exemple: un client peut être associé à zéro, une ou plusieurs adresses clients.    For example, Home, Work, Billing, Delivery and so on. Par exemple, la maison, au travail, de facturation, de livraison et ainsi de suite.


4.2.3.1.4 4.2.3.1.4   Rules for Validation Règles de validation

These are the Rules for validation of the data in a Table. Ce sont les règles de validation des données dans un tableau.

Two example Rules are provided for guidance. Deux règles sont prévues par exemple pour l'orientation.

  DATA ITEM DATA POINT

  TYPE TYPE

  VALIDATION VALIDATION

  COMMENT COMMENTAIRE

Example : address_id Exemple: address_id

  Integer Integer

  >0 and unique > 0 et unique

  Unique Identifier for each Address. Identificateur unique pour chaque adresse.

  Example : easting Exemple: Easting

Integer Integer

  A six-digit number, less than 660000 Un numéro à six chiffres, moins de 660.000

  The Easting coordinate for a BLPU Le Easting coordonner pour un BLPU

 

4.2.4 Tools 4.2.4 Outils

It is quite common to develop bespoke software for smaller internal projects with limited scope. Il est assez commun pour développer des logiciels sur mesure pour les petits projets internes à portée limitée.

Organisations frequently build up a Library of Data Integration software Organisations souvent constituer une bibliothèque de logiciels d'intégration de données

Major vendors for Integration Tools include Informatica and Microsoft. Les principaux fournisseurs de l'intégration des outils de Informatica et Microsoft.

Details are shown in a separate document. Les détails figurent dans un document distinct.

4.2.5 Tutorials 4.2.5 Didacticiels

There are three Tutorials on the Database Answers Web Site that are helpful : - Il existe trois didacticiels sur la base de données du site Web de réponses qui sont utiles: --

i) Data Quality i) la qualité des données                      - http://www.databaseanswers.org/presentations/Strategy_for_Data_Quality.ppt - Http://www.databaseanswers.org/presentations/Strategy_for_Data_Quality.ppt

ii) Master Data Mgmt ii) Master Data Mgmt          - http://www.databaseanswers.org/tutorial4_bp_in_mdm/index.htm - Http://www.databaseanswers.org/tutorial4_bp_in_mdm/index.htm

iii) MDM and Ref Data iii) des données MDM et Ref        - http://www.databaseanswers.org/presentations/MDM_and_Ref_Data.ppt - Http://www.databaseanswers.org/presentations/MDM_and_Ref_Data.ppt

4.2.6 How do I ? 4.2.6 Comment dois-je faire?

4.2.6.1 Plan the Data Integration process ? 4.2.6.1 Planifier les processus d'intégration de données?
  • Identify the Data Stewards Identifier les données Stewards
  • Obtain buy-in from key Stakeholders within the organisation . Obtenir des buy-in de la part des principaux intervenants au sein de l'organisation.
  • Determine with the Users, the quality KPIs for key data items. Déterminer avec les utilisateurs, la qualité ICR pour les principaux éléments de données.
  • Define the Field Mappings from Sources to Targets. Définir le champ de Mappings Sources échéances.

4.2.7 Qualities for Success 4.2.7 Les qualités pour réussir

Informatica offers Certification in Data Integration : - Informatica offre de certification dans l'intégration de données: --

http://www.informatica.com/products_services/education_services/certification/Pages/index.aspx http://www.informatica.com/products_services/education_services/certification/Pages/index.aspx

To be competent in this area it is important to have a clear understanding of the end-to-end process of transforming Source data into Target data and to derive satisfaction from achieving the end-result of seeing good-quality data loaded and available for subsequent analysis and reporting. Pour être compétents dans ce domaine, il est important d'avoir une compréhension claire de la fin à la fin de processus de transformation de données source en données cible et d'en tirer satisfaction d'atteindre le résultat final de voir des données de bonne qualité et disponible pour le chargement ultérieur d'analyse et de reporting.

Someone who works in this area is happy to work with Developers, Managers and End-Users. Quelqu'un qui travaille dans ce domaine est heureux de travailler avec des développeurs, gestionnaires et utilisateurs finaux.

 


4.3 Stage 3 – Performance Reports 4.3 Étape 3 - Rapports sur le rendement

4.3.1 State-of-the-Art 4.3.1 State-of-the-Art

Two articles on Wikipedia summarise the State-of-the-Art on Deux articles sur Wikipédia résumer l'état de l'art sur

Performance Reports and Business Intelligence are very similar in their interpretation. Rapports de performance et de Business Intelligence sont très similaires dans leur interprétation.

4.3.2 Best Practice 4.3.2 Best Practice

There are three areas involved : - Il ya trois secteurs concernés: --

i) i)                      Determine the Data Sources from the Data Marts Déterminer les sources de données du Data Mart

ii) ii)                    Choose the commercial Report-Writer Choisissez le rapport commercial-Writer  

iii) iii)                   Create Data Validation and Transformation procedures Créer des données de validation et de la transformation des procédures


4.3.3 Templates 4.3.3 Modèles

Report Templates are available showing Content and Layout for standard Ad-Hoc and Off-the-Shelf Reports. Modèles de rapport sont disponibles indiquant le contenu et mise en page standard pour Ad-Hoc et Off-the-Shelf Reports.

4.3.3.1 Data Mart in a Word document 4.3.3.1 Data Mart dans un document Word

This diagram shows a Data Model for a Data Mart to hold data about Parking Tickets issued by a Local Authority in the Ce diagramme montre un modèle de données d'un Data Mart d'organiser les données sur les billets de stationnement émis par une autorité locale dans le UK Royaume-Uni . .

It was produced in a Word document from early discussion with the End-User and was very helpful in establishing communication and a collaborative method of working. Il a été produit dans un document Word à partir de début de la discussion avec l'utilisateur final et a été très utile pour établir la communication et une méthode de travail collaboratif.

End-users find to easier to understand and agree to this kind of Data Model than a formal ERD. Les utilisateurs finaux de trouver plus facile à comprendre et à accepter ce type de modèle de données que d'une ERD.

This approach is therefore recommended. Cette approche est donc recommandée.

Each Fact is associated with a number of Dimensions. Chaque fait est associé à un certain nombre de dimensions.

The 'FACTS' Table contains the list of data items which is available. Les «faits», le tableau contient la liste des éléments de données qui est disponible.

The other Tables are called 'Dimensions' and define how the Facts can be analysed . Les autres tableaux sont appelés «Dimensions» et définir la manière dont les faits peuvent être analysées.


4.3.3.3 Map showing KPIs 4.3.3.3 Carte KPI

This Map shows Key Performance Indicators ( KPIs ) for the Wards in a Local Authority Cette carte montre les indicateurs de performance clés (KPI) pour les quartiers d'une autorité locale

Each Ward is displayed in either Red , Amber or Green, depending in whether the KPIs Threshold values are reached or exceeded. Chaque quartier est affichée dans les deux rouge, orange ou vert, en fonction de savoir si le KPI Les valeurs seuils sont atteints ou dépassés.  

Red indicates a situation that requires urgent management attention, amber is a warning and green is within acceptable limits. Le rouge indique une situation qui requiert d'urgence l'attention de la direction, l'ambre est un avertissement et vert est dans des limites acceptables.

4.3.3.4 Reports at the Regional Level 4.3.3.4 Les rapports au niveau régional

This Report shows the total count of Customers gained and lost in an imaginary South-East Region Ce rapport indique le nombre total de clients acquis et perdu dans l'imaginaire du Sud-Est Région

RPt.1 Total Customers Gained and Lost by Week Total Clients RPt.1 obtenu et perdu par semaine

Date selected: Month of January, 2010 Date sélectionnée: Mois de Janvier, 2010

Week Ending Semaine se terminant

Location Emplacement

Total Gained Total acquise

Total Lost Total Lost

March 6 th 09 6 mars 09

SE Region SE Région      

10 10

10 10

March 13 th 09 13 mars 09

SE Region SE Région

20 20

20 20

March 20 th . 09 Le 20 mars. 09

SE Region SE Région

30 30

30 30

March 27 th . 09 27 mars. 09

SE Region SE Région

40 40

40 40

April 3 rd / 09 3 avril / 09

SE Region SE Région

50 50

50 50

April 10 th . 09 Le 10 avril. 09

SE Region SE Région

30 30

30 30

April 17 th . 09 17 avril. 09

SE Region SE Région

20 20

20 20

April 24 th . 09 24 avril. 09

SE Region SE Région

10 10

10 10

. .


4.3.3.5 Reports at the City Level 4.3.3.5 Les rapports au niveau de la ville

This Report shows the total count of Customers gained and lost for Ce rapport indique le nombre total de clients acquis et a perdu de London Londres in the South-East Region. dans la Région du Sud-Est.

RPt.1 Total Customers Gained and Lost by Week Total Clients RPt.1 obtenu et perdu par semaine

Date selected: Month of January, 2010 Date sélectionnée: Mois de Janvier, 2010

Week Ending Semaine se terminant

Location Emplacement

Total Gained Total acquise

Total Lost Total Lost

March 6 th 09 6 mars 09

London Londres              

1 1

1 1

March 13 th 09 13 mars 09

London Londres

2 2

2 2

March 20 th . 09 Le 20 mars. 09

London Londres

3 3

3 3

March 27 th . 09 27 mars. 09

London Londres

4 4

4 4

April 3 rd / 09 3 avril / 09

London Londres

5 5

5 5

April 10 th . 09 Le 10 avril. 09

London Londres

3 3

3 3

April 17 th . 09 17 avril. 09

London Londres

2 2

2 2

April 24 th . 09 24 avril. 09

London Londres

1 1

1 1

4.3.3.6 Reports for Parking Tickets 4.3.3.6 Rapports de billets de stationnement

This table shows a sample Template of unrealistic data for Parking Ticket Reports. Ce tableau montre un exemple de modèle de données pour irréaliste Parking Ticket Reports.

The Template is available on this page of the Database Answers Web Site : - Le modèle est disponible sur cette page de la base de données Sites Web Site: --

http://www.databaseanswers.org/Parking_Rpts/PK06_TotalPaidPCNs_withPaymentMethod_demo_rpt.xls http://www.databaseanswers.org/Parking_Rpts/PK06_TotalPaidPCNs_withPaymentMethod_demo_rpt.xls

PK.6 - Report on Total PCNs Paid with Payment Methods PK.6 - Rapport sur Total NCP payant avec les méthodes de paiement

Date selected: Month of January, 2010 Date sélectionnée: Mois de Janvier, 2010

PCN Type PCN Type

Source Source

Payment Method Mode de paiement

PCNs Paid NCP payant

Amount Paid Montant payé

PCN - BLE