A أ ROAD الطريق MAP المغرب العربي
FOR ل
ENTERPRISE شركات DATA MANAGEMENT إدارة البيانات
Barry Williams باري ويليامز
Principal Consultant استشاري الرئيسية
Database Answers Ltd. قاعدة بيانات الإجابات المحدودة
London لندن , ، England انكلترا
info@barryw.org info@barryw.org
CHAPTER 1. الفصل 1. INTRODUCTION .. مقدمة.. 3 3
CHAPTER 2. الفصل 2. ASSESSMENT . تقييم. 4 4
CHAPTER 3. الفصل 3. A VISION OF THE FUTURE . رؤية للمستقبل. 5 5
CHAPTER 4. الفصل 4. THE ROAD MAP . خريطة الطريق. 9 9
CHAPTER 5. الفصل 5. A CASE STUDY FOR THE ROAD MAP . دراسة حالة لخارطة الطريق. 34 34
CHAPTER 1. INTRODUCTION الفصل 1. مقدمة
1.1 Purpose of this Document 1.1 الغرض من هذه الوثيقة
This document describes a Road Map for Enterprise Data Management which covers the important phases from Integration of Data Sources to the production of Integrated Performance Reports, with Business Intelligence. هذه الوثيقة وصفا لخطة خارطة الطريق للمؤسسة لإدارة البيانات والتي تشمل مهمة من مراحل التكامل بين مصادر البيانات المتكاملة لإنتاج تقارير الأداء ، والعمل مع المخابرات.
1.2 Benefits of this Document 1.2 فوائد هذه الوثيقة
The benefits of this document are that it lays out a Road Map which can help anybody with questions about Enterprise Data Management to get useful answers. فوائد هذه الوثيقة أن ترسم خارطة الطريق التي يمكن أن تساعد في أحد الأسئلة حول المشاريع وإدارة البيانات للحصول على اجابات مفيدة.
1.3 What is in the Road Map ? ما هو 1.3 في خريطة الطريق؟
The Road Map contains five separate Stages which can be used to plan and control any activity related to Enterprise Data Management. خارطة الطريق تتضمن خمس مراحل والتي يمكن استخدامها للتخطيط ومراقبة أي نشاط يتعلق بالمشاريع وإدارة البيانات.
These Stages are : - وهذه المراحل هي : --
1) 1)
Database Design تصميم قاعدة بيانات
2) 2)
Data Integration تكامل البيانات
3) 3)
Performance Reporting تقارير الأداء
4) 4)
Internet Mashups الانترنت المزج
5) 5)
Data Governance إدارة البيانات
Separate documents discusses how the Road Map could be implemented by Microsoft, Informatica and Salesforce.com. وثائق منفصلة يناقش خريطة الطريق ، كيف يمكن أن تنفذ من قبل مايكروسوفت ، وInformatica Salesforce.com.
The documentation for each Stage has generally the same structure : - وثائق كل مرحلة بشكل عام نفس الهيكل : --
- Definition - التعريف -- usually a Wikipedia entry. عادة ما يكون الدخول ويكيبيديا.
- Best Practice أفضل الممارسات
- Templates قوالب
- Tools أدوات
- Tutorials دروس خصوصية
The Approach has been to formalise Best Practice in Enterprise Data Management and to make this Best Practice accessible by a series of Questions. وقوبل هذا النهج لاضفاء صفة رسمية على أفضل الممارسات في مجال إدارة البيانات ، والمؤسسة لجعل هذه الممارسة الفضلى متاحة من خلال سلسلة من الأسئلة.
1.4 How to use this Document 1.4 كيفية استخدام هذا المستند
To use this Document, you should answer the Questions in the Self-Assessment in Section 2.1 to determine which Stage you are at. استخدام هذا المستند ، يجب الإجابة على الأسئلة في التقييم الذاتي في قسم 2.1 لتحديد المرحلة التي أنت في.
If you have a question that is not covered please tell us about it and we will be happy to respond. إذا كان لديك سؤال لا تغطي يرجى تخبرنا عن ذلك ، وسنكون سعداء للرد.
You can email us at dba_requests@barryw.org . يمكنك مراسلتنا على dba_requests@barryw.org.
Chapter 3 presents a Vision of the Future for the role of Databases. الفصل 3 يقدم رؤية مستقبلية لدور وقواعد البيانات.
Chapter 5 presents a Case Study showing how the Road Map would be used in practice. الفصل 5 يقدم دراسة حالة تظهر كيف أن خريطة الطريق وسوف تستخدم في الممارسة العملية.
CHAPTER 2. ASSESSMENT الفصل 2. مييقتلا
2.1 Self-Assessment 2.1 التقييم الذاتي
The first table contains a summary of the Questions which help in the Self-Assessment for any individual or organisation to determine where they are along the Road Map. ويحتوي الجدول الأول على موجز للأسئلة التي تساعد في التقييم الذاتي لأي فرد أو منظمة لتحديد ما إذا كانوا على طول خارطة الطريق.
This is sample of Questions which will be added to regularly. هذه عينة من الأسئلة التي ستضاف الى بانتظام.
Nr. تقرير وطني. | QUESTION مسألة | STAGE المرحلة |
1 1 | Do you need to design a Database ? هل تحتاج لتصميم قاعدة بيانات؟ | 1 1 |
2 2 | Do you need to handle multiple languages ? هل تحتاج لمعالجة اللغات المتعددة؟ | 1 1 |
3 3 | Do you use multiple types of Database, such as SQL Server and Oracle ? هل تستخدم أنواع متعددة من قاعدة بيانات ، مثل خادم SQL وأوراكل؟ | 2 2 |
4 4 | Is Data Quality an هو وجود جودة البيانات Enterprise المشاريع Issue ? ؟ | 2 2 |
5 5 | Do you have a Single View of the Things of Importance, such as Customers ? هل لديك واحد نظرا للأشياء ذات أهمية ، مثل الزبائن؟ | 2 2 |
6 6 | Do you have Master Data Management (MDM) in place ? هل لديكم ماجستير في إدارة البيانات (MDM) في المكان؟ | 2 2 |
7 7 | Can you verify the derivation of all data (the Data Lineage') in your Reports ? يمكنك التحقق من منشأ جميع البيانات (داتا النسب ') في التقارير الخاصة بك؟ | 3 3 |
8 8 | Do you want to combine Excel data in your Reports ? هل تريد أن تجمع البيانات إكسل في تقاريرك؟ | 3 3 |
9 9 | Does your Chief Exec have Report requirements that you cannot meet ? هل يكون تقرير رئيس إكسيك المتطلبات التي لا تستطيع الوفاء؟ | 3 3 |
10 10 | Is anyone using Mashups in your organisation ? هو أي شخص استخدام المزج في منظمتك؟ | 4 4 |
11 11 | Do you have a top-down view of Data Management in your organisation ? هل لديكم من أعلى إلى أسفل ونظرا لإدارة البيانات في منظمتك؟ | 5 5 |
12 12 | Does your organisation have a Data Governance function ? هل منظمتكم لديها البيانات والحكم وظيفة؟ | 5 5 |
2.2 Assessment Snapshot 2.2 تقييم لقطة
This table provides a snapshot to help in the Assessment process. وينص هذا الجدول لقطة للمساعدة في عملية التقييم.
STAGE المرحلة | BASIC الأساسية | AVERAGE متوسط | IDEAL أمثل |
1) Data Sources 1) مصادر المعلومات | Knowledge in the في المعرفة heads رؤساء of individuals. للأفراد.
| Top 20 Applications known with list of Data Sources and Owners ال 20 في قائمة التطبيقات المعروفة مع مصادر البيانات واصحاب | Agile development with refactoring techniques. نشاطا مع تطور تقنيات إعادة بيع ديون.
|
| No Data Models and poor documentation of links between code and databases. أي نماذج البيانات ، وضعف الروابط بين وثائق مدونة وقواعد البيانات. | Basic Data Dictionary in place. البيانات الأساسية في القاموس. | Data Models and sign-off by DBA on all changes. نماذج البيانات والتوقيع النهائي على التسوية المتصلة بعبء الديون من جانب جميع التغييرات.
|
|
|
| User access and sign-off for Data Dictionary وتوقع وصول المستخدم النهائي لقاموس البيانات |
2) Data Integration 2) تكامل البيانات | Ad-hoc integration using bespoke SQL Scripts المخصص للتكامل SQL مفصل باستخدام وحدات سكربت | Some Templates established and commercial Tools in use. بعض النماذج التي أنشئت والتجارية في استخدام الأدوات. | MDM approved, data owner sign-off, MDM الموافقة بيانات صاحب التوقيع النهائي ، Data Quality is an جودة البيانات هو Enterprise المشاريع issue. مسألة. |
|
| Software Tools linked to the Data Dictionary برمجيات أدوات ربط البيانات القاموس | Clear and reconciled top-down and bottom-up views of data. والتوفيق واضحة من أعلى إلى أسفل القاعدة إلى القمة وجهات النظر من البيانات. |
|
|
| Data Architecture and Data Models for Sources and Targets. بيانات وبيانات النماذج المعمارية للمصادر والأهداف. |
3) Performance Rpts 3) الأداء Rpts | One-off, often independent Dept. مرة واحدة ، وغالبا ما قسم مستقل Spreadsheets جداول البيانات | Independent Maps, KPIs and drill-down to detailed Reports الخرائط المستقلة ، وحفر KPIs إلى أسفل إلى تقارير مفصلة | Integrated Maps, KPIs and drill-downs for Chief Exec خرائط متكاملة ، وتدريبات KPIs التخفيضات لرئيس إكسيك |
4) Internet Mashups 4) عمليات المزج الإنترنت | None بلا | Isolated development عزل التنمية | Users aware علم المستخدمين |
5) Data Governance 5) الحكم البيانات | None بلا | No end-to-end agreement. ليس من النهاية إلى النهاية. | Procedures published, Roles and Responsibilities and Sign-off all in place. نشرت الإجراءات والأدوار والمسؤوليات ، والدخول في كل مرة. |
|
|
| Data lineage known and auditable. البيانات ومراجعة النسب المعروفة. |
CHAPTER 4. THE ROAD MAP الفصل 4. خارطة الطريق
This Section describes the details the major Stages in the Road Map. ويصف هذا القسم تفاصيل المراحل الرئيسية في خريطة الطريق.
It is presented in a step-by-step sequence, from Data Sources ومن قدم في خطوة خطوة على التوالي ، من مصادر المعلومات to Data Governance. الحكم على البيانات.
The Steps are : - الخطوات هي : --
·
Data Sources - وقالت مصادر البيانات --
o س
Identify the Data Sources تحديد مصادر البيانات
o س
Create Data Models خلق نماذج البيانات
·
Data Integration – تكامل البيانات --
o س
Design Target ERD Data Model for combined Data Sources تصميم الهدف الشعبة نموذج البيانات المجمعة لمصادر المعلومات
·
Mapping – ورسم الخرائط --
o س
Map Entities خريطة الكيانات
o س
Map Attributes خريطة السمات
o س
Define Rules for Relationships and Field validation تحدد قواعد العلاقات الميدانية والمصادقة
·
Data Quality (DQ) – جودة البيانات (DQ) --
o س
Produce DQ Profiles لمحات عن انتاج DQ
o س
Agree required DQ Standards توافق المعايير المطلوبة DQ
o س
Repeat Data Validation and Clean-Up as necessary التحقق من صحة البيانات وتكرار تنظيف حسب الضرورة
·
Design the Data Mart تصميم البيانات مارت
·
Performance Reports - تقارير الأداء --
o س
Agree KPIs with Users نتفق مع مستخدمين KPIs
o س
Agree Top-Level Summary Reports نتفق على مستوى عال خلاصة التقارير
o س
Agree Detailed Reports نوافق على تقارير مفصلة
·
Internet Mashups - الانترنت المزج --
o س
Determine the requirements for Mashups تحديد الاحتياجات اللازمة لعمليات المزج
o س
Design and Build Mashups as appropriate التصميم والبناء وعمليات المزج ، حسب الاقتضاء ،
·
Data Governance - بيانات الحكم --
o س
Ensure Compliance with Policies and Procedures. ضمان الامتثال للسياسات والإجراءات.
o س
Modify as appropriate تعديل ، حسب الاقتضاء ،
4.1 Stage 1 – Database Design 4.1 المرحلة 1 -- تصميم قواعد البيانات
4.1.1 State-of-the-Art 4.1.1 دولة من أحدث
* Wikipedia on Database Design * تصميم قاعدة بيانات عن ويكيبيديا - http://en.wikipedia.org/wiki/Database_design -- http://en.wikipedia.org/wiki/Database_design
* Wikipedia on Data Modeling * ويكيبيديا على نمذجة البيانات - http://en.wikipedia.org/wiki/Data_modeling -- http://en.wikipedia.org/wiki/Data_modeling
4.1.2 Best Practice 4.1.2 أفضل الممارسات
Here is a series of Steps in designing a Database : - هنا مجموعة من الخطوات في تصميم قاعدة البيانات : --
Step 1. Establish the Scope of the Database. الخطوة 1 : تحديد نطاق قاعدة البيانات.
Step 2. Identify the 'Things of Interest' الخطوة 2 : حدد 'أشياء من الفائدة'
Step 3. Define the Business Rules that determine how these 'Things of Interest' are related الخطوة 3 : تحديد قواعد العمل التي تحدد كيفية 'الامور الاهتمام' تتصل
Step 4. Choose the Data Modelling Tool. الخطوة 4. اختر أداة نمذجة البيانات.
Step 5. Produce first draft Data Model and review with the Users. خطوة 5. إنتاج أول مشروع نموذج البيانات والاستعراض مع المستخدمين.
Step 6. Ask the Users to provide sample data. الخطوة 6. اطلب من المستخدمين لتوفير بيانات العينة.
Step 7. Load data into Database and confirm the Design. الخطوة 7. تحميل البيانات إلى قاعدة البيانات وتأكيد التصميم.
4.1.3 Templates 4.1.3 قوالب
A very valuable set of over 600 Kick-Start Data Models are available on the Database Answers Web Site : - وثمة قيمة للغاية أكثر من 600 مجموعة من بدء نماذج البيانات متاحة على موقع قاعدة بيانات الأجوبة : --
- http://www.databaseanswers.org/data_models/index.htm -- http://www.databaseanswers.org/data_models/index.htm
You will probably find something to give you an excellent start to designing a new Database. قد تجد شيئا ليعطيك بداية ممتازة لتصميم قاعدة بيانات جديدة.
If not, contact us by email at barryw@databaseanswers.org and we will help you to get started. إذا لم يكن الاتصال بنا عن طريق البريد الإلكتروني على barryw@databaseanswers.org وسوف تساعدك على البدء.
4.1.3.1 A Database for Local Authority Parking 4.1.3.1 قاعدة بيانات للسلطة المحلية وقوف السيارات
Here is an example of an Entity-Relationship Diagram for a Database designed for Parking Tickets in a Local Authority in the UK :- هنا مثالا على العلاقة بين كيان الشكل البياني لتصميم قاعدة بيانات للتذاكر وقوف السيارات في السلطة المحلية في المملكة المتحدة : --
4.1.4 Tools أدوات 4.1.4
There is a wide choice of Data Modeling Tools and here is a sample of the most popular Tools available : - هناك خيارات واسعة من أدوات نمذجة البيانات وهنا عينة من أكثر الأدوات المتاحة : --
4.1.5 Tutorials 4.1.5 التعليمية
* Data Modelling * نمذجة البيانات - http://www.databaseanswers.org/tutorial4_data_modelling/index.htm -- http://www.databaseanswers.org/tutorial4_data_modelling/index.htm
* Database Design - http://www.databaseanswers.org/tutorial4_getting_started_with_db_design/index.htm * تصميم قواعد البيانات -- http://www.databaseanswers.org/tutorial4_getting_started_with_db_design/index.htm
* Understanding a Database Schema - http://www.databaseanswers.org/tutorial4_db_schema/index.htm * قاعدة بيانات مخطط التفاهم -- http://www.databaseanswers.org/tutorial4_db_schema/index.htm
4.1.6 How do I ? 4.1.6 كيف؟
4.1.6.1 Get Certified as a DBA ? 4.1.6.1 اشترك بوصفه التسوية المتصلة بعبء الديون؟
Certification can be described as 'Necessary but not sufficient'. شهادة يمكن وصفها بأنها 'ضروري ولكنه غير كاف. In other words, some employers consider it as evidence that you have the necessary technical knowledge and skills to be a Database Administrator, but without any experience, it will not guarantee you a job. وبعبارة أخرى ، فإن بعض أرباب العمل أن ينظر اليها باعتبارها دليلا على أن لديك ما يلزم من المعارف التقنية والمهارات اللازمة ليكون مدير قاعدة بيانات ، ولكن بدون أي خبرة ، لن يضمن لك وظيفة.
If you take your profession seriously and are committed to self-improvement, then you should certainly consider getting certified in the DBMS of your choice. إذا كنت تأخذ على محمل الجد ومهنتك ملتزمون تحسين الذات ، ثم يجب عليك بالتأكيد الحصول على شهادة في DBMS من اختيارك.
Here are some very useful Microsoft Web Links : - وإليك بعض من المفيد جدا مايكروسوفت المواقع الخارجية : --
* Overview of Certification * لمحة عامة عن شهادة - http://www.microsoft.com/learning/mcp/default.mspx -- http://www.microsoft.com/learning/mcp/default.mspx
* Database Administrator * مدير قاعدة بيانات - http://www.microsoft.com/learning/mcp/mcitp/dbadmin/default.mspx -- http://www.microsoft.com/learning/mcp/mcitp/dbadmin/default.mspx
* Microsoft Certified Master * شهادة ماجستير في مايكروسوفت - http://www.microsoft.com/learning/mcp/master/sql/default.mspx -- http://www.microsoft.com/learning/mcp/master/sql/default.mspx
* Certified Database Architect * قاعدة بيانات شهادة مهندس معماري - http://www.microsoft.com/learning/mcp/architect/database/default.mspx -- http://www.microsoft.com/learning/mcp/architect/database/default.mspx
4.1.6.2 Tune the Performance of a Database 4.1.6.2 اللحن أداء قاعدة بيانات
Examine the Query Execution Plan to make sure that the appropriate Indexes have been created and are being used properly. بحث الاستعلام تنفيذ خطة للتأكد من أن الأرقام القياسية المناسبة وضعت ويجري استخدامها على النحو الصحيح.
4.1.7 Qualities for Success 4.1.7 النوعيات للنجاح
Skills include T-SQL for SQL Server and PL/SQL for Oracle. وتشمل المهارات تي SQL لخادم SQL ورر / SQL لشركة أوراكل.
A good Database Administrator (DBA) likes to have responsibility for a clearly defined area, namely a production Database. وخير مدير قاعدة بيانات (التسوية المتصلة بعبء الديون) ، ويحب أن يكون مسئولا عن منطقة محددة بوضوح ، وهي قاعدة بيانات الانتاج. He (or she) is happy to make decisions and defend them against questions from Developers, Managers and End-Users. وهو (أو هي) ويسعد لاتخاذ القرارات والدفاع عنها ضد أسئلة من المطورين والمديرين والمستخدمين النهائيين.
It is useful for a Database Designer to have a DBA background, but is likely to welcome the challenge of interacting with Users, creating a design for a new Database and working with Users to get agreement on the new design. ومن المفيد لتصميم قاعدة بيانات لديها خلفية التسوية المتصلة بعبء الديون ، ولكن من المرجح أن أرحب التحدي المتمثل في التفاعل مع المستخدمين ، وخلق وضع جديد لقاعدة البيانات والعمل مع المستخدمين للحصول على موافقة على التصميم الجديد.
4.2 Stage 2 – Data Integration 4.2 المرحلة 2 -- تكامل البيانات
4.2.1 State-of-the-Art 4.2.1 دولة من أحدث
* Wikipedia on Data Integration * ويكيبيديا على تكامل البيانات - http://en.wikipedia.org/wiki/Data_integration -- http://en.wikipedia.org/wiki/Data_integration
* Wikipedia on Data Quality * على جودة البيانات ويكيبيديا - http://en.wikipedia.org/wiki/Data_quality -- http://en.wikipedia.org/wiki/Data_quality
* Wikipedia on Microsoft's Integration Services - * ويكيبيديا مايكروسوفت على تكامل الخدمات --
http://en.wikipedia.org/wiki/SQL_Server_Integration_Services http://en.wikipedia.org/wiki/SQL_Server_Integration_Services
Case Study دراسة حالة
Here's a Case Study on the Database Answers Web Site about Data Integration in the Clouds وإليك دراسة حالة عن الأجوبة في موقع قاعدة بيانات عن تكامل البيانات في الغيوم
http://www.databaseanswers.org/data_integration_case_study.htm http://www.databaseanswers.org/data_integration_case_study.htm
Connecting Databases ربط قواعد البيانات
One of the requirements might be to connect separate physical Databases. واحد من المتطلبات قد تكون منفصلة المادية للربط بين قواعد البيانات.
In order to achieve this, the requirements can be defined and then appropriate products can be selected from chosen vendors. من أجل تحقيق ذلك ، يمكن تحديد الاحتياجات ، وبعد ذلك يمكن أن تكون ملائمة للمنتجات مختارة من اختيار البائعين. For example , على سبيل المثال ،
a simple techniques is to prefix a Table name with the Database name in an SQL statement. تقنيات بسيطة هي البادئة وهو اسم الجدول مع اسم في قاعدة البيانات SQL.
4.2.2 Best Practice 4.2.2 أفضل الممارسات
Architectures are vitally important to an understanding of Data Integration. التصميمات الهندسية في غاية الاهمية لفهم لتكامل البيانات.
After the appropriate Architecture has been correctly designed, the choice of Products can be made. بعد مناسبة العمارة وقد صمم بشكل صحيح ، واختيار المنتجات التي يمكن تحقيقها.
It is possible that sometimes these Products might be developed in-house, especially if an organization or individual has experience and a Library of Software Utilities has been established. ومن المحتمل أن هذه المنتجات في بعض الأحيان قد يكون تطويره داخليا ، لا سيما إذا كانت منظمة او فرد الخبرة ومكتبة للبرامج والمرافق وأنشئ.
A number of different Architectures are included in this Section to provide a starting-point for specific Projects. وهناك عدد من الطرز المعمارية المختلفة المدرجة في هذا القسم لتوفير نقطة انطلاق لمشاريع محددة.
For planning the Steps for a Project, here is a general Approach التخطيط لخطوات المشروع ، وهنا هو النهج العام : - : --
Step 1. Establish the Scope of both Sources and Targets. الخطوة 1 : تحديد نطاق كل من المصادر والغايات.
Step 2. Identify the key Data Owners within the Scope. الخطوة 2 : تحديد البيانات الأساسية التي تدخل في نطاق مالكي.
Step 3. Define the Mappings between Source and Target Data Items الخطوة 3 : تحديد Mappings بين المصدر والهدف بنود البيانات
Step 4. Agree the minimum acceptable Data Quality standards. الخطوة 4. موافق الحد الأدنى المقبول للمعايير جودة البيانات.
For example, every Address will be validated. على سبيل المثال ، سوف تكون كل كلمة من صلاحيتها.
This page lists some useful Web Links for Customer Data Integration : – هذه الصفحة قوائم بعض المواقع المفيدة للتكامل البيانات العميل : --
http://www.databaseanswers.org/customer_data_integration.htm http://www.databaseanswers.org/customer_data_integration.htm
4.2.2.1 Mapping Data from Source to Target 4.2.2.1 لرسم الخرائط والبيانات من المصدر إلى الهدف
Mapping is defined at the field level between all Sources and Targets. ورسم الخرائط وتعرف على الصعيد الميداني بين جميع المصادر والغايات.
For example, for Local Government, a Voter from the Electoral Register can be mapped to a Customer in the Customer Master Index. على سبيل المثال ، للحكومات المحلية ، والناخبين من السجل الانتخابي يمكن رسم خرائط لالعميل في مؤشر ماستر العملاء.
A Parking Ticket Vehicle Owner can also be mapped to the same Customer. ألف تذكرة وقوف المركبات المالك كما يمكن رسم خرائط لنفس العميل.
4.2.2.2 Duplicate Records 4.2.2.2 المكررة السجلات
When there are many sources of similar data, such as Customers, there are frequently duplicate records. عندما يكون هناك العديد من مصادر بيانات مماثلة ، مثل الزبائن ، وكثيرا ما تكون هناك ازدواجية في السجلات.
For example , على سبيل المثال ، in the في US الولايات المتحدة , John Doe could be also called Jon Doe, Johnny Doe, Mr.J.. Doe and so on. وجون دو ويمكن كما دعا جون دو ، جوني دو Mr.J.. دو ، وما إلى ذلك.
In the في UK بريطانيا , Joe Bloggs could also be called Joseph Bloggs , Joey Bloggs , Mr.J.Bloggs and so on. جو Bloggs كما يمكن دعا جوزيف Bloggs ، Bloggs جوي ، Mr.J.Bloggs وما إلى ذلك.
The rules for recognizing and resolving this kind of problem has led to the development of software for Deduplicating records. قواعد الاعتراف وحل هذا النوع من المشاكل قد أدى إلى تطوير البرمجيات لDeduplicating السجلات. This process is informally referred to as 'de-duping', especially by people who do a great deal of it. هذه العملية غير رسمية ويشار إلى 'خدع دي' ، وخاصة من جانب الناس الذين قدر كبير من ذلك.
Best Practice is to look for a commercial product, rather than to write your own bespoke software because it usually takes longer than expected and commercial products can be quite cheap. أفضل الممارسات للبحث عن المنتج التجاري ، بدلا من أن يكتب مفصل البرمجيات الخاصة بك لأنه عادة ما يستغرق وقتا أطول من المتوقع ، والمنتجات التجارية يمكن أن تكون رخيصة جدا.
This page on the Database Answers Web Site is an excellent starting- point : - هذه الصفحة على موقع قاعدة بيانات الإجابات ممتازة نقطة البداية : --
http://www.databaseanswers.org/deduping.htm http://www.databaseanswers.org/deduping.htm
4.2.2.3 Architectures البنى 4.2.2.3
4.2.2.3.1 Major Components 4.2.2.3.1 المكونات الرئيسية
This diagram shows a top-down view of the major Components in the Architecture. ويبين هذا الرسم من الأعلى إلى الأسفل ، نظرا للعناصر الرئيسية في العمارة.
4.2.2.3.2 Architecture for Data Integration 4.2.2.3.2 العمارة للتكامل البيانات
This diagram shows details of the Data Integration Component in the Architecture shown above. ويظهر هذا الرسم البياني تفاصيل البيانات التكامل العنصر في العمارة المبينة أعلاه.
4.2.2.3.3 Service-Oriented Architecture (SOA) 4.2.2.3.3 موجهة نحو الخدمات العمارة (الخدمية)
4.2.2.3.4 Architecture of Web-Services for Data Quality 4.2.2.3.4 العمارة من خدمات الشبكة العالمية لجودة البيانات
The use of Web Services allows some Components in this Architecture to be distributed in the Clouds. استخدام خدمات الشبكة العالمية ويتيح لبعض العناصر في هذه العمارة ، لتوزع في السحب.
4.2.2.4 Data Models 4.2.2.4 نماذج البيانات
4.2.2.4.1 Father of Data Models 4.2.2.4.1 الاب من نماذج البيانات
MDM requires a Common Data Model as the Target to which data from multiple Sources can be loaded. MDM يتطلب عام نموذج البيانات باعتبارها الهدف الذي بيانات من مصادر متعددة ويمكن تحميله.
This Data Model can used to provide a generic, flexible foundation for a Data Services Layer. هذا نموذج بيانات يمكن استخدامها لتوفير عامة مرنة الأساس لطبقة خدمات البيانات.
This diagram shows a very high-level Data Model which is one candidate for this kind of CDM. ويظهر هذا الرسم البياني على مستوى رفيع للغاية نموذج البيانات الذي هو أحد المرشحين لهذا النوع من آلية التنمية النظيفة.
In practice, this is never used because it is too cumbersome and makes it difficult to obtain with the interested Stakeholders. في الواقع ، هذا لا تستخدم أبدا لأنه مرهق للغاية ويجعل من الصعب الحصول مع أصحاب المصلحة. It can also postpone difficult decisions and therefore can encourage bad practice. كما يمكن أن تؤجل اتخاذ قرارات صعبة ، وبالتالي يمكن أن يشجع على ممارسة سيئة.
4.2.2.4.2 Data Model for Salesforce ERD 4.2.2.4.2 لنموذج البيانات Salesforce الشعبة
If one of the Data Sources is Salesforce.com, then knowledge of the Salesforce Database design is vital. إذا كان واحدا من مصادر البيانات Salesforce.com ومن ثم معرفة من تصميم قاعدة بيانات Salesforce أمرا حيويا.
The ERD is shown in a Chapter at the end of this document. إن شعبة الاستجابة في حالات الطوارئ ويرد في الفصل في نهاية هذه الوثيقة.
The most important Entities are Account ( ie Customer), Case, Contact, Contract, Partner أهم الكيانات هي الحساب (أي العملاء) ، والقضية ، والاتصال ، والعقد ، وشركاء
4.2.2.5 Customer Master Index 4.2.2.5 العملاء مؤشر ماستر
A Customer Master Index (CMI) is very important in establishing a Single View of a Customer. وثمة مؤشر العميل ماجستير (اللجنة الدولية للملاحة البحرية) مهمة جدا في وضع عرض واحد من العملاء. The CMI consists basically of cross-references between each Source System and the single Target System. اللجنة البحرية الدولية وتتكون أساسا من إحالات بين كل مصدر واحد ونظام والنظام المستهدف.
4.2.2.6 Master Data Management ماجستير في إدارة البيانات 4.2.2.6
One of the major components in Master Data Management ('MDM') is Customers. واحد من العناصر الرئيسية في ماجستير إدارة البيانات ( 'MDM') العملاء.
A Customer Master Index, ('CMI') supports a Single View of a Customer. وثمة مؤشر ماستر العملاء ، ( 'اللجنة الدولية للملاحة البحرية) وتؤيد عرض واحد من العملاء.
Master Data Management applies the same principles to all the 'Things of Interest' in an organisation . ماجستير في إدارة البيانات وتنطبق نفس المبادئ على جميع 'الامور من الفائدة» في المنظمة.
This can typically include Employees, Products and Suppliers. وهذا يمكن أن يشمل هذا عادة للموظفين ، وموردي المنتجات.
MDM involves the same kind of operations as a CMI. MDM ينطوي على نفس النوع من العمليات بوصفها اللجنة الدولية للملاحة البحرية. That is, identification and removal of duplicates, and putting in place to eliminate duplicates in any new data loaded into the Databases. وهو تحديد وإزالة مكررة ، ووضع للقضاء على مكررة في أي بيانات جديدة تحمل في قواعد البيانات.
There is a wide choice of software vendors offering MDM products. هناك خيارات واسعة من البرامج التي تقدم MDM بائعي المنتجات.
De-duplication and Address validation is a niche market in this area. إلغاء الازدواجية والتحقق من صحة العنوان هو سوق متخصصة في هذا المجال.
On my Database Answers Web Site, I have a Tutorial on Getting Started in MDM : - الأجوبة على قاعدة بيانات الموقع ، عندي دروس على الابتداء في MDM : --
4.2.2.7 Data Platform 4.2.2.7 البيانات منهاج
These building-blocks represent successive levels that can be put in place in a controlled manner. هذه لبنات بناء على التوالي وتمثل المستويات التي يمكن أن توضع في الطريقة التي تسيطر عليها.
Each building-block builds on the previous manner. كل لبنة يبنى على الطريقة السابقة.
This can be used in the planning and control of the Data Management. هذا يمكن أن تستخدم في التخطيط والمراقبة من إدارة البيانات.
Data Governance provides a thread of continuity through the process and can ensure the integrity and consistency of the data. وتوفر البيانات الحكم خيط الاستمرارية من خلال هذه العملية ، ويمكن ضمان سلامة واتساق البيانات.
4.2.3 Templates 4.2.3 قوالب
Here's a page on the Database Answers Web Site discussing Performance Reports : - وإليك هذه الصفحة على موقع قاعدة بيانات الأجوبة مناقشة تقارير الأداء : --
http://www.databaseanswers.org/tutorial4_integrated_performance_reporting/index.htm http://www.databaseanswers.org/tutorial4_integrated_performance_reporting/index.htm
4.2.3.1 Information Catalogue 4.2.3.1 المعلومات كتالوج
The Information Catalogue records a range of critical data related to a Data Migration activity. المعلومات كتالوج سجلات مجموعة من البيانات الهامة على البيانات المتعلقة بالهجرة.
For example, a list of Entities, Tables, Fields Mappings and على سبيل المثال ، قائمة الكيانات ، والجداول ، وحقول Mappings Rules for Relationships and Validation. قواعد للعلاقات والتحقق من صحة.
4.2.3.1.1 4.2.3.1.1 Mapping Entities الكيانات ورسم الخرائط
This Templates is used to define the mapping of Entities or Tables from a specific Source to a specific Target. وتستخدم هذه النماذج لتحديد ورسم خرائط لكيانات أو الجداول من مصدر محدد لهدف معين.
For example, from an Electoral Register to a Generic Customer Services Data Model (GCDM). على سبيل المثال ، من السجل الانتخابي العام لخدمات العملاء في نموذج البيانات (GCDM).
This Transformation is supported by Mapping Specifications and the appropriate software. هذا التحول ويدعم الخرائط والمواصفات المناسبة البرمجيات.
This software can be either manually-coded SQL, a specialized solutions , such as Salesforce's Excel Connector, هذا البرنامج يمكن أن تكون إما يدويا مرمزة SQL ، حلول متخصصة ، مثل إكسل Salesforce قال الموصل ،
or a general-purpose commercial product, such as Informatica . أو للأغراض العامة المنتج التجاري ، مثل Informatica.
Source Table مصدر الجدول | Target Table الهدف الجدول | Comment التعليق |
Example : Electoral Register مثال ذلك : السجل الانتخابي | Example : Customer على سبيل المثال : العملاء | |
Example : Elections مثال : انتخابات | Example : Customer_Event مثال ذلك : Customer_Event | |
| | |
|
|
|
|
|
|
|
|
|
|
|
|
4.2.3.1.2 4.2.3.1.2 Mapping Attributes ورسم الخرائط السمات
This Template defines the correspondence between Fields in Data Sources and Targets. ويحدد هذا النموذج المراسلات بين الحقول في مصادر البيانات والأهداف.
An example of this Template in use is included in Section 6.4. ومثالا على ذلك في قالب استخدام مدرج في القسم 6.4.
SOURCE مصدر TABLE الجدول | DATA بيانات ITEM دنبلا | TYPE النوع | VALIDATION المصادقة | TARGET الهدف TABLE الجدول | TARGET الهدف ATTRIBUTE السمة | COMMENT التعليق |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
4.2.3.1.3 4.2.3.1.3 Rules for Relationships قواعد للعلاقات
These Business Rules define the conditions that Relationships between Entities must support. هذه الأعمال قواعد تحدد الشروط التي يجب أن العلاقات بين الكيانين.
They can be translated into SQL which can be applied as Test Conditions for the Data Warehouse. التي يمكن أن تترجم إلى SQL التي يمكن استخدامها للتجارب شروط مستودع البيانات.
A sample is provided for as an example. عينة المنصوص كمثال.
- Example : An ADDRESS can be associated with zero, one or many CUSTOMER ADDRESSes . على سبيل المثال : يمكن أن يكون خطاب المرتبطة الصفر ، أو العديد من العملاء العناوين.
For example, many people can live at the same Address. على سبيل المثال ، يمكن لكثير من الناس يعيشون في نفس العنوان.
- Example : A CUSTOMER can be associated with zero, one or many CUSTOMER ADDRESSes . على سبيل المثال : يمكن للعميل أن يرتبط الصفر ، أو العديد من العملاء العناوين. For example, Home, Work, Billing, Delivery and so on. على سبيل المثال ، الصفحة الرئيسية ، والعمل ، والفواتير ، والتسليم ، وما إلى ذلك.
4.2.3.1.4 4.2.3.1.4 Rules for Validation قواعد التحقق من صحة
These are the Rules for validation of the data in a Table. هذه هي قواعد التحقق من صحة البيانات في الجدول.
Two example Rules are provided for guidance. المثال الثاني القواعد المنصوص عليها التوجيه.
DATA ITEM عنصر البيانات | TYPE النوع | VALIDATION المصادقة | COMMENT التعليق |
Example : address_id مثال ذلك : address_id | Integer Integer | >0 and unique > 0 وفريدة | Unique Identifier for each Address. المعرف الفريد لكل خطاب. |
Example : easting مثال ذلك : بإتجاه الشرق | Integer Integer | A six-digit number, less than 660000 ستة أرقام أقل من 660000 | The Easting coordinate for a BLPU فإن بإتجاه الشرق تنسيق لBLPU |
| | | |
| | | |
4.2.4 Tools أدوات 4.2.4
It is quite common to develop bespoke software for smaller internal projects with limited scope. ومن الشائع جدا لتطوير البرمجيات مفصل للمشاريع الصغيرة داخلية محدودة النطاق.
Organisations frequently build up a Library of Data Integration software منظمات في كثير من الأحيان إقامة مكتبة للتكامل البيانات البرمجيات
Major vendors for Integration Tools include Informatica and Microsoft. الرئيسية لتحقيق التكامل بين البائعين وتشمل أدوات وInformatica مايكروسوفت.
Details are shown in a separate document. وترد التفاصيل في وثيقة منفصلة.
4.2.5 Tutorials 4.2.5 التعليمية
There are three Tutorials on the Database Answers Web Site that are helpful : - وهناك ثلاثة التعليمية على موقع قاعدة بيانات الأجوبة التي تساعد على : --
i) Data Quality ط) جودة البيانات - http://www.databaseanswers.org/presentations/Strategy_for_Data_Quality.ppt -- http://www.databaseanswers.org/presentations/Strategy_for_Data_Quality.ppt
ii) Master Data Mgmt الثاني (ماجستير البيانات Mgmt - http://www.databaseanswers.org/tutorial4_bp_in_mdm/index.htm -- http://www.databaseanswers.org/tutorial4_bp_in_mdm/index.htm
iii) MDM and Ref Data ثالثا) المرجع MDM والبيانات - http://www.databaseanswers.org/presentations/MDM_and_Ref_Data.ppt -- http://www.databaseanswers.org/presentations/MDM_and_Ref_Data.ppt
4.2.6 How do I ? 4.2.6 كيف؟
4.2.6.1 Plan the Data Integration process ? 4.2.6.1 خطة عملية دمج البيانات؟
- Identify the Data Stewards تحديد البيانات المضيفون
- Obtain buy-in from key Stakeholders within the organisation . في الحصول على الشراء من
