数据整合方案

篇一：数据集成整体解决方案

数据集成整体解决方案

继系统集成、应用集成、业务集成之后，最头痛的数据集成（Data Integration）已渐被各大企业纷纷触及。目前国内大多数企业还仅停留在服务于单个系统的多对一架构数据集成应用，这种架构常见于数据仓库系统领域，服务于企业的商务智能。早期那些数据集成大家大都是从ETL启蒙开始的，当时ETL自然也就成了数据集成的代名词，只是忽然一夜春风来，各厂商相继推出DI新概念后，我们不得不再次接受新一轮的DI洗脑，首推的有SAS DI、Business Objects DI、Informatica DI、Oracle DI（ODI）等厂商。

数据集成，主要是指基于企业分散的信息系统的业务数据进行再集中、再统一管理的过程，是一个渐进的过程，只要有新的、不同的数据产生，就不断有数据集成的步聚执行。企业有了五年、八年的信息化发展，凌乱、重复、歧义的数据接踵而至，数据集成的空间与需求日渐迫切，企业需要一个主数据管理（Master Data Manager）系统来统一企业的产品信息、客户信息；企业需要一个数据仓库（Data Warehouse）系统来提高领导层的决策意识，加快市场战略调整行动；企业需要一个数据中心（Data Center）系统来集中交换、分发、调度、管理企业基础数据。

数据集成的必要性、迫切性不言而喻，不断被推至企业信息化战略规划的首要位置。要实现企业数据集成的应用，不光要考虑企业急需集成的数据范围，还要从长远发展考虑数据集成的架构、能力和技术等方面内容。从数据集成应用的系统部署、业务范围、实施成熟性看主要可分三种架构。一种是单个系统数据集成架构、一种是企业统一数据集成架构、一种是机构之间数据集成架构。

单个系统数据集成架构，是国内目前大兴土木所采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多各业务操作系统，集成企业所有基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能体现。这种单个系统数据集成应用架构的主要特点是多对一的架构、复杂的转换条件、TB级的数据量处理与加载，数据存储结构特殊，星型结构、多维立方体并存，数据加载层级清晰。

企业统一数据集成架构，组织结构较复杂的大型企业、政府机构尤为偏爱这种数据集成的架构，因此类单位具有业务结构相对独立、数据权力尤为敏感、数据接口复杂繁多等特征，更需要多个部门一起协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。如金融机构、电信企业，公安、税务等政府机构，业务独立、层级管理的组织结构决定了内部数据交互的复杂性。概括来说此类应用属于多对多的架构、数据交换频繁、要有独立的数据交换存储池、数据接口与数据类型繁多等特点。

对于企业管理性、决策性较强的信息系统如主数据管理系统、财务会计管理系统、数据仓库系统等数据可直接来源于数据中心，摆脱了没有企业数据中心前的一对多交叉的困扰，避免了业务系统对应多种管理系统时需要数据重复传送，如CRM系统中新增一条客户信息数据后，直接发送到企业数据中心，由企业数据中心面向风险管理系统、数据仓库系统、主数据管理系统进行分发即可。

机构之间数据集成架构，这种架构多是应用于跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准，从而形成一个多机构之间的数据集成平台。如中国银联与各商业银行之间的应用案例、各市政府信息中心与市政府各机关单位之间的应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）、BTOB电子商务平台等。这类应用属于跨多企业、单位多对多的架构，具有数据网络复杂、数据安全性要求高、数据交换实时性强等特点。

尤其这类架构颇具一些特点值得进一步去剖析。因数据集成平台是架于多企业、单位之间，数据的安全性、独立性决定了各企业、单位不得不考虑前置机的部署形式，各企业、单位在业务系统与数据集成平台之间增加一台前置机，则更有利于自有系统数据的独立与安全，也更利于数据平台对数据的获取、分发、交换的统一要求。另外，数据集成平台也要具有更多的技术功能来满足众多单位的众多数据接口、多种数据类型、不一致的数据标准、数据交换的实时性、对数据的抽取与推送（Pull AND Push）等业务需求。如数据集成平台需具有数据连通、ETL、数据实时、数据清洗、数据质量、EBS（Enterprise Service Bus）、SOA（Service-Oriented Architecture）等一些技术与特点。

以上三种数据集成架构，一种是对应于某一个应用系统的多对一架构，一种是完成企业内部众多系统之间数据交换的多对多架构，一种是为多个跨企业、单位机构实现某一项或几项业务活动而建立的多对多架构，数据集成的应用差不多都是基于这三种架构，每种架构可能会对应于多种数据集成的应用。国内企业常见的数据集成应用有数据仓库、数据同步、数据交换，随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始纷繁异景起来。

目前大部分数据集成软件厂商都是围绕数据仓库（Data Warehousing）、数据迁移（Data Migration）、数据合并（Data Consolidation）、数据同步（Data Synchronization）、数据交换（Data Hubs或者叫主数据管理：Master Data Management）这5种常见的企业应用形式来发展各自的产品技术。

数据仓库（Data Warehousing）应用：

数据仓库的发展在国内差不多有近10个年头，数据仓库中的数据集成应用主要是围绕ETL的功能来实现，一般来说其主要功能是将多个业务系统不同种数据类型的数据抽取到数据仓库的ODS（Operational Data Store）层，经过转换，加载存储到星型结构的DW（

Data

Warehouse）层，为满足不同主题的展现应用，再向关系型数据库或多维数据库进一步汇总加载，其ETL功能可由手工编程或专业工具软件这两种类型来实现。

第一种类型：由手工编程到专项ETL工具的应用，这种应用类型是成熟的数据集成软件工具的雏形，是为快速达成项目功能需求为主，满足复杂的业务处理的需要，以ETL为核心应用，开发技术也发挥得淋漓尽致，PB、JAVA、SQL、存储过程、C/C++都可能会悉数登场，多一种系统的数据集成就可能会多于一倍的开发工作量，使数据集成平台更趋于复杂、脆弱。另外，如电信、金融、税务、公安等行业的众多系统集成商针对各自的业务系统也开发有专项的数据集成工具，只是有一定的局限性，拘泥于某一种应用或某一特定的系统环境。

第二种类型：众多成熟的数据集成软件工具的应用为这一代表，如Informatica PowerCenter、IBM Datastage、Oracle ODI、Microsoft SISS等，集各种数据接口、ETL、数据质量、实时、数据联邦、分区并行、网格、HA等技术于一身，历练世界众多客户需求多时，具有更宽广的应用、可扩展性强、安全稳定等一些特点。

数据迁移（Data Migration）应用：

这种应用比较容易理解，对于新旧系统升级、数据大集中时的数据作迁移，使数据更能顺应新系统的结构变化而平稳迁移。

数据合并（Data Consolidation）应用：

在企业并购中很容易产生数据合并的应用，如两个企业的HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并，因此对企业数据进行统一标准化、规范化、数据的补缺、数据的一致性都将导致数据合并。

数据同步（Data Synchronization）应用：

当企业一个系统的业务活动会影响其它多个系统的进程时，对数据的实时性、

准确性就

篇二：关于主数据集成实现方案

主数据集成：打破信息共享的壁垒

一、企业信息化建设中的尴尬

管理信息化为越来越多企业带来了实实在在的管理支持和发展支持。然而，随着信息系统的深入应用，很多大型企业集团在信息化建设方面却面临着一个尴尬的局面：

首先，经过多年的信息化建设，企业内部有多套系统在同时运行。正是由于多套系统的独立运行，造成了企业在信息资源共享上存在着数据分散、标准各异、难以集成共享的问题。这就是我们通常所说的“信息孤岛”。

其次，大多企业解决“信息孤岛”的主要手段要么是“头痛医头、脚痛医脚”，不断提出新的系统建设计划；要么是根据眼前需求定制一些数据接口求得对一些数据的“共享”，却忽视了对信息共享实质问题——数据标准多样化问题的解决。因此，这些解决方案非但不能有效消除“孤岛”，恐怕会带来更多“孤岛”。

第三，随着企业不断发展，不断会有新的管理信息系统需要投入建设。但是，由于上述问题的存在，往往使信息化项目的主导者产生一种保守心理，他们一方面在积极寻求对“信息孤岛”的解决方案；另一方面则又为新项目带来的实施风险而犹豫不决。

由此看出，大型企业集团的尴尬是面对“信息孤岛”的无奈，而“信息孤岛”的根源是数据分散、标准各异，其本质是主数据标准的建立与主数据集中管理的问题。本人认为，消除“信息孤岛”、实现信息共享的关键就是从企业主数据构成入手，在不同应用系统之间建立统一的数据执行标准。

二、主数据集成实现方案

确定企业主数据构成、在不同应用系统之间建立统一的数据执行标准，从而实现主数据的集成共享，我们可以从业务层面、应用层面、技术层面的规划配置与整合应用得以实现。

1．业务层面——建立统一标准的主数据管理框架

建立统一的主数据管理框架，必须从数据项目、数据属性、数据交互结构上进行统一规范。

1.1．主数据项目

主数据项目定义首先要解决企业的主管理信息系统（平台）的问题。企业必须确定一个主管理信息系统（平台）。主管理信息系统可以是已经投入应用的系统，也可以是待规划实

施建设的系统。但必须是体现大型企业集团进行信息整合的基准系统或平台。

在企业主管理信息系统（平台）上，定义各类数据项目，建立数据的框架结构和设置标准：应用于企业集团的共性数据信息构成主数据的核心，定义为基础数据；应用于分公司、子公司或者单一业务管理的数据定义为业务数据。基础数据和业务数据一起构成企业集团的主数据管理框架。

1.2．主数据属性

主数据属性我们将从两个方面进行定义：

? 按照数据特点定义，可分为静态数据和动态数据。静态数据如部门、职员、供应商、

客户等基础数据信息。动态数据是在由静态数据构成的业务流转基础上的数量、体积、费用等变动数据，动态数据是企业业务的实时体现。

? 按照数据的核算类型定义，可分为核算项目类数据和成本项目类数据。核算项目类

数据由部门、职员、供应商、客户等基础数据信息中用于期间核算的信息构成。成本项目类数据可按成本归集的项目类型进行设置。核算项目类数据可与会计科目体系建立对应关系。

1.2．主数据传输结构与主数据标准定义

大型企业集团由于所属企业众多，且行业性质也不尽相同，大都存在管理信息系统各异的情况。在这种情况下，大型企业集团对主数据传输的定位有所不同，例如，集团紧密关联性企业的主数据管理可能会涉及业务数据和财务数据、集团外围企业的主数据管理可能只需要合并财务数据即可。

如下图所示，某大型企业集团确定SAP系统为本公司的主管理信息平台，那么其他的管理信息系统均需按照主管理信息平台，即SAP系统内数据设置的属性标准进行定义。这样，在数据标准上我们就能够形成相对的统一，接下来就是数据的集成和传输共享问题。

图：中化国际主数据集成管理模式

2．应用层面——建立数据共享与数据安全管理机制

从大型企业集团系统应用部署来看，在同一系统框架内，可划分为集团帐套、分公司帐套甚进行独立核算和管理，构成多机构、多层面又相对独立的部署模式，数据共享和数据安全基本可以很好的实现。但是在不同的系统框架内，这就成为一个核心问题。而解决的办法就是在新建业务系统中构建与主信息系统中的部门机构、系统管理、终端用户设置和管理相对应的统一数据标准。通过对系统管理层和系统应用层的统一规划和集中配置，构建数据共享与数据安全管理机制。

图：主数据管理应用层面规划

如上图所示，数据共享与数据安全管理机制的建立主要体现在两个方面：

第一、在系统管理层面，通过严格的权限分配实现对信息的共享。这一层面的系统规划是实现数据格式与数据标准的统一，构建实现数据共享的基础。除了定义数据属性、数据类型、数据项目外，还应建立一个面向数据扩展定义的数据字典。

第二、在系统应用层面，通过对多机构、多层面同时又相对独立的应用部署模式的整体规划，实现对数据流向的统一管理。如上级机构具有合并下级机构数据的可执行性，在进行业务数据合并时，既可以按照数据属性、数据类型、数据项目进行主数据的调用、共享、集成。也可以按照部门、机构进行合并。

3．技术层面——建立主数据统一管理、信息集成实现机制

3.1.源头管理

在确定主信息平台的条件下，一旦有新系统的实施建设，我们可以从源头入手对数据集成共享进行管理。例如，当一个新的信息系统上线前，一次性把已经定义好的主数据导入到新系统中。同时，从系统管理层面和系统应用层面定义新系统和主信息平台之间的数据数据传输模式，进行统一规划和集中配置。这样，随着新系统运行使用，两个系统之间的数据更新、数据备份将保持基本同步。

3.2．接口开发

接口开发的关键是根据主信息平台的数据标准，定义双方系统在数据结构、数据属性（静态数据、动态数据、核算项目类数据、成本项目类数据等）数据内容、时间因素、关键条件等方面的同步关联性。目前比较流行的接口技术一般有三种，即数据库型、日志型和文件型。因此，我们在对数据集成共享的管理上，可建立灵活的集成传输模式。

3.2．集成模式定义

集成模式的定义取决于对接口类型的选择。在接口开发上，企业可根据实际需求进行定制，避免做无谓的投资。如根据自身业务特点，对不同类型的数据集成要求确定是否以实时传输与接收或者定时传输与接收。

下面我通过一个数据集成管理的应用案例进行介绍：

如图所示，某大型企业集团确定SAP系统为本公司的主管理信息平台，其他管理信息系统按照主管理信息平台，即SAP系统内主数据设置属性标准进行定义。在集成模式的定位上确定按数据类型进行主数据集成设置：

? 对基础数据的传递，采取定时传输模式。我们把基础数据按照SAP要求的模板下

载下来，保存成TXT或者EXCEL文本的格式放到指定的服务器上面，SAP系统也能直接从服务器上面读取该文件，实现基础数据的定时更新。

? 对业务数据的传递，采取实时传输模式。由于要体现集团对业务控制的实时性，

定位实时传输模式。通过设定后台JOB，让程序实时自动的去读取存放数据，更新业务数据。为了便于业务调整，还可以设置人工操作权限，由人工随时执行数据传输到主管理信息系统里面。

在企业主数据传递过程中，对业务数据和基础数据集成共享需求是不同的。一般情况下，基础数据传递数据量不大，对实时性上的要求也不高。业务数据传递数据量大，并且对实时性的要求较高。

数据库型接口技术的优点是速度快，可以是即时的，缺点是通行性不强，安全性难以控制。日志型接口实现技术的优点是速度较快，安全性较好，可回溯性较强，缺点是通行性不强。文件型接口实现技术的优点通行性强，安全性好，可回溯性强，数据完整性、可靠性都是最好的，但缺点是速度较慢。

篇三：数据交换共享整合系统平台建设方案

数据交换共享整合协同平台设计

整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分：

第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。

第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。

第一章 中心平台设计

1.1 平台功能结构

整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。

各业务子系统都要统一使用XMA整合协同平台进行数据交换。数

据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下：

共享数据库的数据采集、更新、维护。

业务资料库、公共服务数据库的数据采集。

提供安全可靠的共享数据服务。

业务部门之间的业务数据交换。

结合工作流的协调数据服务。

功能流程说明：

数据供需方的接口数据系统：为了满足应用层交换和数据层交换，交换代理必须有应用层和数据层的连接和接口适配功能，数据代理必须有数据格式的转换功能。

数据传输：为了保证数据的正确传输和传输性能，必须有传输管理功能，包括了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。

数据整合协同平台：

会话管理：为了能提供数据的交换方式如主动（推）、被动（拉）；支持定时和实时策略，支持超时控制管理等功能，数据交换平台必须有会话策略、会话控制和管理功能。

数据管理：为了数据能按标准进行交换，能按照部署的路由规则进行交换，必须有数据路由、数据模板管理、数据解析、数据转换等功能。

系统管理功能：同时数据交换平台还应该提供服务管理功能，包括运行管理，部署管理，服务管理，系统日志等功能

为了和安全平台结合，还必须有与安全平台的接口设计功能。

1.2 设计原则

1.2.1 安全高效的数据交换

XMA整合协同平台底层采用消息中间件技术，实现可靠的数据传输。在应用层基于服务，实现数据交换，必须支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多种数据源，提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。

1.2.1.1 规范的数据共享访问

共享数据是一个公共的资源，可以供多个业务系统同时使用。对公共数据的访问必须经过用户的验证授权访问。此外，还需要从数据中心运作的流程、规程制度等方面确保共享数据不被用于非法途径。

1.2.1.1.1 安全可靠性

由于各个业务部门间交换的数据文件含许多敏感信息，所以对数据交换过程中的安全要求就十分严格。XMA整合协同平台必须提供安全机制保证数据交换信息的完整性、数据交换信息的机密性。XMA整合协同平台必须能有效的与安全认证平台结合。通过安全认证平台和XMA整合协同平台，能够保护交换信息内容免遭拦截或非法修改。