快速业务通道

java实时数据集成简介 - 编程入门网

作者 佚名技术 来源 NET编程 浏览 发布时间 2012-06-24
库的功能(如 Oracle 更改数据捕获)提供方便的图形界面。将数据集成并复制到数据仓库分段存储区后,Oracle Warehouse Builder 会接替后续工作,创建并填充操作数据存储和维度仓库层。

现在大家对 Oracle Data Integrator 已经有所了解,本文将重点关注如何在实际的数据集成案例中使用它。

Oracle Data Integrator 使用示例:跨平台实时数据集成

在该案例中,您的任务是从 Oracle 数据库中提取一些订单和客户数据,将其与文件中保存的一些员工数据组合到一起,然后将集成的数据载入 Microsoft SQL Server 2000 数据库。由于订单到达时需要进行分析,因此您希望以尽可能接近实时的速度将它们直接传递到目标数据库,并仅提取新的和经过更改的数据以保持尽可能小的负载。您已经在 Oracle 技术网上了解了 Oracle Data Integrator 的相关信息,并希望使用这一新工具来提取和加载数据。

您首先登录到 Oracle Data Integrator 并启动 Topology Manager,如下图所示。

java实时数据集成简介 - 编程入门网

java实时数据集成简介(3)

时间:2010-01-06

在Oracle Data Integrator中,物理数据库、服务或基于事件的数据源均称为数据服务器。使用Topology Manager创建三个新的数据服务器

一个Oracle数据库数据服务器,使用SYSTEM用户的凭证设置,映射到数据库上的ORDERS和ORDERS_WORKAREA模式。ORDERS模式包含您要提取的订单数据,而 ORDERS_WORKAREA 模式是您专门设置的一个空模式,用来存放 Oracle Data Integrator 创建的工作表。使用 Oracle JDBC 驱动程序建立该连接。

一个文件数据服务器,映射到以逗号分隔的文件(其中包含员工详细信息)。使用 Sunopsis 文件 JDBC 驱动程序建立该连接。

一个 Microsoft SQL Server 数据服务器,映射到名为 ORDERS_DATA_MART 的数据库。使用 Sun JDBC-ODBC 桥接 JDBC 驱动程序建立该连接,或者使用 Microsoft JDBC 驱动程序(可以从 Microsoft Web 站点下载)。

定义数据服务器之后,您可以退出 Topology Manager 并启动 Designer。使用 Designer,您可以创建代表 Oracle、文件以及 Microsoft SQL Server 表和文件的数据模型,这在 Oracle Data Integrator 中称为数据存储。首先创建 Oracle 和 Microsoft SQL Server 模型,然后使用反向功能将表的元数据导入 Oracle Data Integrator 的信息库中,如下图所示。

java实时数据集成简介 - 编程入门网

如果已经定义了所有数据模型,并且已经手动输入源以及目标表和文件的详细信息或对其进行反向工程,Designer 将显示您目前在项目中使用的所有数据存储的列表,如下图所示。

java实时数据集成简介 - 编程入门网

确定基础源表是否未定义主键,您可以使用 Designer 应用程序定义它们,然后让 Oracle Data Integrator 以“虚拟方式”强制执行,因为 Oracle Data Integrator 的很多映射功能都依赖于所定义的约束。

既然已经定义了数据存储,您可以开始设置获取源数据的更改数据捕获过程了。

但是,在此之前,您需要将提供更改数据捕获功能的知识模块导入项目。为此,单击 Designer 应用程序的 Projects 选项卡,右键单击项目,然后选择 Import->Import Knowledge Modules。从列表中选择以下知识模块,它们可提供更改数据捕获功能并将在项目的其他部分中使用。

CKM SQL

IKM SQL 增量更新

JKM Oracle 10g Consistent (LOGMINER)

LKM File to SQL

LKM SQL to SQL

现在,所需的知识模块已经可用,您可以编辑以前创建的 Oracle 模块并选择 Journalizing 选项卡。由于您希望以一致的方式捕获对 ORDERS 和 CUSTOMER 表的更改,因此选择了 Consistent 选项和 JKM Oracle 10g Consistent (LOGMINER) 知识模块。该知识模块(如下图所示)将使用 Oracle 数据库 10g 的 LogMiner 功能捕获新的和经过更改的数据,并使用 Oracle 流以异步方式在队列中传播更改

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务,公司网站:http://www.lingzhong.cn 为了给广大客户了解更多的技术信息,本技术文章收集来源于网络,凌众科技尊重文章作者的版权,如果有涉及你的版权有必要删除你的文章,请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息,谢谢!

分享到: 更多

Copyright ©1999-2011 厦门凌众科技有限公司 厦门优通互联科技开发有限公司 All rights reserved

地址(ADD):厦门软件园二期望海路63号701E(东南融通旁) 邮编(ZIP):361008

电话:0592-5908028 传真:0592-5908039 咨询信箱:web@lingzhong.cn 咨询OICQ:173723134

《中华人民共和国增值电信业务经营许可证》闽B2-20100024  ICP备案:闽ICP备05037997号