Oracle Data Integrator用户手册

ORACLE DATA INTEGRATOR 用户手册

V 10.1.3

沈阳东软软件股份有限公司

目录

目录

第1章 安装 ................................................................................................................................................................. 1

1.1 安装前提条件 ................................................................................................................................................ 1 1.2 安装 ................................................................................................................................................................ 1

1.2.1 安装JDK1.5 ........................................................................................................................................ 1 1.2.2 安装Web Server ................................................................................................................................. 1 1.2.3 安装图形化客户端 ............................................................................................................................. 1 1.2.4 JDBC/JMS驱动安装 ........................................................................................................................... 5 1.3 配置 ................................................................................................................................................................ 5

1.3.1 数据库配置 ......................................................................................................................................... 5 1.3.2 创建主资料库 ..................................................................................................................................... 6 1.3.3 连接主资料库 ..................................................................................................................................... 7 1.3.4 创建工作资料库 ................................................................................................................................. 9 1.3.5 连接工作资料库 ............................................................................................................................... 11 1.4 Scheduler Agent配置 .................................................................................................................................... 13

1.4.1 改变odiparams.bat文件 ................................................................................................................... 13 1.5 Metadata Navigator安装 .............................................................................................................................. 14

1.5.1 安装 ................................................................................................................................................... 14 1.5.2 配置 ................................................................................................................................................... 14

第2章 在TOPOLOGY中建立数据源 .................................................................................................................... 15

2.1 登录TOPOLOGY ........................................................................................................................................ 15 2.2 物理体系结构（Physical Architecture） .................................................................................................... 15

2.2.1 创建数据服务器和物理架构 ........................................................................................................... 15 2.3 上下文 .......................................................................................................................................................... 22 2.4 逻辑体系结构 .............................................................................................................................................. 22

2.4.1 创建不同技术下的逻辑结构 ........................................................................................................... 22 2.5 代理 .............................................................................................................................................................. 23

2.5.1 物理体系结构中的代理 ................................................................................................................... 23 2.5.2 逻辑体系结构中的代理 ................................................................................................................... 24

第3章 数据抽取 ....................................................................................................................................................... 26

3.1 建立模型 ...................................................................................................................................................... 26

3.1.1 ORACLE模型 ................................................................................................................................... 26 3.1.2 文件型模型 ....................................................................................................................................... 29 3.1.3 其它类型模型 ................................................................................................................................... 33 3.2 新建项目 ...................................................................................................................................................... 33

3.2.1 创建项目 ........................................................................................................................................... 33 3.2.2 导入知识模块（KM） ..................................................................................................................... 34 3.3 接口 .............................................................................................................................................................. 37

3.3.1 新建接口 ........................................................................................................................................... 37 3.3.2 设计映射 ........................................................................................................................................... 39 3.3.3 选择知识模块 ................................................................................................................................... 42 3.3.4 执行与修正接口 ............................................................................................................................... 43 3.3.5 查看执行情况 ................................................................................................................................... 45

目录

3.3.6 接口特殊说明 ................................................................................................................................... 46 3.4 包 .................................................................................................................................................................. 47

3.4.1 创建包 ............................................................................................................................................... 47 3.4.2 设计包 ............................................................................................................................................... 48 3.4.3 执行包并通过Operator查看 ........................................................................................................... 48 3.5 方案与计划 .................................................................................................................................................. 49

3.5.1 生成方案 ........................................................................................................................................... 49 3.5.2 计划 ................................................................................................................................................... 49

第4章 数据变化捕获（CDC） ............................................................................................................................... 53

4.1 触发器方式 .................................................................................................................................................. 53

4.1.1 非实时单向复制 ............................................................................................................................... 53 4.1.2 实时单向复制 ................................................................................................................................... 59 4.2 LogMiner（日志）方式 ............................................................................................................................... 61

4.2.1 非实时单向复制 ............................................................................................................................... 61 4.2.2 实时单向复制 ................................................................................................................................... 67

第二章 在TOPOLOGY中建立数据源

第1章 安装

1.1 安装前提条件

安装文件包括：

? ODI图形化软件以及ODI Agent的安装文件； ? ODI Metadata Navigator的安装文件；

? 安装ODI图形化软件需要JVM1.4.2或以上版本以及JDK1.4.2或以上版本支持 ? 安装ODI Agent需要JVM1.3.1或以上版本以及JDK1.4或以上版本支持。

? 安装ODI Metadata Navigator需要兼容JSP1.2和Servlet2.3的Web Server，例如

Tomcat；需要JDK1.4或以上版本

1.2 安装

1.2.1 安装JDK1.5 1.2.2 安装Web Server 1.2.3 安装图形化客户端

打开安装包，在D:\\software\\odi_all_platforms_10.1.3.2.0\\setup\\windows（根据操作系统不同路径也不同）下运行setup.exe或运行sh ./setup.bin

第二章 在TOPOLOGY中建立数据源

图1-1-1 安装介绍

图1-1-2 选择安装类型

第二章 在TOPOLOGY中建立数据源

图1-3-4 创建新主资料库

填入相应信息

Login Name：自定义的名称

User：SUPERVISOR（必须是此用户名） Password：SUNOPSIS（必须是此口令） 主资料库连接信息：

USER：上一步创建的主资料库用户 Password：上一步创建的主资料库用户口令 Driver：

URL：jdbc:oracle:thin:@DB Server Host Name or IP Address:Port of DB:Service Name of DB

图1-3-5 存储库连接向导

第二章 在TOPOLOGY中建立数据源

图1-3-6 主资料库登录

1.3.4 创建工作资料库

登录TOPOLOGY，打开存储库

图1-3-7 打开存储库

选择插入工作存储库

图1-3-8 新建工作存储库

第二章 在TOPOLOGY中建立数据源

填写下述工作资料库连接信息： Name：工作资料库连接名称 Technology：资料库所在数据库类型

Instance/dblink(Data Server)：Oracle DB Service Name User：4.2步骤中创建的工作资料库用户

Password：4.2步骤中创建的工作资料库用户口令

图1-3-9 填写工作存储库信息

进入JDBC页，填写JDBC Driver，以及URL JDBC：

图1-3-10 填写工作存储库JDBC信息

第二章 在TOPOLOGY中建立数据源

点击“OK”以后，出现工作资料库定义框： ID：注意不同的工作资料库的ID不能重复 Type：选择下拉菜单中的一项 Name：工作资料库名称

Password：进入此工作资料库的口令，可以不设置

图1-3-11 填写工作资料库信息

“OK”以后等待工作资料库的创建

1.3.5 连接工作资料库

打开程序->Oracle->Oracle Data Integrator ->Designer，新建工作资料库连接。

图1-3-12 新建工作资料库连接

第二章 在TOPOLOGY中建立数据源

填入连接信息

Login Name：自定义的工作资料库连接名称 User：SUPERVISOR

Password：SUNOPSIS（如果在Topology中修改了口令，需要填入修改后的口令） 填入主资料库信息

User：4.2步骤中创建的主资料库用户 Password：4.2步骤中创建的主资料库用户 Driver： URL：

填入工作资料库信息

Work Repository Name：工作资料库名称

图1-3-13 填写工作资料库连接信息

点击OK，进去Designer设计器

第二章 在TOPOLOGY中建立数据源

图1-3-14工作资料库登录

1.4 Scheduler Agent配置 1.4.1 改变odiparams.bat文件

文件在ODI安装路径\\oracledi\\bin下。 将文件中的下属部分加上REM

rem set SNP_SECU_DRIVER=org.hsqldb.jdbcDriver rem set SNP_SECU_URL=jdbc:hsqldb:hsql://localhost rem set SNP_SECU_USER=sa rem set SNP_SECU_ENCODED_PASS= rem set SNP_SECU_WORK_REP=WORKREP rem set SNP_USER=SUPERVISOR

rem set SNP_ENCODED_PASS=LELKIELGLJMDLKMGHEHJDBGBGFDGGH 复制并改为如下：

set SNP_SECU_DRIVER=oracle.jdbc.driver.OracleDriver(资料库所使用数据库的JDBC Driver，Topology-->存储库-->Master Repository定义框-->连接对话框中JDBC Driver)

set SNP_SECU_URL=jdbc:oracle:thin:@localhost:1521:orcl (资料库所使用数据库的JDBC URL，Topology-->存储库-->Master Repository定义框-->连接对话框中JDBC URL)

set SNP_SECU_USER=snpm（Master Repository User） set SNP_SECU_ENCODED_PASS=

set SNP_SECU_WORK_REP=WORKREP1（工作资料库名称） set SNP_USER=SUPERVISOR（资料库管理员） set SNP_ENCODED_PASS=

其中两行PASS的值是通过“ODI安装路径\\oracledi\\bin\\agent encode PASSWORD”得到的值(PASSWORD分别为SNPM用户和SUPERVISOR的密码)

第二章 在TOPOLOGY中建立数据源

1.5 Metadata Navigator安装 1.5.1 安装

对于TOMCAT来说，只需将安装软件中的oracledimn文件夹及其所有内容拷贝到Tomcat安装路径\\webapps下即可。

对于如ORACLE APPLICATION SERVER的应用服务器，需要发布安装包内\\setup\\Manual路径下的oracledimn.war文件。

1.5.2 配置

1.5.2.1 拷贝数据库JAR文件

将数据库安装路径下\\jdbc\\lib下的JAR文件拷贝到应用服务器Metadata Navigator的lib

路

径

下

，

如

D:\\product\\10.1.3.1\\OracleAS_1\\j2ee\\home\\applications\\oracledimn\\oracledimn\\WEB-INF\\lib。对于ORACLE来说拷贝class12.jar nls_charset12.jar和ojdbc14.jar即可。

1.5.2.2 资料库连接

如果需要连接自定义的资料库，作以下操作

将ODI客户端或者Agent安装路径下\\bin\\snps_login_work.xml文件拷贝到ODI Metadata Navigator安装路径\\ WEB-INF下

登录Metadata Navigator 重启应用服务器，访问url如下：

http://:/oracledimn/

第三章 数据抽取

第2章 在TOPOLOGY中建立数据源

2.1 登录TOPOLOGY

图2-1-1工作资料库登录

2.2 物理体系结构（Physical Architecture） 2.2.1 创建数据服务器和物理架构 2.2.1.1 ORACLE数据源

点击Topology-->物理体系结构-->技术-->Oracle，右键Oracle，选择“插入数据服务器”

第三章 数据抽取

图2-2-1插入数据服务器

在“数据服务器”的编辑框中，“定义”标签下，输入数据服务器名称，实例/DBLink（注意需要输入TNS Name），用户和口令：

第三章 数据抽取

图2-2-2数据服务器定义

以及“JDBC”标签下的内容如下：

图2-2-3数据服务器JDBC定义

点击“确定”后，会弹出“物理架构”定义框，首先定义Oracle数据源物理架构也就是DCP Schema如下，

第三章 数据抽取

图2-2-3物理架构

注意：架构是存储真正数据表的SCHEMA，工作架构是数据抽取过程中存储临时表的SCHEMA。一般来说可以为临时表存储单独建立一个SCHEMA。工作表前缀指的是数据抽取过程中建立的临时数据库对象的前缀，可以跟随需要修改，此处使用默认值。

点击“确定”，会弹出如下内容：

图2-2-4上下文

“确定”，忽略此信息，以后创建上下文，再为此物理架构定义上下文。

如果存在多个ORACLE的数据源或目标，请为每个数据源或目标建立一个数据服务器以及物理架构。如下图所示：

第三章 数据抽取

图2-2-5多个数据服务器

2.2.1.2 文件型数据源

接下来我们创建File下的数据服务器和物理架构。

在File下已经创建了一个数据服务器FILE_GENERIC指向本机和物理架构FILE_GENERIC?./demo/file。

下面添加一个物理架构指向数据文件（如CUST_JOB.TXT）所在的文件夹如d:\\sunopsis\\training\\20070327，右键

Topology-->物理体系结构-->技术

-->File-->FILE_GENERIC，选择“插入物理架构”，在“定义”标签下输入“目录”：

图2-2-5文件数据服务器

第三章 数据抽取

2.2.1.3 其它数据源

2.2.1.3.1 MICROSOFT SQL SERVER

1. 拷贝JDBC驱动：需要在ODI所在平台安装Microsoft SQL Server 2000 Driver for

JDBC，然后将安装路径lib目录下所有jar文件拷贝到ODI安装路径drivers目录下 2. 使用topology管理器，在物理体系结构找到Microsoft SQL Server一项，右键选择插

入数据服务器，注意服务器一项要填写SQLSERVER的服务名，JDBC一项选择Microsoft SQL Server 2000 Driver for JDBC即可。

2.2.1.3.2 DB2 9.X

1. 将DB2安装路径下I:\\Program Files\\IBM\\SQLLIB\\java目录中的两个文件：db2jcc.jar

和db2jcc_license_cu.jar拷贝到ODI的drivers目录中。

2. 使用topology管理器，新建IBM DB2 UDB下的物理数据服务器，其中JDBC driver

选择DB2 Universal JDBC Driver。注意一定要填写架构和工作架构的用户名，否则在其后的ETL过程中会有SQL语法错误。

2.2.1.3.3 SYBASE ASE 12.X

1. 安装版本为ASE 12.5。安装完毕后，拷贝安装路径下目录jConnect-5_5\\classes中的

jconn2.jar到drivers目录中。

2. 使用topology管理器，新建Sybase AS Enterprise下的物理数据服务器，JDBC driver

选择Sybase jConnect for JDBC。注意在填写JDBC URL时，host项对应的内容要填写本机的IP地址，如果填写LOCALHOST的话连接会出错，原因是SYBASE是基于IP地址监听服务的。

2.2.1.3.4 EXCEL 2003

1. 在系统为excel文件建立ODBC数据源

2. 使用topology管理器，在物理体系结构找到EXCEL，JDBC driver选择Sun

第三章 数据抽取

JDBC-ODBC bridge。

3. 注意在使用excel作为数据服务器时，需要在excel文件中制定datastore，具体操作如

下：

Oracle Data Integrator通过EXCEL中datastore的名字来识别表，在EXCEL中命名datastore，请执行以下几个步骤：打开Excel 文档，选择需要的单元格，在菜单中选择“插入 -> 名称->定义，如下图所示

图2-2-6定义EXCEL datastore

输入名称，点击OK。

图2-2-6定义EXCEL datastore的名称

注意：Excel表格中第一行会被Oracle Data Integrator认作是字段名称。

2.2.1.3.5 ACCESS 2003

与excel的设置类似。

第三章 数据抽取

2.2.1.3.6 MYSQL

1. 拷贝MYSQL的JDBC驱动到ODI安装路径下的drivers目录下

2. 使用topology管理器，在物理体系结构找到MYSQL，JDBC driver选择MySQL

Connector/J即可。

2.2.1.3.7 FOXPRO

1. 下载FOXPRO JDBC DRIVER，将jar文件拷贝至ODI安装路径下的drivers目录。此

次测试使用的FOXPRO JDBC DRIVER为HXTT DBF 3.0.003。

2. 登陆TOPOLOGY，选择DBASE技术，新建物理架构，JDBC驱动程序填写

com.hxtt.sql.dbf.DBFDriver，URL填写jdbc:dbf:/dbf文件所在目录。在新建模型时注意，不要在模型里选择方向，需要手工插入数据存储，保证数据存储的结构与dbf文件的结构完全相同即可。此时就可以在ODI看到dbf文件中的数据了。 3. FOXPRO版本应为Visual Foxpro 6.0以上。

2.3 上下文

在系统中已经有了一个上下文Global，我们采用此上下文，不再新建。

2.4 逻辑体系结构

2.4.1 创建不同技术下的逻辑结构

右键Topology-->逻辑体系结构-->技术-->Oracle，选择“插入逻辑架构”，在逻辑架构对话框的“定义”标签中输入“名称”，“上下文”以及对应的“物理架构”：

第三章 数据抽取

图2-4-1插入逻辑架构

如果存在多个ORACLE数据服务器，请为每个数据服务器建立一个逻辑架构。 其它类型的数据服务器建立逻辑架构的过程与以上所述类似。

2.5 代理

ORACLE DATA INTEGRATOR连接数据库有两种方式，一种是直接连接，另一种通过代理来连接数据库（当数据库所在的服务器是物理隔绝时，可以在数据库服务器的前置机上安装代理，通过该代理连接数据库）。

2.5.1 物理体系结构中的代理

右键Topology-->物理体系结构-->代理，选择“插入代理”，在代理对话框的“定义”标签下，输入名称、主机，可以改变端口：

第三章 数据抽取

图2-5-1新建物理体系结构代理

2.5.2 逻辑体系结构中的代理

右键Topology-->逻辑体系结构-->代理，选择“插入逻辑代理”，在逻辑代理对话框的“定义”标签下，输入名称、上下文以及对应的物理代理：

第三章 数据抽取

图2-5-2新建逻辑体系结构代理

至此，Topology中的定义工作完成。

第三章 数据抽取

第3章 数据抽取

3.1 建立模型

登录Designer

图3-1-1 登录设计器

3.1.1 ORACLE模型

Designer-->模型，点击插入模型图标选择技术和逻辑架构。

，在模型对话框的“定义”标签下，输入名称，

图3-1-2 新建模型

在“反向”标签下，选择上下文如“Global”，选择“要进行反向工程的对象类型”如“表、

第三章 数据抽取

视图”等等，此处只选择了表：

图3-1-3 新建模型—反向

然后在“选择性反向”标签下，选中“选择性反向”和“要进行反向操作的对象”，在“表名称”中选择需要做数据抽取的表：

第三章 数据抽取

图3-1-4 反向选择表

点击“反向”，

图3-1-5 反向提示

点击“是”，开始将两张表结构导入到ODI中。

反向完成后，会在Designer的模型框中看到建立好的模型：

第三章 数据抽取

图3-1-5 模型中反向出来的表

3.1.2 文件型模型

Designer-->模型中，点击插入模型图标选择技术和逻辑架构：

，在模型对话框的“定义”标签下，输入名称，

第三章 数据抽取

图3-1-6 新建文件模型

在“反向”标签下，选择“标准”，“上下文”，“要进行反向工程的对象的类型”。

图3-1-7 文件模型反向

对于文件不能使用“选择性反向”来倒入文件的结构定义。现在点击文件模型对话框的“确定”来关闭并且保存定义了的文件模型。在Designer-->模型中右键刚才创建的文件模型“FILE_SRC”，选择“插入数据存储”（Data Store），在“定义”标签下，输入数据模型“名称”如CUST_JOB，可以修改“别名”或者采用缺省生成的别名，选择“资源名城”为要使用的文件名称如“CUST_JOB.txt”：

第三章 数据抽取

图3-1-8 文件模型数据存储

在“文件”标签下，定义文件的格式，

图3-1-9 定义文件模型数据存储格式

第三章 数据抽取

在“列”标签下，点击“反向”，

图3-1-10 文件模型数据存储反向

弹出如下对话框：

图3-1-11 文件模型数据存储反向提示

点击“是”，开始导入文件的列：

第三章 数据抽取

图3-1-12 文件模型数据存储反向结果

“确定”，完成文件的数据存储的导入。

3.1.3 其它类型模型

类似于EXCEL或者ACCESS中文件形式的数据源，其建立模型的过程与3.1.2所述类似。类似与MYSQL、SQLSERVER这种关系型数据源，其建立模型的过程与3.1.1所述类似。

3.2 新建项目 3.2.1 创建项目

Designer-->项目，点击插入项目图标如Training_Project：

，在项目对话框的“定义”标签下输入项目名称

第三章 数据抽取

图3-2-1新建项目

3.2.2 导入知识模块（KM）

3.2.2.1 知识模块含义

我们在项目里所能够遇到的一些场景（如把文件载到数据库，从Mysql数据库抓取数据放到Oracle数据库里，从DB2把数据抓取出来放在Oracle数据库里等）撇开这些数据抽取和转换工作的业务部分，其实总是可以总结为

file-->Oracle Mysql-->Oracle DB2-->Oracle Oracle-->DB2。。。

如果撇开具体的项目不谈，这些都是一些被反复使用的场景，ODI提出了知识模块的概念，把这些场景的详细的实现步骤作为一个一个的知识模块并使用Jython脚本语言结合数据库的SQL语句录制成一步一步的步骤忠实地记录下来，这样就形成了ODI里的100多个知识模块，基本上包含了所有普通应用所涉及到的所有场景。

第三章 数据抽取

更方便的是，用户既可以直接使用ODI的知识模块完成数据的获取工作，也可以直接在知识模块上面做各种定制，比如某一个业务场景可能并不需要知识模块里的某一个特定的步骤，那就可以直接把该步骤删除掉从而提供更好的性能。当然用户也可以完全自己来开发这些知识模块。

3.2.2.2 知识模块分类

ODI的知识模块主要分为几个大类（CKM,LKM,IKM,SKM），其中最重要的是LKM（load KM）和IKM(Integration KM)：

1. LKM：LKM完成从源数据库数据加载到临时表。 2. IKM：IKM完成从临时表的数据加载到目标表。

ODI认为一个数据的流动包含从源表到临时表，然后从临时表到目标表的过程，而临时表可以放在源上，或者放在目标数据库上，可以自己选择。（当然，通过自己来改动KM也完全可以对这个概念做改动，甚至可以使用一个KM完成所有的工作）。

如下图（临时表放在目标数据库上，然后数据的转换在目标数据库上完成）：

图3-2-2知识模块示例

3.2.2.3 导入

反向工程知识模块（RKM）

第三章 数据抽取

图3-2-3导入反向工程知识模块

选择KM导入文件夹：ODI安装路径\\oracledi\\impexp:

图3-2-4选择知识模块所在文件夹

选择所有的RKM：

图3-2-5选择所有的RKM

“确定”，导入RKM

同样方法，依次导入如下知识模块。 导入正在加载知识模块（LKM）； 导入检查知识模块（CKM）； 导入集成知识模块（IKM）； 导入日记知识模块（JKM）； 导入服务知识模块（SKM）；

3.3 接口 3.3.1 新建接口

右键Designer-->项目-->Training_Project-->第一个文件夹-->接口，“插入接口”：第三章 数据抽取

本文来源：https://www.bwwdw.com/article/zy0.html