etl工具datastage

参考1：

IBM information ETL厂商 Reiking server（datastage) 支持运行平台 windows/unix/Linux windows/unix/linux windows/unix/linux windowwindows/lins ux informatic OnceDI beeload ODI(oracle data integrate windows/linux 绝大部分支持 有局限性，与oracle数据库耦合太深。 数据访问模式支持 绝大部分支持 绝大部分支持 绝大部分支持 绝大部绝大部分支分支持 持 直接导入;数据导直接导入；导入方入目的库有两种式,数据导入支持批量加载(SQL loader方式)、除模式 其中insert模式基本架构 数据抽取方式 支持生成文件（落地)再导入;直接导入;消息协议 然后更新,需要手配置比较复杂, 行删除模式这种肯定会非常差。 对方工程师推荐能应该是最快的.以下测试是基于批量加载模式 加载方式 normal和bulk，即普通插入和批批量加载需要先将索引drop掉，新创建，但是这种大数据量时很慢，例如下文测试的数据抽取,28647秒，比普通插入 测试结果由infor

DataStage Enterprise

Edition

开发指南v2.0

DataStage EE开发指南

目 录

目 录 .................................................................................................................................................. I 1. 引言 ..................................................................................................................................................... 1 1.1 编写目的 ....................................................................................................................................... 1 1.2 帮

1 数据库无法连接

1.1 问题描述

安装完DataStage后,服务可以正常启动,但是无法在Plug_in里面通过CLIENT连接到数据库.

1.2 原因分析

经过检查,发现在/home/dsadm/Ascential/DataStage/DSEngine/下面的dsenv文件中,SHLIB_PATH和LIBPATH这两个变量没有设置好.

1.3 解决方案

重新设置SHLIB_PATH和LIBPATH这两个变量,详细的设置内容请参考相关文档.

2 数据库无法连接 22.1 问题描述

DataStage启动后，在MANAGE里面可以import表结构和数据，但是在designer里面却无法连接上数据库。

2.2 原因分析

出错时，DATASTAGE抛出“Error loading \”这个错误，经过分析，发现是由于某些动态连接库无法连接上。查询相关文档后，查明原来ORACLE_ENTERPRISE这个组件是个插件，需要运行一下install程序，把动态连接库连接上。

2.3 解决方案

运行一下：/home/dsadm/Ascential/DataStag

1. 安装与配置 参考文档：《Planning, Installation, and Configuration Guide.pdf》 1.1 服务端与客户端的安装 1.1.1 安装拓扑

采用简单的两层部署进行安装，安装拓扑如下图所示：

Host1环境如下： (1)硬件环境

CPU：Inetel Core Duo P8600 内存：4GB (2)软件环境

操作系统：Windows Server 2003 EE SP2

C++编译器：Microsoft Visual Studio .NET 2008 Express Edition C++

1.1.2 安装 参考文档：《Planning, Installation, and Configuration Guide.pdf》[pages 198-200]

1.1.3 C++编译器配置 参考链接：

http://publib.boulder.ibm.com/infocenter/iisinfsv/v8r5/index.jsp?topic=/com.ibm.swg.im.iis.productization.iisinfsv.install.doc/topics/wsisinst_set_envar

DataStage安装手册

目 录

1 安装及配置 2

1.1 ETL工具DATASTAGE的安装配置过程 2

1.1.1 系统环境 2 1.1.2 用户与组 2 1.1.3 修改系统参数 2 1.1.4 编译器的安装 3 1.1.5 DS软件安装步骤 3 1.1.6 停止与启动服务 1.1.7 DataStage配置 20 18

DataStage安装手册

1 安装及配置

1.1 ETL工具DataStage的安装配置过程

1.1.1 系统环境

OS C编译器 DataStage 1.1.2 用户与组

创建组 dstage 和用户 dsadm，并且将dstage作为dsadm的默认组，同时将dsadm添加进dba组。

注意:需要给数据库用户对oracle sys.dba_extents表的select权限。 1.1.3 修改系统参数

将dsadm的参数修改成下列值： fsize -1 (无限制)

data 至少128 MB (262144 512-byte blocks) stack 至少32 MB (65536 512-byte blocks) 查看当前设置：

DataStage安装手册

目 录

1 安装及配置 2

1.1 ETL工具DATASTAGE的安装配置过程 2

1.1.1 系统环境 2 1.1.2 用户与组 2 1.1.3 修改系统参数 2 1.1.4 编译器的安装 3 1.1.5 DS软件安装步骤 3 1.1.6 停止与启动服务 1.1.7 DataStage配置 20 18

DataStage安装手册

1 安装及配置

1.1 ETL工具DataStage的安装配置过程

1.1.1 系统环境

OS C编译器 DataStage 1.1.2 用户与组

创建组 dstage 和用户 dsadm，并且将dstage作为dsadm的默认组，同时将dsadm添加进dba组。

注意:需要给数据库用户对oracle sys.dba_extents表的select权限。 1.1.3 修改系统参数

将dsadm的参数修改成下列值： fsize -1 (无限制)

data 至少128 MB (262144 512-byte blocks) stack 至少32 MB (65536 512-byte blocks) 查看当前设置：

TI-ETL v2 产品白皮书

TongTech ?

TI-ETL v2 产品白皮书

北京东方通科技公司

2015年

TI-ETL v2 产品白皮书

目 录

1 前言 ......................................................................... 1 2 为什么要用ETL ................................................................ 1 2.1 业务需求 ................................................................. 1 2.2 IT需求 ................................................................... 2 2.3 IT与业务一致性要求 .................

DataStage 8.5 安装文档 1. 服务器安装前提要求，DataStage 的服务器推荐使用一台全新的干净服务器，全新安装的 SUSE Linux Enterprise Server 11，或者 Redhat AS 5.4，没有预装任何 DB2 和 WAS 软件。 rpm -Uvh compat-libstdc++-33-*.rpm rpm -Uvh libXp-1*.rpm rpm -Uvh libXmu-1.0.2-5.x86_64.rpm rpm -Uvh libXmu-1.0.2-5.i386.rpm cat "Add for DataStage" cat "kernel.sem = 250 256000 32 1024" >> /etc/sysctl.conf cat "kernel.msgmni = 1024" >> /etc/sysctl.conf sysctl -p安装步骤如下： DataStage 8.5 的安装介质为 InfoSvr_v8.5_Linux64.tar.gz，解压后得到目录 is-suite。在 is-suite 下执行./setup， 安装程序将启动一个 Web 服务， URL 为 http://机

东方通ETL工具软件TI-ETLv2产品白皮书全解

TI-ETL v2 产品白皮书T ongT ech®

TI-ETL v2

产品白皮书

北京东方通科技公司

2015年

东方通ETL工具软件TI-ETLv2产品白皮书全解

TI-ETL v2 产品白皮书

目录

1 前言 (1)

2 为什么要用ETL (1)

2.1 业务需求 (1)

2.2 IT需求 (2)

2.3 IT与业务一致性要求 (2)

3 TI-ETL v2简介 (3)

3.1 产品组成结构 (3)

3.1.1 集成开发工具 (4)

3.1.2 服务器 (5)

3.1.3 资源库 (5)

3.1.4 统一管理平台 (6)

3.2 产品结构关系 (7)

3.3 转换流程和任务流程 (8)

3.3.1 转换流程 (8)

3.3.2 任务流程 (9)

4 主要功能和特点 (10)

4.1 大数据适配 (10)

4.2 强健的ETL引擎 (10)

4.3 丰富的系统适配 (11)

4.4 资源统一存储 (11)

4.5 丰富的处理组件 (11)

4.6 多种数据抽取模式 (11)

4.7 图形化操作/调试/预览能力 (11)

4.8 高效数据处理 (12)

4.9 异常恢复和数据一致性 (12)

4.10 强大的监控管理功能 (12)

4.11 插件

Datastage7.5.2.1问题汇总 2010-08-14 16:59

环境：Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1 + Oracle 10g x86_64 + MS SQL Server 2005

如果你使用Datastage7.5.x来做ETL，那么建议你先看下一IBM官方公布的已修正的BUG，

http://www-01.ibm.com/support/docview.wss?uid=swg21438499 个人看法：DS的BUG真是多啊！

遇到问题了，先去修正的BUG列表看看的，说不定又是什么BUG！

工作中用到了DS，也遇到了很多的问题，在此记录一下！不对的地方请高手斧正！

1.DS所在的操作系统

这次项目（银河ACRM）中DS采用的环境是借鉴了中投数据中心的经验，所以就选择了Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1。 后来，在解决问题的过程中从发行注记中发现这么一句话“Windows/Linux platforms are only supported on Intel x86 32-bit