Datastage7.5.2.1问题汇总

Datastage7.5.2.1问题汇总 2010-08-14 16:59

环境：Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1 + Oracle 10g x86_64 + MS SQL Server 2005

如果你使用Datastage7.5.x来做ETL，那么建议你先看下一IBM官方公布的已修正的BUG，

http://www-01.ibm.com/support/docview.wss?uid=swg21438499 个人看法：DS的BUG真是多啊！

遇到问题了，先去修正的BUG列表看看的，说不定又是什么BUG！

工作中用到了DS，也遇到了很多的问题，在此记录一下！不对的地方请高手斧正！

1.DS所在的操作系统

这次项目（银河ACRM）中DS采用的环境是借鉴了中投数据中心的经验，所以就选择了Red Hat Linux As 4 Update 8 x86_64 + Datastage 7.5.2.1。 后来，在解决问题的过程中从发行注记中发现这么一句话“Windows/Linux platforms are only supported on Intel x86 32-bit Processor”， 经验证：此次选择了在Linux X86_64上安装DS造成后续的一些问题！

以后安装软件，一定要看软件的发行注记哦！如果适用于32bit的系统，那就别选择64bit的操作系统了！

建议：Red Hat Linux As 4 Update 8 x86 + Datastage 7.5.2.1

2.complier的选择

在32位系统中你不会遇到这个问题！ 因为选择了64位的系统，但是Datastage 7.5.2.1只支持32位的系统，所以在环境变量中的编译器部分做如下调整： IBM官方给出的配置：

APT_COMPILEOPT：-O -fPIC -Wno-deprecated -c -m32 APT_COMPILER：g++32 -m32 APT_LINKER：g++32 -m32

APT_LINKOPT：-shared -32 -Wl,-Bsymbolic,--allow-shlib-undefined 我自己的配置：

APT_COMPILEOPT：-O -fPIC -Wno-deprecated -c APT_COMPILER：g++32 -m32 APT_LINKER：g++32 -m32

APT_LINKOPT：-shared -Wl,-Bsymbolic,--allow-shlib-undefined 3.Oracle lib的选择

因为是64位的操作系统，所以也就安装了Oracle 10g的64位客户端，在$ORACLE_HOME的目录下就有了lib,lib32两个目录，

DS是使用lib32的,所以在$DSHOME/dsenv的LD_LIBRARY_PATH中添加

$ORACLE_HOME/lib32.

4.Oracle字符集转换的问题

在操作系统环境变量，DS环境变量中设定NLS_LANG，而且还要做字符集映射， 在/home/dsadm/Ascential/DataStage/PXEngine.752.1/etc/oracle_cs.txt 中增加：

GBK ZHS16GBK ZHS16GBK GBK

第一列是DS内置的字符集，第二列是Oracle的字符集，依照这个说法那就不需要第二行了，这里我还是加上了！

5.DS共享内存调优 在DS8.1之前的版本，命令SHMTEST只在Linux 32-bit上才有效，在Linux 64-bit上选入无限循环，IBM已在8.1中进行了修复！ BUG修复地址：

http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR32113，此处不再摘录！

6.DS连接到Oracle RAC

如果Oracle数据库使用了RAC，曾经叫做（Oracle Parallel Server，OPS），用于数据抽取的数据库用户在拥有其他权限的同时，必须拥有访问SYS.GV_$INSTANCE的权限。

另外，还必须在Datastage Administrator中，添加Project的环境变量，APT_ORACLE_NO_OPS = 1。

7.DS中Oracle用户的权限问题

DS使用oracle时候要对以下视图赋权限 DBA_EXTENTS DBA_DATA_FILES DBA_TAB_PARTITONS DBA_OBJECTS

ALL_PART_INDEXES ALL_PART_TABLES ALL_INDEXES

SYS.GV_$INSTANCE (Only if Oracle Parallel Server is used or RAC) datastage自带的联机帮助文档上说明这一点,

We suggest that you create a role that has the appropriate SELECT privileges, as follows: CREATE ROLE DSXE;

GRANT SELECT on sys.dba_extents to DSXE; GRANT SELECT on sys.gv_$instance to DSXE; GRANT SELECT on sys.dba_data_files to DSXE; GRANT SELECT on sys.dba_tab_partitions to DSXE; GRANT SELECT on sys.dba_objects to DSXE;

GRANT SELECT on sys.all_part_indexes to DSXE; GRANT SELECT on sys.all_part_tables to DSXE; GRANT SELECT on sys.all_indexes to DSXE;

Once the role is created, grant it to users who will run DataStage jobs, as follows:

GRANT DSXE to ;

8.DS启动关闭

在datastage中使用uv -admin -stop关闭DS之前，要退出所有的客户端连接，必须使用ps -ef| grep ds来查看连接到DS的进程，找到PID用kill命令杀掉， 或者在director中清除掉所有的连接，之后再使用uv -admin -stop来关闭DS，否则存在DS连接的情况下关闭DS，使用uv -admin -start启动DS时，

可能无法启动dsrpcd如果尝试多次无法启动dsrpcd，请参考文章“Linux环境下Datastage的dsrpc追踪方法”；最后的办法就是重启机器！

9.抽取速度慢的问题

Datastage 7.5.2 抽取Oracle数据太慢，检查JOB日志发现，JOB运行时检查/home/dsadm/Ascential/DataStage/Configurations目录下的default.apt文件，

此文件用于用于指定DS的节点，一般是每个CPU对应一个节点，而我的文件中只有一个节点，依据CPU个数增加节点数，重启DS。

在此抽取时，监控JOB发现多个节点同时使用，抽取速度剧增！

10.MS SQL SERVER中TEXT类型转换

Datstage通过ODBC获取MS SQL Server的数据时，将text类型字段默认为Longvarchar，view data时出错，将以在自定义SQL语句中使用convert将text转化为varchar(4000),

并将字段类型改为varchar，否则会出现错误：DSP.Open GCI $DSP.Open error -100.

11.DS抽取抽取Oracle数据时默认将空格转换为NULL

Datastage 7.5.2.1中，DS中的Oracle Stage从Oracl抽取数据时，默认把空格转换为NULL，即使将DS环境变量中的APT_ORACLE_PRESERVE_BLANKS设置为True也无济于事。

经查找，IBM官方认为这是个bug，建议升级打补丁. 补丁地址：

http://www-01.ibm.com/support/docview.wss?rs=14&uid=swg1JR33670 打补丁之前，请备份DS的整个目录，然后再打补丁！

我自己打补丁时，关闭了DS相关的所有进程，但是安装提示有错误，让去找系统管理员，但是查看/home/dsadm/Ascential/patches/patch_JR35216/log没有发现错误。

安装时的错误提示：

Upgrading the Stage ...

An error has occurred during DataStage initialization

Please contact the system administrator Error code: 2 2 Done!

幸运的是重新启动DS，一切正常，而且通过设定DS环境变量中的APT_ORACLE_PRESERVE_BLANKS，就可以控制空格向NULL的转换了！ 幸运是短暂的，打补丁之后，从ODBC抽取SQL Server数据的JOB报错了，看样子是因为补丁的问题！ 错误信息：

main_program: Fatal Error: Fatal: Shared library (drsenu.so) failed to load: errno = (2), system message =

(/home/dsadm/Ascential/DataStage/DSEngine/lib/drsenu.so: undefined symbol: DSCUVTextMark)

虽然打补丁之前有备份，恢复回去是没有问题的，所以先想想办法去解决的！ 在网上找到了一个解决办法，相同的错误，只是别人遇到的是

$DSHOME/lib/dsdb2enu.so: undefined symbol: DSCUVTextMark,那就试一下的！ 地址：http://www.docin.com/p-42820466.html

先备份$DSHOME/etc/operator.apt文件，使用VI编辑该文件，将dscapiop dscapiop 1修改为dscapiop @dscapiop 1,保存退出！

关闭DS，重新启动！不知道为什么这么干！寻遍官方文档都没找到一点相关内容，网上给出的解决办法，当前问题是解决了，但是依据是什么呢？ 会不会因此而产生其他的潜在问题？！ 在这里鄙视一下DS！

12.JOB排错，开启详细日志输出 日志提示有警告，可是不知道是哪个stage提示警告，那么设置APT_DUMP_SCORE = TRUE，可以在log的警告信息中看到stage名称。 另外，还有一些选项用于log日志输出。

内存使用情况，APT_PM_PLAYER_MEMORY = TRUE CPU使用时间，APT_PM_PLAYER_TIMING = TRUE 数据抽取条数，APT_RECORD_COUNTS = TRUE

13.DS性能调优 详见官方文档。

APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 131072 改为 APT_DEFAULT_TRANSPORT_BLOCK_SIZE = 1048576

APT_BUFFER_MAXIMUM_MEMORY = 3145728 (3 MB) 改为 APT_BUFFER_MAXIMUM_MEMORY = 6291456 (6 MB)

APT_BUFFER_FREE_RUN = 0.5 改为 APT_BUFFER_FREE_RUN = 0.6

14.DS运行中发现的Oracle DB的问题

DS运行时，LOG日志报错，竟然都是TNS和ORA的错误，尤其是并行多个JOB时，有JOB失败。

请寻求DBA协助，做数据库的优化！

15.DS中对Oracle中特殊字符的处理（例如：# $）

DS_ENABLE_RESERVED_CHAR_CONVERT = TRUE 处理特殊字符#，$

16.Transformer stage中的substr功能

Transformer stage中的substr功能在抽取数据时，按字符对象截取字符，可是加载至目标库时，是按字节计算长度。

尤其是对含有中文的字段截取时，有些中文字符的最后一个字符被截成了乱码，在加载至目标表时报错，

可以在/home/dsadm/Ascential/DataStage/Scratch文件夹下bad文件中找到出错的数据条目。、 建议：

对于含有中文的字段，目标表的字段长度尽可能的与源表字段长度一致。 17.从MS SQL Server 2005抽取数据至Oracle时，中文乱码解决 NLS为GBK，view数据时正常，但是抽取至Oracle时，中文乱码。 在Transformer中把中文字段的extend都设置为unicode。

本文来源：https://www.bwwdw.com/article/psrp.html