Informatica PowerCenter 缓慢变化维 参考方案 V2.0

INFORMATICA POWERCENTER 缓慢变化维 参考方案

版本：V2.0

12/1/2014

修订历史表 版本 1.0 2.0 主要作者 周浩 周浩 版本描述 完成日期 初稿，记录用PowerCenter向导方12/1/2014 式实现的缓慢变化维方案。 记录用Informatica PowerCenter实12/1/2014 现缓慢变化维的方案，适用于有PowerCenter基础的人员参考。 目录

INFORMATICA POWERCENTER ...........................................................................................1 缓慢变化维 参考方案 ........................................................................................................1 版本：V2.0 ..........................................................................................................................1 修订历史表 .........................................................................................................................2 目录 .....................................................................................................................................3 缓慢变化维实现方法 .........................................................................................................4 1. 查找增量数据 ..............................................................................................................5

1.1 1.2

源数据过滤 ............................................................................................................ 5 源数据减目标数据 ................................................................................................ 5

2. 判断数据的操作符 ......................................................................................................6

Wizard使用注意 .............................................................................................................. 6 测试SQL脚本 ................................................................................................................. 6 2.1

保存所有最新记录 ................................................................................................ 8 2.1.1 2.1.2 2.2

实现原理..................................................................................................... 9 详细步骤..................................................................................................... 9

保留所有历史记录 .............................................................................................. 12 2.2.1 2.2.2

实现原理................................................................................................... 12 详细步骤................................................................................................... 12

2.3 保留最新记录和最后一次的历史记录 .............................................................. 21 2.3.1 2.3.2

实现原理................................................................................................... 22 详细步骤................................................................................................... 22

3. 监听数据库日志变化 ................................................................................................27

3.1

PowerExchange开发步骤简介 ........................................................................... 27

缓慢变化维实现方法

1． 查找增量数据

此方法只适用于一般的增量抽取，不能对目标表数据进行原有数据更新。 <1> 有时间戳的数据，直接根据时间戳抽取增量数据插入目标表。

<2> 没有时间戳的数据，需要将源表数据减去目标表数据，得到增量数据，插入目标表。

2． 判断数据的操作符

此方法可以适用于各种增量抽取。

<1> 此方法采用的是数据加载规则中的全表比对方式。在ETL 过程中，抽取所有源数据，并进行相应规则转换，完成后先不插入目标，而对每条数据进行目标表比对。通过全表比对，感知数据的变化，并进行相应的处理。

3． 监听数据库日志变化

此方法需要借助于PowerExchange，适用于各种增量抽取，并且效率比前一种更优。 <1> 通过监听数据库日志，获取数据库中数据的变化以及变化的DML类型，直接通过判断DML类型对目标数据库进行相应的处理。

1.

查找增量数据

1.1 源数据过滤

实现逻辑：

直接在Source Qualifier中写过滤条件，得到增量数据。

1.2 源数据减目标数据

实现逻辑：

将源表与目标表做左连接，之后过滤出右表字段为空的数据，即是增量数据。

本文来源：https://www.bwwdw.com/article/jiyd.html