talend etl

Talend开发技巧说明手册

应用产品数据部

ETL说明手册

目 录

一、Talend技术背景................................................................................................................................ 3 二、ETL包设计 .......................................................................................................................................... 3

2.1 子包设计 ..................................................................................................................................... 3 2.2 总包设计 ..............................................

Informatica PowerCenter平台 ETL开发规范 January 12, 2010

广州安正软件科技有限公司

BusinessMatrix Information System Corporation.

Informatica PowerCenter平台 ETL开发规范 文档历史记录

变更历史

最后更新时间: 2014-03-31 版本 V1.0 更新日期 2010-09-19 作者 孙承佼 变更描述 创建全文 审 阅

姓名 角色 审阅章节 意见与签名 分 发

Name Role

BusinessMatrix Information System Corporation 2006 March 31, 2014

Page: 2 of 36

Informatica PowerCenter平台 ETL开发规范 文 档 目 录

1. 文档介绍 .........................................................................

Informatica PowerCenter平台

ETL开发规范

Informatica PowerCenter平台 ETL开发规范 文档历史记录

变更历史

最后更新时间: 2015-07-21 版本 V1.0 更新日期 2015-07-20 作者 叶兆明 变更描述 创建全文 审 阅

姓名 角色 审阅章节 意见与签名 分 发

Name Role

Page: 2 of 39

Informatica PowerCenter平台 ETL开发规范 文 档 目 录

1. 文档介绍 ................................................................................................................................................... 5 1.1 1.2 1.3 1.4 1.5

文档目的 ......................................

Informatica PowerCenter平台

ETL开发规范

Informatica PowerCenter平台 ETL开发规范 文档历史记录

变更历史

最后更新时间: 2015-07-21 版本 V1.0 更新日期 2015-07-20 作者 叶兆明 变更描述 创建全文 审 阅

姓名 角色 审阅章节 意见与签名 分 发

Name Role

Page: 2 of 39

Informatica PowerCenter平台 ETL开发规范 文 档 目 录

1. 文档介绍 ................................................................................................................................................... 5 1.1 1.2 1.3 1.4 1.5

文档目的 ......................................

参考1：

IBM information ETL厂商 Reiking server（datastage) 支持运行平台 windows/unix/Linux windows/unix/linux windows/unix/linux windowwindows/lins ux informatic OnceDI beeload ODI(oracle data integrate windows/linux 绝大部分支持 有局限性，与oracle数据库耦合太深。 数据访问模式支持 绝大部分支持 绝大部分支持 绝大部分支持 绝大部绝大部分支分支持 持 直接导入;数据导直接导入；导入方入目的库有两种式,数据导入支持批量加载(SQL loader方式)、除模式 其中insert模式基本架构 数据抽取方式 支持生成文件（落地)再导入;直接导入;消息协议 然后更新,需要手配置比较复杂, 行删除模式这种肯定会非常差。 对方工程师推荐能应该是最快的.以下测试是基于批量加载模式 加载方式 normal和bulk，即普通插入和批批量加载需要先将索引drop掉，新创建，但是这种大数据量时很慢，例如下文测试的数据抽取,28647秒，比普通插入 测试结果由infor

Informatica PowerCenter平台

ETL开发规范

Informatica PowerCenter平台 ETL开发规范 文档历史记录

变更历史

最后更新时间: 2015-07-21 版本 V1.0 更新日期 2015-07-20 作者 叶兆明 变更描述 创建全文 审 阅

姓名 角色 审阅章节 意见与签名 分 发

Name Role

Page: 2 of 39

Informatica PowerCenter平台 ETL开发规范 文 档 目 录

1. 文档介绍 ................................................................................................................................................... 5 1.1 1.2 1.3 1.4 1.5

文档目的 ......................................

Informatica PowerCenter平台

ETL开发规范

Informatica PowerCenter平台 ETL开发规范 文档历史记录

变更历史

最后更新时间: 2015-07-21 版本 V1.0 更新日期 2015-07-20 作者 叶兆明 变更描述 创建全文 审 阅

姓名 角色 审阅章节 意见与签名 分 发

Name Role

Page: 2 of 39

Informatica PowerCenter平台 ETL开发规范 文 档 目 录

1. 文档介绍 ................................................................................................................................................... 5 1.1 1.2 1.3 1.4 1.5

文档目的 ......................................

Informatica PowerCenter平台

ETL开发规范

Informatica PowerCenter平台 ETL开发规范 文档历史记录

变更历史

最后更新时间: 2015-07-21 版本 V1.0 更新日期 2015-07-20 作者 叶兆明 变更描述 创建全文 审 阅

姓名 角色 审阅章节 意见与签名 分 发

Name Role

Page: 2 of 39

Informatica PowerCenter平台 ETL开发规范 文 档 目 录

1. 文档介绍 ................................................................................................................................................... 5 1.1 1.2 1.3 1.4 1.5

文档目的 ......................................

文档编号：ODS-11-T-2001

中信银行ODS系统

DB2 SQL及存储过程编写规范

当前版本：V1.0

版本日期：2008年6月20日

文件信息

此文件需如下审核

此文档将分发至如下个人或机构

1. 前言

本标准是针对IBM DB2数据库SQL编写设计而起草的开发规范；同时，也作为中信银行ODS项目ETL组评审ETL任务开发质量的标准之一。

本标准将作为中信银行ODS项目规范开发系列之一，并且需要在项目实施工作中不断改进和完善，保障规范能够真正的提高质量和效率。

2. 引言

2.1. 总则

1．整个ODS系统中ETL开发的编码，包括基于封装的程序包中的代码，在对象的命名和使用、程序的注释和排版，都应当注重规范

2．在编码的过程中，应时刻牢记优化的重要性，对重要程序块或程序包需要注明其逻辑结构。在必要的时候，还应进行代码评审

2.2. 应用

1．本规范适用各IBM DB2数据库和中信银行ODS项目ETL开发的程序包 2．应用于ODS系统基于数据库的ETL模块开发并对应用集市相关开发提供参考与指导

2.3. 参考文档

《T-SQL Coding Standards》——Brian Walker

3. 术语和定义

3.1. 描述术语

本文档采用以下的术语描述：

规范：编程时强制必

详细介绍了数据抽取的几种主要办法

面向数据集成的ETL技术研究

时间:2009-12-18 13:52来源: 作者: 点击:

34次

数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。 随着单位information化建设的扩展，巨大的投入资金为单位建立了众多的informationwindows，以帮助单位进行内外部业务的处理和管理工作。但是随着informationwindows的增加，各自孤立工作的informationwindows将会造成大量的冗余数据和业务人员的重复劳动。单位应用集成(EAI Picture EXP操作系统lorer，Enterprise Application Integration)应运而生。EAI Picture EXP操作系统lorer通过建立底层数据交换平台来联系横贯整个单位的异构

windows、应用、数据源等，完成在单位内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部windows之间无缝地共享和交换数据的需要。数据集成是单位应用集成的重要环节，单位实现数据集成，可以使更多的人更充分地试用已有数据资源，