kettle6.0

kettle/kettle

建立数据交换数据库连接

wrx_dc/wrx_dc

wrx_jw/wrx_jw

wrx_xg/wrx_xg

-- Repository creation/upgrade DDL: --

-- Nothing was created nor modified in the target repository database.

-- Hit the OK button to execute the generated SQL or Close to reject the changes. -- Please note that it is possible to change/edit the generated SQL before execution. --

CREATE TABLE R_REPOSITORY_LOG (

ID_REPOSITORY_LOG INTEGER , REP_VERSION VARCHAR2(255) , LOG_DATE DATE

, LOG_USER VARCHAR2(255) , OPERATION_DESC CLOB

, PRI

kettle/kettle

建立数据交换数据库连接

wrx_dc/wrx_dc

wrx_jw/wrx_jw

wrx_xg/wrx_xg

-- Repository creation/upgrade DDL: --

-- Nothing was created nor modified in the target repository database.

-- Hit the OK button to execute the generated SQL or Close to reject the changes. -- Please note that it is possible to change/edit the generated SQL before execution. --

CREATE TABLE R_REPOSITORY_LOG (

ID_REPOSITORY_LOG INTEGER , REP_VERSION VARCHAR2(255) , LOG_DATE DATE

, LOG_USER VARCHAR2(255) , OPERATION_DESC CLOB

, PRI

kettle_步骤解释

1.Transform转换 Dummy Plugin空操作 这是一个空的测试步骤 2.Input导入数据 ESRI Shapefile Reader读取矢量数据 从SHP文件中读取图形数据和属性数据 S3 CSV InputCSV文件输入 将读取的CSV文件数据并行存储到Amazon中 3.输入 Access Input导入数据库文件 从微软数据库文件中读取数据 CSV file input导入CSV文件 导入简单的CSV文件 Cube 输入导入Cube文件 从一个cube文件中读取数据 Excel 输入导入Excel文件 从微软的Excel文件中读取数据兼容Excel 95972000 Fixed file input导入文本文件 导入文本文件 Generate random value生成随机数 随机数生成器 Get file Names获得文件名称 从系统中获得文件并将其发送到下一步 Get files Rows Count获取文件行数 获取文件行数 Get SubFolder names获取子文件夹名称 读取一个主文件夹获取所有的子文件 Get data from XML从xml文件中获取数据 使用XPath路

Kettle操作文档

1.Kettle介绍。 ........................................................................................... 2 2. Kettle下载。 .......................................................................................... 2 3.使用规范和注意事项。 ............................................................................ 3

3.1.配置数据库的全局变量。 ................................................................................ 3 3.2.文件命名规范（不要用汉字）。 ....................................................................... 3 3.3.文件存放位置。 ...........

KETTLE详细设计说明书

V0.1

变更记录

版本 V0.1 文件内容描述 创建 日期 2014-7-3 编写 王小龙 审核 批准

1 Kettle界面介绍

双击Kettle.exe或者Spoon.bat打开Kettle图形界面化如下：

(图1.1)

Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的

基础转换，Job则完成整个工作流的控制。 Kettle常用三大家族：Spoon、Pan、Kitchen。

Spoon:通过图形界面方式设计、运行、调试Job与Transformation。 Pan:通过脚本命令方式来运行Transformation。

Kitchen:通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。

说明：当打开Kettle时显示的是Kettle的相关版本信息与GNU相关协议说明。

(图1

Kettle操作文档

1.Kettle介绍。 ........................................................................................... 2 2. Kettle下载。 .......................................................................................... 2 3.使用规范和注意事项。 ............................................................................ 3

3.1.配置数据库的全局变量。 ................................................................................ 3 3.2.文件命名规范（不要用汉字）。 ....................................................................... 3 3.3.文件存放位置。 ...........

Kettle学习大集合

1. 什么Kettle？

Kettle是一个开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目，项目名很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。Kettle包括三大块： Spoon——转换/工作(transform/job)设计工具 (GUI方式) Kitchen——工作(job)执行器 (命令行方式) Span——转换(trasform)执行器 (命令行方式)

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

2. Kettle简单例子 2.1 下载及安装Kettle

下载地址：http://sourceforge.net/projects/pentaho/files

现在最新的版本是3.6，为了统一版本，建议下载3.2，即下载这个文件pdi-ce-3.2.0-stable.zip。 解压下载下来的文件，把

Kettle配置使用说明

1.文件结构 1.1 kettle4.0.1

该文件夹存放的是kettle4.0.1的桌面应用程序,/kettle4.0.1/Spoon.bat是运行软件的一个批处理文件,双击运行。

1.2 workspace

该文件夹存放的是以各个警种总队全拼命名的分别存放.ktr文件和.job文件的文件夹。Start.job是一个启动总纲。

1.3 script

该文件夹是存放的数据库建库脚本,目前是oracle10g版本

1.4 model

存放的是powerDesign的cdm概念模型文件用于根据需要生成pdm和script。

2.文件路径配置

本系统使用的都是系统所在路径的相对路径,不管处于什么目录下都请将kettle4.0.1和workspace的文件夹放在同一目录之下。当然你可以随意改变文件夹的名称。

3.运行环境配置

先运行一次/kettle4.0.1/Spoon.bat,Linux就不说了,如果你用的是windows系统,那么你可以在/${userhome}/.kettle下找到一个.kettle的文件夹主要说下：

Response.xml－记录资源库信息（自己去勾）

Kettle.property－这是好东西,

Kettle配置使用说明

1.文件结构 1.1 kettle4.0.1

该文件夹存放的是kettle4.0.1的桌面应用程序,/kettle4.0.1/Spoon.bat是运行软件的一个批处理文件,双击运行。

1.2 workspace

该文件夹存放的是以各个警种总队全拼命名的分别存放.ktr文件和.job文件的文件夹。Start.job是一个启动总纲。

1.3 script

该文件夹是存放的数据库建库脚本,目前是oracle10g版本

1.4 model

存放的是powerDesign的cdm概念模型文件用于根据需要生成pdm和script。

2.文件路径配置

本系统使用的都是系统所在路径的相对路径,不管处于什么目录下都请将kettle4.0.1和workspace的文件夹放在同一目录之下。当然你可以随意改变文件夹的名称。

3.运行环境配置

先运行一次/kettle4.0.1/Spoon.bat,Linux就不说了,如果你用的是windows系统,那么你可以在/${userhome}/.kettle下找到一个.kettle的文件夹主要说下：

Response.xml－记录资源库信息（自己去勾）

Kettle.property－这是好东西,

Kettle API - Java调用示例

对向前兼容性的推荐 ：如果想要动态地创造Transformation (例如:从元数据)，使用XML文件方法(KTR)而不是使用API。 XML文件兼容Kettle所有版本，同样对job有效的。

1. 下面的例子进行以下操作：

1创建Transformation

2保存Transformation信息到XML文件 3获取在目标表操作的SQL 4执行Transformation

5drop目标表，使这个示例可以重复。

// 创建“复制表”的 transformation元数据.

TransMeta transMeta = TransBuilder.buildCopyTable( transformationName, sourceDatabaseName, sourceTableName, sourceFields,

targetDatabaseName, targetTableName, targetFields );

// 保存为文件:

String xml = transMeta.getXML();

DataOutputStre