pentaho-kettle

kettle 4.2.1使用说明

1. Kettle介绍

1.1. 什么是 kettle

Kettle 也叫 PDI，在2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI，英文全称为Pentaho Data Integeration。Kettle 是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员 MATT 在一个论坛里说的哪样：希望把各种数据放到一个壶里然后以一种指定的格式流出。

Spoon是一个图形用户界面，它允许你运行转换或者任务，其中转换是用Pan工具来运行，任务是用Kitchen来运行。Pan是一个数据转换引擎，它可以执行很多功能，例如：从不同的数据源读取、操作和写入数据。Kitchen是一个可以运行利用XML或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。

1.2. Kettle的安装

要运行kettle工具必须安装Sun公司的JAVA运行环境，kettle 4.2.1需要运行java 1.6或者更高版本，

kettle_步骤解释

1.Transform转换 Dummy Plugin空操作 这是一个空的测试步骤 2.Input导入数据 ESRI Shapefile Reader读取矢量数据 从SHP文件中读取图形数据和属性数据 S3 CSV InputCSV文件输入 将读取的CSV文件数据并行存储到Amazon中 3.输入 Access Input导入数据库文件 从微软数据库文件中读取数据 CSV file input导入CSV文件 导入简单的CSV文件 Cube 输入导入Cube文件 从一个cube文件中读取数据 Excel 输入导入Excel文件 从微软的Excel文件中读取数据兼容Excel 95972000 Fixed file input导入文本文件 导入文本文件 Generate random value生成随机数 随机数生成器 Get file Names获得文件名称 从系统中获得文件并将其发送到下一步 Get files Rows Count获取文件行数 获取文件行数 Get SubFolder names获取子文件夹名称 读取一个主文件夹获取所有的子文件 Get data from XML从xml文件中获取数据 使用XPath路

Kettle操作文档

1.Kettle介绍。 ........................................................................................... 2 2. Kettle下载。 .......................................................................................... 2 3.使用规范和注意事项。 ............................................................................ 3

3.1.配置数据库的全局变量。 ................................................................................ 3 3.2.文件命名规范（不要用汉字）。 ....................................................................... 3 3.3.文件存放位置。 ...........

KETTLE详细设计说明书

V0.1

变更记录

版本 V0.1 文件内容描述 创建 日期 2014-7-3 编写 王小龙 审核 批准

1 Kettle界面介绍

双击Kettle.exe或者Spoon.bat打开Kettle图形界面化如下：

(图1.1)

Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的

基础转换，Job则完成整个工作流的控制。 Kettle常用三大家族：Spoon、Pan、Kitchen。

Spoon:通过图形界面方式设计、运行、调试Job与Transformation。 Pan:通过脚本命令方式来运行Transformation。

Kitchen:通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。

说明：当打开Kettle时显示的是Kettle的相关版本信息与GNU相关协议说明。

(图1

Kettle操作文档

1.Kettle介绍。 ........................................................................................... 2 2. Kettle下载。 .......................................................................................... 2 3.使用规范和注意事项。 ............................................................................ 3

3.1.配置数据库的全局变量。 ................................................................................ 3 3.2.文件命名规范（不要用汉字）。 ....................................................................... 3 3.3.文件存放位置。 ...........

Kettle学习大集合

1. 什么Kettle？

Kettle是一个开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目，项目名很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。Kettle包括三大块： Spoon——转换/工作(transform/job)设计工具 (GUI方式) Kitchen——工作(job)执行器 (命令行方式) Span——转换(trasform)执行器 (命令行方式)

Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。

2. Kettle简单例子 2.1 下载及安装Kettle

下载地址：http://sourceforge.net/projects/pentaho/files

现在最新的版本是3.6，为了统一版本，建议下载3.2，即下载这个文件pdi-ce-3.2.0-stable.zip。 解压下载下来的文件，把

Kettle配置使用说明

1.文件结构 1.1 kettle4.0.1

该文件夹存放的是kettle4.0.1的桌面应用程序,/kettle4.0.1/Spoon.bat是运行软件的一个批处理文件,双击运行。

1.2 workspace

该文件夹存放的是以各个警种总队全拼命名的分别存放.ktr文件和.job文件的文件夹。Start.job是一个启动总纲。

1.3 script

该文件夹是存放的数据库建库脚本,目前是oracle10g版本

1.4 model

存放的是powerDesign的cdm概念模型文件用于根据需要生成pdm和script。

2.文件路径配置

本系统使用的都是系统所在路径的相对路径,不管处于什么目录下都请将kettle4.0.1和workspace的文件夹放在同一目录之下。当然你可以随意改变文件夹的名称。

3.运行环境配置

先运行一次/kettle4.0.1/Spoon.bat,Linux就不说了,如果你用的是windows系统,那么你可以在/${userhome}/.kettle下找到一个.kettle的文件夹主要说下：

Response.xml－记录资源库信息（自己去勾）

Kettle.property－这是好东西,

Kettle配置使用说明

1.文件结构 1.1 kettle4.0.1

该文件夹存放的是kettle4.0.1的桌面应用程序,/kettle4.0.1/Spoon.bat是运行软件的一个批处理文件,双击运行。

1.2 workspace

该文件夹存放的是以各个警种总队全拼命名的分别存放.ktr文件和.job文件的文件夹。Start.job是一个启动总纲。

1.3 script

该文件夹是存放的数据库建库脚本,目前是oracle10g版本

1.4 model

存放的是powerDesign的cdm概念模型文件用于根据需要生成pdm和script。

2.文件路径配置

本系统使用的都是系统所在路径的相对路径,不管处于什么目录下都请将kettle4.0.1和workspace的文件夹放在同一目录之下。当然你可以随意改变文件夹的名称。

3.运行环境配置

先运行一次/kettle4.0.1/Spoon.bat,Linux就不说了,如果你用的是windows系统,那么你可以在/${userhome}/.kettle下找到一个.kettle的文件夹主要说下：

Response.xml－记录资源库信息（自己去勾）

Kettle.property－这是好东西,

Kettle API - Java调用示例

对向前兼容性的推荐 ：如果想要动态地创造Transformation (例如:从元数据)，使用XML文件方法(KTR)而不是使用API。 XML文件兼容Kettle所有版本，同样对job有效的。

1. 下面的例子进行以下操作：

1创建Transformation

2保存Transformation信息到XML文件 3获取在目标表操作的SQL 4执行Transformation

5drop目标表，使这个示例可以重复。

// 创建“复制表”的 transformation元数据.

TransMeta transMeta = TransBuilder.buildCopyTable( transformationName, sourceDatabaseName, sourceTableName, sourceFields,

targetDatabaseName, targetTableName, targetFields );

// 保存为文件:

String xml = transMeta.getXML();

DataOutputStre

Linux下面kettle的部署

一直以来服务器是linux系统，但是感觉linux图形化不强，于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常，以及在linux上调度kettle的job，就需要在Linux上配置kettle环境了。

登陆-linux-（切换到kettle部署的用户下面）

第一：产看系统的java环境,cat .bash_profile 文件

从上面可以看到，在cognos用户下已经安装了java jdk,版本是1.6.0_20,我们看一下kettle的最低版本要求，编辑查看spoon.bat可以看到

java的版本需求为1.6.0_17,cognos用户下的jdk版本在此之上，说明java环境已经符合。 第二：上传文件，开始部署

1. 将data-integration.zip上传到linux服务器（利用SSH将解压过的整个文件夹上传也可以）

2. 使用unzip命令解压data-integration.zip unzip data-integration.zip -d \（如果上传的是文件夹，忽略此步骤） 3.进入解压目录，找到./