kettle 使用手册

服务器登录
服务器 IP:10.46.225.241
用户名:root
密码:Fj#c$.9r
Kettle 安装目录:/usr/local/kettle
tomcat 安装目录:/usr/local/tomcat
jdk 安装目录:/usr/local/java

一.kettle 的安装

(一)安装 jdk
咱们这个服务器是 Redhat7 64 位 Linux 系统,所以对应的 jdk 版本要下载 64 位的;

网上下载 64 位的 jdk

1.通过 CRT 工具连接 10.46.225.241,在/usr/local 目录下创建 Java 目录

2.通过 scp 工具把下载好的 jdk 文件上传到 Java 目录下边
3.通过命令解压 jdk 文件,然后通过命令行配置 Java 的环境变量
4.检验 jdk 是否安装成功
(二)在 Linux 上部署 kettle
1.通过命令行在/usr/local 目录下创建 kettle 目录

2.通过 SCP 上传已经解压好的 kettle 文件 到 kettle 目录下

3.通过命令: cd usr/local/kettle/data-integration 进到 data-integration 目录,在当前目录下通过

命 令 : ./kitchen.sh, 启 动 kitchen 服 务 , 出 现
这表示 kettle 部署成功.

二.Kettle 使用:

(一) Kitichen 服务
通过 CRT 连接服务器通过命令: cd usr/local/kettle/data-integration 进到 data-integration 目录,
在 当 前 目 录 下 通 过 命 令 : ./kitchen.sh, 启 动 kitchen 服 务 , 出 现
(二) Pan 服务
通过 CRT 连接服务器通过命令: cd usr/local/kettle/data-integration 进到 data-integration 目录,
在当前目录下通过命令: ./pan.sh,启动 kitchen 服务,出现
服务启动成功

三.kettle 转换流程(以 Excel 输入到数据库表为例)

(一) Windows 下执行 Excel 输入到数据库表

1,在本地执行 Excel 的转换,保存生成.ktr 文件以下以 linkTo231 为例:
a. Window 下 打 开 spoon.bat: 通 步 骤 文 件 >> 新 建 >> 转 换 :

b. 在 主 对 象 树 中 设 置 转 换 步 骤 : 转 换 1 右 键 >> 设 置
c. DB 连接右键>>新建

配置连接信息并测试连接:
d. 在 核 心 对 象 中 直接拖入右边控制框:
,在输出中 直接拖入右边控制框中并连接(按住 shift 键鼠标

连接’’Excel 输入’’和’’表输出’’)如图:

e .双击 Excel 输入设置输入信息

选择 sheet1 确定
 点击确定
f.设置表输出信息:
双击表输出:
g.保存转换并执行:先点击保存按钮保存转换,然后点击执行
 我这里生成了 linkTo231.ktr 文件.到此 Windows 界面执行完成.
(二).在 Linux 服务上执行.ktr 文件
a. 通 过 scp 工 具 连 接 10.46.225.231 服 务 器 上 传 test.xlsx 和 linkTo231.ktr 文 件 到 /usr/local/
kettle/test 目录下;
b. CRT 连接 10.46.225.241 服务器(kettle 安装在此服务器),通过命令 vim 修改 linkTo231.ktr 文
件如图:
然后在 cd /usr/local/kettle/data-integration/目录下执行命令:
./pan.sh -file=/usr/local/kettle/test/linkTo231.ktr

表示执行成功;

3.通过 Navicat 连接 231 服务检验数据是否写入数据库中.

四.Kettle 连接 Hadoop

(一)连接前的准备

1.在 kettle 的安装目录下找到 hadoop-configuration 文件夹,复制 cdh510 文件夹(我这边的

kettle 是 7.1 版本,在该目录下对应的是 cdh510)并改名为 hadoop-2.7.4,进入 hadoop-2.7.4 文
件夹删除 lib 包下 client 包下的 jar 包
2.把 Hadoop 安装目录下的 share 文件夹下的 hadoop 文件夹下的所有 jar 包(包括所有子文件
夹下的 jar 包)复制到 hadoop-2.7.4 文件夹下 lib 包下的 client 包下;然后删除 protobuf-java-
2.5.0.jar 和 xml-apis-1.3.04.jar
3.修改 xml 文件
A .core.xml 文件

B .hdfs.xml 文件
C .mapred-site.xml 文件

D.yarn-site.xml 文件
F .修改 D:\卓望资料\kettle\data-integration\plugins\pentaho-big-data-plugin(就是 kettle 安装目
录 ) 目 录 下 的 plugin.properties 文 件

(二)测试连接
1.文件>新建>作业,在主对象树的选择 Hadoop clusters(右键新建 cluster),填写 Hadoop clusters
的信息
点击测试显示连接成功()
2.在作业的核心对象中选择通用>START,BigData>Hadoop Copy Files

保存作业,点击执行控制台显示任务执行成功

浏览器查看 Hadoop:http://10.46.225.225:50070/explorer.html#/test
hdfs://hadoop:jkfj2017@10.46.225.225:9000