背景

目前有两个数据库AB, 想把A库指定的表数据迁移到B库中，因为涉及到数据量比较大，所以考虑使用kettle。 闲话少说，真货搞起来

Kettle 说明

• Kettle 本身是做数据抽取、清洗、转换和装载的工具。能支持在多个平台上进行操作，比如window、linux、unix 上运行。
• 支持多种数据源配置。
• 可视化图形界面操作
• kettle流程图本质上都是配置文件，比如.ktr/.kjb文件。

这样的一个好处就是，流程图一旦画好之后，就可放到其他平台使用。

下载

下载就不说了，自己找官网下载就行，文件挺大，下载也挺慢，如果下载不下来的话，可以在下边评论处@我

安装和启动

在window上，双击Spoon.bat， 打开即可，如图

在启动之前，最好是修改下 启动脚本，添加字符集utf-8, 比如

set OPT=%OPT% %PENTAHO_DI_JAVA_OPTIONS% "-Dfile.encoding=UTF-8" "-Djava.library.path=%LIBSPATH%;%HADOOP_HOME%/bin" %JAVA_ENDORSED_DIRS% %JAVA_LOCALE_COMPAT% "-DKETTLE_HOME=%KETTLE_HOME%" "-DKETTLE_REPOSITORY=%KETTLE_REPOSITORY%" "-DKETTLE_USER=%KETTLE_USER%" "-DKETTLE_PASSWORD=%KETTLE_PASSWORD%" "-DKETTLE_PLUGIN_PACKAGES=%KETTLE_PLUGIN_PACKAGES%" "-DKETTLE_LOG_SIZE_LIMIT=%KETTLE_LOG_SIZE_LIMIT%" "-DKETTLE_JNDI_ROOT=%KETTLE_JNDI_ROOT%"

主要在spoon.bat 脚本中，添加-Dfile.encoding=UTF-8 ，指定字符集，否则导入的数据中文都是乱码。

安装mysql或oracle驱动包

mysql驱动包自行下载，放到安装目录下的/lib 目录下重启即可。我是下载的 5.1.49版本

创建数据源

点击 “转换”-》“主对象树”-》“DB链接”-》“新建”-》Test

然后输入数据库的链接信息，并点击测试，是否连接成功。

我这个是Myql DB ,你可以选择你那边支持的数据库。

需要创建两个，一个源数据库和一个目标数据库。

配置源数据源

点击“核心对象”-》“输入”-》选择“表输入”，如下图

双击 “表输入”，然后选择源数据库，并输入要迁移的表的sql, 并点击确定即可

目标库入库数据配置

点击“核心对象”-》“输出”-》“插入/更新”，如下图

双击“插入/更新2”，配置源表字段和目标表字段的之前的映射关系。

点击保存或者 ctrl+s ，会把这个流程，保存成 ktr格式的文件。

此文件的用处，下边会说。

现在这个映射关系，已经配置完成，可以点击 数据迁移了。

最后一步，是如何把流程图从window迁移到linux上运行

为什么要使用kettle呢，因为他的流程图文件，能支持跨系统使用，同一个ktr即可以在window上使用，也可以放到linux上执行。

在linux上，主要是使用kettle的pan.sh 脚本去执行这个ktr文件，具体执行的命令如下

sh  $Kettle_Home/pan.sh -file=/home/test/kettle/ktr/data_transfer.ktr -norep

然后，我们可以定时执行这个脚本，从而实现增量数据的定时更新和迁移。当然目标源数据脚本得能查询出来当天的增量数据。

下边我配置的定时执行脚本任务。如下

TIME=$(date "+%Y%m%d")
sh /data/data-integration/pan.sh -file=/home/data-integration/ktr/data_transfer.ktr -norep >> /home/data-integration/ktr/log/log-"$TIME".log
          

这样，通过日志，可直接查看任务的执行情况。

记录一下： Kettle中文网

http://www.kettle.org.cn/

好了，通过Kettle 定时迁移大数据量的逻辑，是上边写的这部分了，欢迎大家拍砖。

望不吝小手，给点个赞，在此多谢啦！