百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

ETL数据库迁移工具Kettle的安装配置详解

ccwgpt 2024-12-17 13:00 271 浏览 0 评论

介绍:

?Kettle简介:Kettle 是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration,Kettle 本意是水壶的意思,表达了数据流的含义。Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。作为Pentaho的一个重要组成部分,现在在国内项目应用上逐渐增多。

?ETL(Extract-Transform-Load的缩写),即数据抽取、转换、装载的过程。对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少,这里我介绍一个我在工作中使用了很久的ETL工具Kettle,本着好东西不独享的想法,跟大家分享碰撞交流一下!在使用中我感觉这个工具真的很强大,支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的工作量,提高了我们的工作效率。

特点

免费开源

???基于java的免费开源的软件,对商业用户也没有限制。

易配置

???可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。

不同数据库

???ETL工具集,它允许你管理来自不同数据库的数据。

两种脚本文件

???transformationjobtransformation完成针对数据的基础转换,job则完成整个工作流的控制。

图形界面设计

???通过图形界面设计实现做什么业务,无需写代码去实现。

定时功能

???在Job下的start模块,有一个定时功能,可以每日,每周等方式进行定时。

在这里插入图片描述

环境

?Windows 10

?Java 8 (运行Kettle 7.0 以上版本需要Java8及以上)

?Kettle 7.1

?mysql-connector-java-8.0.21(连接Mysql驱动包,根据数据库版本下载)

一键安装,急速使用

?第一步. 下载程序包并解压

????从官方网站下载spoon压缩包。

?第二步. 一键启动

????在windows下,解压后,双击spoon.bat文件运行。

?开始使用

????开始可视化数据操作吧。

1.下载Kettle程序包并解压

??Kettle 7.1版本下载地址:https://udomain.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip

??Kettle各个版本下载地址:https://sourceforge.net/projects/pentaho/files/

注意:

??下载时进入相应版本后,选择client-tools,选择pdi-ce开头的程序包下载。

在这里插入图片描述


在这里插入图片描述

2.下载连接驱动包:

?Java 连接 MySQL 需要驱动包,MySQL驱动包官网下载地址:
https://dev.mysql.com/downloads/connector/j/

在这里插入图片描述

在这里插入图片描述

3.解压Java连接Mysql 8.0驱动包

??解压后取出mysql-connector-java.jar包(这里驱动包有版本号)。放到kettle的lib目录下面。

在这里插入图片描述


在这里插入图片描述

4.运行spoon.bat,打开spoon图形工具

在这里插入图片描述

在这里插入图片描述


在这里插入图片描述


注意:


?红圈处没有connect按钮,原因为资源库配置文件乱码造成。

解决方法: 打开系统盘用户目录下的repositories.xml配置文件,将乱码内容删除,并删除.spoonrc文件,再重启kettle。

在这里插入图片描述

5.创建或连接资源库

???选择创建数据库资源库

在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


???输入资源库名称(自定义) 点击Database Connection创建数据库连接。


在这里插入图片描述


???选择Create New Connection。


在这里插入图片描述

6.创建数据库连接

?输入连接名称、选择类型(根据自身所需选择,这里连接的是mysql数据库,如连接其他数据库,需将数据库驱动放在kettle根目录中的lib下面,然后启动数据库重启kettle) 确认输入无误后点击测试,测试是否连接成功,失败多为lib下找不到数据库驱动

在这里插入图片描述


在这里插入图片描述


在这里插入图片描述


在这里插入图片描述

?在这里选择刚才我们创建的数据库名称。

在这里插入图片描述


?创建成功,选择Connect Now连接到数据库。


在这里插入图片描述


?登陆时,默认是admin用户,密码也是admin,启动后可以修改用户密码或添加其他用户。


在这里插入图片描述

7.登录数据库查看Kettle自动创建的表结构

[root@localhost ~]# docker exec -it mysql /bin/bash

root@2a12523bd803:/# mysql -uroot -p123qqq...A
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 13
Server version: 8.0.21 MySQL Community Server - GPL

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+

mysql> use test;

mysql> show tables;
+--------------------------+
| Tables_in_test           |
+--------------------------+
| R_CLUSTER                |
| R_CLUSTER_SLAVE          |
| R_CONDITION              |
| R_DATABASE               |
| R_DATABASE_ATTRIBUTE     |
| R_DATABASE_CONTYPE       |
| R_DATABASE_TYPE          |
| R_DEPENDENCY             |
| R_DIRECTORY              |
| R_ELEMENT                |
| R_ELEMENT_ATTRIBUTE      |
| R_ELEMENT_TYPE           |
| R_JOB                    |
| R_JOBENTRY               |
| R_JOBENTRY_ATTRIBUTE     |
| R_JOBENTRY_COPY          |
| R_JOBENTRY_DATABASE      |
| R_JOBENTRY_TYPE          |
| R_JOB_ATTRIBUTE          |
| R_JOB_HOP                |
| R_JOB_LOCK               |
| R_JOB_NOTE               |
| R_LOG                    |
| R_LOGLEVEL               |
| R_NAMESPACE              |
| R_NOTE                   |
| R_PARTITION              |
| R_PARTITION_SCHEMA       |
| R_REPOSITORY_LOG         |
| R_SLAVE                  |
| R_STEP                   |
| R_STEP_ATTRIBUTE         |
| R_STEP_DATABASE          |
| R_STEP_TYPE              |
| R_TRANSFORMATION         |
| R_TRANS_ATTRIBUTE        |
| R_TRANS_CLUSTER          |
| R_TRANS_HOP              |
| R_TRANS_LOCK             |
| R_TRANS_NOTE             |
| R_TRANS_PARTITION_SCHEMA |
| R_TRANS_SLAVE            |
| R_TRANS_STEP_CONDITION   |
| R_USER                   |
| R_VALUE                  |
| R_VERSION                |
| mysqltest                |
+--------------------------+

mysql> select * from R_USER;
+---------+-------+-----------------------------------+---------------+-------------------------+---------+
| ID_USER | LOGIN | PASSWORD                          | NAME          | DESCRIPTION             | ENABLED |
+---------+-------+-----------------------------------+---------------+-------------------------+---------+
|       1 | admin | 2be98afc86aa79ce71da9fa6d4 | Administrator | User manager            |       1 |
|       2 | guest | 2be98afc86aace77cb97bcce | Guest account | Read-only guest account |       1 |
+---------+-------+-----------------------------------+---------------+-------------------------+---------+

8.添加新用户

?点击工具 --> 资源库 --> 探索资源选择【安全】--> 添加用户 -->填写账号密码保存即可。

如果你觉得这篇文章还不错,就请动动你的发财手为本文点赞-评论-转发吧,因为这将是我持续输出更多优质文章的最强动力,谢谢!

相关推荐

团队管理“布阵术”:3招让你的团队战斗力爆表!

为何古代军队能够以一当十?为何现代企业有的团队高效似“特种部队”,有的却松散若“游击队”?**答案正隐匿于“布阵术”之中!**今时今日,让我们从古代兵法里萃取3个核心要义,助您塑造一支战斗力爆棚的...

知情人士回应字节大模型团队架构调整

【知情人士回应字节大模型团队架构调整】财联社2月21日电,针对原谷歌DeepMind副总裁吴永辉加入字节跳动后引发的团队调整问题,知情人士回应称:吴永辉博士主要负责AI基础研究探索工作,偏基础研究;A...

豆包大模型团队开源RLHF框架,训练吞吐量最高提升20倍

强化学习(RL)对大模型复杂推理能力提升有关键作用,但其复杂的计算流程对训练和部署也带来了巨大挑战。近日,字节跳动豆包大模型团队与香港大学联合提出HybridFlow。这是一个灵活高效的RL/RL...

创业团队如何设计股权架构及分配(创业团队如何设计股权架构及分配方案)

创业团队的股权架构设计,决定了公司在随后发展中呈现出的股权布局。如果最初的股权架构就存在先天不足,公司就很难顺利、稳定地成长起来。因此,创业之初,对股权设计应慎之又慎,避免留下巨大隐患和风险。两个人如...

消息称吴永辉入职后引发字节大模型团队架构大调整

2月21日,有消息称前谷歌大佬吴永辉加入字节跳动,并担任大模型团队Seed基础研究负责人后,引发了字节跳动大模型团队架构大调整。多名原本向朱文佳汇报的算法和技术负责人开始转向吴永辉汇报。简单来说,就是...

31页组织效能提升模型,经营管理团队搭建框架与权责定位

分享职场干货,提升能力!为职场精英打造个人知识体系,升职加薪!31页组织效能提升模型如何拿到分享的源文件:请您关注本头条号,然后私信本头条号“文米”2个字,按照操作流程,专人负责发送源文件给您。...

异形柱结构(异形柱结构技术规程)

下列关于混凝土异形柱结构设计的说法,其中何项正确?(A)混凝土异形柱框架结构可用于所有非抗震和抗震设防地区的一般居住建筑。(B)抗震设防烈度为6度时,对标准设防类(丙类)采用异形柱结构的建筑可不进行地...

职场干货:金字塔原理(金字塔原理实战篇)

金字塔原理的适用范围:金字塔原理适用于所有需要构建清晰逻辑框架的文章。第一篇:表达的逻辑。如何利用金字塔原理构建基本的金字塔结构受众(包括读者、听众、观众或学员)最容易理解的顺序:先了解主要的、抽象的...

底部剪力法(底部剪力法的基本原理)

某四层钢筋混凝土框架结构,计算简图如图1所示。抗震设防类别为丙类,抗震设防烈度为8度(0.2g),Ⅱ类场地,设计地震分组为第一组,第一自振周期T1=0.55s。一至四层的楼层侧向刚度依次为:K1=1...

结构等效重力荷载代表值(等效重力荷载系数)

某五层钢筋混凝土框架结构办公楼,房屋高度25.45m。抗震设防烈度8度,设防类别丙类,设计基本地震加速度0.2g,设计地震分组第二组,场地类别为Ⅱ类,混凝土强度等级C30。该结构平面和竖向均规则。假定...

体系结构已成昭告后世善莫大焉(体系构架是什么意思)

实践先行也理论已初步完成框架结构留余后人后世子孙俗话说前人栽树后人乘凉在夏商周大明大清民国共和前人栽树下吾之辈已完成结构体系又俗话说青出于蓝而胜于蓝各个时期任务不同吾辈探索框架结构体系经历有限肯定发展...

框架柱抗震构造要求(框架柱抗震设计)

某现浇钢筋混凝土框架-剪力墙结构高层办公楼,抗震设防烈度为8度(0.2g),场地类别为Ⅱ类,抗震等级:框架二级,剪力墙一级,混凝土强度等级:框架柱及剪力墙C50,框架梁及楼板C35,纵向钢筋及箍筋均采...

梁的刚度、挠度控制(钢梁挠度过大会引起什么原因)

某办公楼为现浇钢筋混凝土框架结构,r0=1.0,混凝土强度等级C35,纵向钢筋采用HRB400,箍筋采用HPB300。其二层(中间楼层)的局部平面图和次梁L-1的计算简图如图1~3(Z)所示,其中,K...

死要面子!有钱做大玻璃窗,却没有钱做“柱和梁”,不怕房塌吗?

活久见,有钱做2层落地大玻璃窗,却没有钱做“柱子和圈梁”,这样的农村自建房,安全吗?最近刷到个魔幻施工现场,如下图,这栋5开间的农村自建房,居然做了2个全景落地窗仔细观察,这2个落地窗还是飘窗,为了追...

不是承重墙,物业也不让拆?话说装修就一定要拆墙才行么

最近发现好多朋友装修时总想拆墙“爆改”空间,别以为只要避开承重墙就能随便砸!我家楼上邻居去年装修,拆了阳台矮墙想扩客厅,结果物业直接上门叫停。后来才知道,这种配重墙拆了会让阳台承重失衡,整栋楼都可能变...

取消回复欢迎 发表评论: