2000字范文,分享全网优秀范文,学习好帮手!
2000字范文 > ETL 工具之Talend快速开发(一)

ETL 工具之Talend快速开发(一)

时间:2023-01-24 23:46:35

相关推荐

ETL 工具之Talend快速开发(一)

目录

1、创建JOB

(1)右击 Job Designs

(2)点击创建作业

2、设计JOB

(1)查找 tDBConnection 组件

(2)创建2个tDBConnection组件(点击第一步找到的组件,然后在作业的空白处左击即可)

(3)设置数据库连接类型

(4)2个数据库连通

(5)设计数据库输入、输出组件

(6)同第3步,设置俩个组件的数据库连接类型(设置完成后如下图:)

(7)连接剩余线

(8)设置tMap组件

3、配置上下文(数据库连接信息)

(1)创建上下文

(2)填写数据库相关信息

4、完善JOB

(1)tDBConnection组件应用上下文

(2)tDBInput组件应用上下文

(3)tDBOutput组件应用上下文

(4)配置tMap组件

5、开始本地运行测试

6、如果本地测试成功,即可打包到服务器执行

关于Talend的背景介绍这里就不说明了,详细资料可以查看官网/

以下主要说明如何快速使用Talend完成数据的抽取、转换、加载工作

1、创建JOB

(1)右击 Job Designs

(2)点击创建作业

2、设计JOB

(1)查找 tDBConnection 组件

(2)创建2个tDBConnection组件(点击第一步找到的组件,然后在作业的空白处左击即可)

(3)设置数据库连接类型

(4)2个数据库连通

(5)设计数据库输入、输出组件

(6)同第3步,设置俩个组件的数据库连接类型(设置完成后如下图:)

(7)连接剩余线

(8)设置tMap组件

3、配置上下文(数据库连接信息)

(1)创建上下文

(2)填写数据库相关信息

添加完成之后如下:

4、完善JOB

(1)tDBConnection组件应用上下文

(2)tDBInput组件应用上下文

第5步验证一下是否可以连通,如果可以获取到表结构,则说明连接成功

导出源表的表结构到本地

(3)tDBOutput组件应用上下文

获取目标表的表结构(方法:临时新建一个tDBIput组件,如下图,获取完表结构后删除掉该组件)导出目标表表结构到本地删掉该临时组件

(4)配置tMap组件

自动映射俩张表的字段(通常源表与目标表字段名都是完全匹配一致的,这里自动映射很方便,如果不匹配,就需要人为一条一条匹配源表与目标表的字段)

提示:人为匹配方法:点击左边源表字段,拖住到右侧字段列表中与之匹配的字段即可

5、开始本地运行测试

6、如果本地测试成功,即可打包到服务器执行

(1)打包

(2)windows执行方法

解压缩打包文件,然后找到bat文件执行

(3)linux后台永久执行方法

将压缩包上传到linux服务器,然后解压同(2)一样,找到2级目录下的sh文件命令行启动 nohup shInfiniteLoop_ngdp_data_run.sh &

(nohup详细解释可以度娘了解,结合&符号主要是为了满足后台永久挂载不掉线,但是需要注意,退出的时候必须用exit命令,不能直接关闭linux窗口)

命令行退出linux系统 exit再次登录linux服务器,查看是否后台启动服务: ps -ef | grep java

本次更新就到这里了,如果在参考过程中有疑惑的地方欢迎指出,我会尽快检查并完善博文,感谢大家的支持。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。