这篇文章主要介绍“datax环境部署和管理教程”,在日常操作中,相信很多人在datax环境部署和管理教程问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”datax环境部署和管理教程”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
前期环境准备
python环境搭建 jdk环境搭建
下载python 选择版本为Python 2.7.12 》 Gzipped source tarball
https://www.python.org/downloads/source/
解压python包,并执行./configure进行编译
make
make install
上面操作命令执行完毕,Python 会安装在 /usr/local/bin 目录中
输入python验证是否安装成功
省略
下载datax
https://github.com/alibaba/DataX
解压
进入job目录下参照官网验证增加stream2stream.json文件 》 从stream读取数据并打印到控制台
stream2stream.json内容如下
{
"job": {
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": 10,
"column": [
{
"type": "long",
"value": "10"
},
{
"type": "string",
"value": "hello,你好,世界-DataX"
}
]
}
},
"writer": {
"name": "streamwriter",
"parameter": {
"encoding": "UTF-8",
"print": true
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
切换到datax 所在的bin目录,执行
[root@localhost bin]# python datax.py ../job/stream2stream.json
可参照官网
下载地址
https://github.com/WeiYe-Jing/datax-web https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg cpsk
上面文件解压之后
建议先手动创建datax-web数据库,并初始化datax-web-2.1.2/bin/db/datax_web.sql
进入datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties手动更改dbc相关信息
进入datax-web-2.1.2 执行 ./bin/install.sh,默认选择Y,执行mysql初始化步骤跳过
进入datax-web-2.1.2/modules/datax-executor/bin/env.properties主要调整datax.py目录
## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/datax/bin/datax.py
上面成功之后, 进入datax-web-2.1.2 执行./bin/start-all.sh启动相关服务
访问地址为 http://{ip}}:9527/index.html
1、datax-web-2.1.2/modules/datax-executor/bin/console.out
2、datax-web-2.1.2/modules/datax-admin/bin/console.out
到此,关于“datax环境部署和管理教程”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。
原文链接:https://my.oschina.net/kcnf/blog/5050438