温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

DataWorks如何使用Shell节点调用自定义资源组执行脚本

发布时间:2021-11-08 10:25:30 来源:亿速云 阅读:464 作者:小新 栏目:云计算

这篇文章主要介绍了DataWorks如何使用Shell节点调用自定义资源组执行脚本,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

一、设置自定义资源组并配置权限ECS权限

1.1根据文档添加对应空间下的自定义资源组
https://help.aliyun.com/document_detail/169950.html
1.2查看添加的自定义资源组
DataWorks如何使用Shell节点调用自定义资源组执行脚本

1.3登陆添加为自定义资源组的ECS,建立对应目录,并给admin用户设置权限

目录下的odps_haudong为MaxCompute的客户端
DataWorks如何使用Shell节点调用自定义资源组执行脚本

upfile.txt内容为

chown -R amdin:admin /home

二、DataWorks新建Shell节点,并进行编辑脚本

2.1创建临时节点,并执行以下语句

create table shell_test(key string);insert overwrite table shell_test values('hadoop'),('kafka'),('habse');select * from shell_test;

查看当前数据展示
DataWorks如何使用Shell节点调用自定义资源组执行脚本

2.2建立手动业务流程,并配置Shell脚本,以及添加调度资源组为自定义资源组

/home/export/odps_huadong/bin/odpscmd  -e "tunnel upload -overwrite true /home/export/upfile.txt  shell_test"

三、提交shell节点到生产环境,并进行执行

3.1提交业务流程
DataWorks如何使用Shell节点调用自定义资源组执行脚本

3.2发布任务到生产环境,并在手动任务执行
DataWorks如何使用Shell节点调用自定义资源组执行脚本

显示执行命令成功
DataWorks如何使用Shell节点调用自定义资源组执行脚本

四、检测命令是否执行

4.1返回数据开发界面执行语句,确认数据是否被覆盖写入

select * from shell_test;

可以看到数据写入成功

感谢你能够认真阅读完这篇文章,希望小编分享的“DataWorks如何使用Shell节点调用自定义资源组执行脚本”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI