温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

开启Sentry后LOAD DATA异常怎么办

发布时间:2021-12-13 10:15:34 来源:亿速云 阅读:267 作者:小新 栏目:大数据

这篇文章主要介绍了开启Sentry后LOAD DATA异常怎么办,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

问题描述

在开启了Sentry的CDH集群中,Hive或Impala的操作会受Sentry的管理,不同的操作需要不同的权限。例如,要在Hive中执行ALTER DATABASE命令,用户需要拥有SERVER或DATABASE的ALL权限。本文是描述关于LOAD DATA的异常,我们先来看看Cloudera官网对于这一块的描述:

开启Sentry后LOAD DATA异常怎么办

具体请参考:

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_sg_sentry_service.html#sentry_service

可以看出如果需要LOAD DATA操作,则需要具有ALL或者INSERT权限。本文Fayson描述虽然对于Database赋予了ALL权限,但依旧会报错没有load data 权限异常。

  • 测试环境

1.CM和CDH版本为5.15.1

2.操作系统版本为RedHat7.2

3.集群已启用Kerberos

4.已启用Sentry

以下具体描述该问题,使用以下命令load data到Hive表中,提示user test_sjz does not have privileges for LOAD

use test_sjz;
#加载HDFS中数据到hive表
load data inpath ‘/user/test_sjz/super_store.csv’ into table super_store;
#加载本地数据到hive表
load data local inpath ‘/user/test_sjz/super_store.csv’ into table super_store;

开启Sentry后LOAD DATA异常怎么办

查看test_sjz 用户组的权限,发现是具有test_sjz 库的all 权限的,即表示test_sjz 能使用load data 命令

show grant role test_sjz;

开启Sentry后LOAD DATA异常怎么办

看到提示另一个异常,提示:this required privileges:Server=server1 ….

,于是尝试给HDFS非/user/<username> 目录和文件授权后尝试

开启Sentry后LOAD DATA异常怎么办

发现依旧不能load data。

2

问题解决

原因在于Sentry将检查 LOAD DATA 语句源文件和目标表。需要目标表上的INSERT和源文件上的URI权限.

即需要将Sentry中的URI权限授予用户主目录(/ user / <username>)的活动用户。如果用户需要从HDFS中加载数据的其他目录的数据,则还必须授予用户在Sentry中的URI权限。授权语法如下:

GRANT ALL ON URI “hdfs://namenode:8020/user/<name> /” TO ROLE <role>;

注:如果你启用的NameNode的HA,建议使用Nademode 的Nameservice 来代替主机名和端口号,这可确保即使NameNode更改,URI也将保持不变。如下图红线圈出的部分所示:

开启Sentry后LOAD DATA异常怎么办

登录hive用户,给/user/test_sjz 目录授权后尝试

GRANT ALL ON URI “hdfs://namenode:8020/user/<name> /” TO ROLE <role>;

开启Sentry后LOAD DATA异常怎么办

然后load data 成功

use test_sjz;
#加载HDFS中数据到hive表
load data impath ‘/user/test_sjz/super_store.csv’ into table super_store;
#加载本地数据到hive表
load data local impath ‘/user/test_sjz/super_store.csv’ into table super_store;

开启Sentry后LOAD DATA异常怎么办

感谢你能够认真阅读完这篇文章,希望小编分享的“开启Sentry后LOAD DATA异常怎么办”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI