因为开发环境需要迁移,将原来HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs后下载出来,在新的开发环境中导入。导入时遇到了两个问题。
问题一:导入失败提示User hbase cannot submit applications to queue root.hbase
解决方法:
登录到yarn集群管理节点Resource Manager机器上/etc/hadoop 路径 ,修改fair-scheduler.xml
vi /etc/hadoop/fair-scheduler.xml,新增以下内容(所有的Resource Manager节点都需要修改),保存退出。不需要重启集群和组件
<queue name='hbase'> <weight>1</weight> <schedulingPolicy>drf</schedulingPolicy> <aclSubmitApps>hdfs,hbase,hive</aclSubmitApps> <aclAdministerApps>hbase</aclAdministerApps> <minResources>100 mb,10 vcores</minResources> <maxResources>10240 mb,50 vcores</maxResources> <maxRunningApps>50</maxRunningApps> </queue>
问题二:导入失败,终端没有按正常进度走,也没有相关错误提示。
查看yarn 中的job日志发现如下信息
解决方法:
去系统下查看hbase的id为uid=482(hbase)而yarn的配置中有一项为“min.user.id”最小用户id这里配置了1000。修改为300后问题排除。
这个配置的作用是“允许的最小 Linux 用户 ID。用于阻止其他超级用户。”
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。