这期内容当中小编将会给大家带来有关CDH-cloudera-manager遇到的问题和命令有哪些,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
一些在工作中遇到的问题和命令,记录下来:
1.Host Monitor未运行。这个错误很常见,一般是有什么服务没启动。多数情况重启就好了,假如还有问题就要检查配置,甚至重新安装CDH。
2.修改主机从机ip地址。
CDH没有命令来修改ip地址,必须要自己手动修改配置才行。
1)停止cloudera-manager-sever服务,停止所有的cloudera-manager-agent服务。
linux命令:systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent
2)修改数据库中ip地址的设置,在安装CDH的时候假如没有自己设置数据库那么默认数据库就是 postgresql ,假如设置了那么信息就是存在自己选择的数据库中。我选择的是mysql,先看看mysql的登录密码:
linux命令: grep password /etc/cloudera-scm-server/db.properties
有兴趣的可以看看这份文件,里面有数据库ip地址,数据库类型,数据库密码,存储cdh的数据库名称和用户。
知道了数据库密码之后就可以登录数据库修改ip了。可以通过shell命令行修改,也可以通过图形化界面来修改,反正只要修改了就可以。默认数据库是scm,在里面找到HOSTS表,修改里面的IP_ADDRESS字段。
linux命令,登录mysql : mysql -u root -p
我是以root用户登录的mysql,规范的应该以scm用户身份登录,也就是将上面的root改为scm。-u表示用户,-p表示密码,用空格隔开。
之后会要你输入密码,输入后登录数据库。
mysql命令:show databases;
mysql命令一般要以;结尾,查看有哪些数据库,结果如下图:
有两个数据库,再转换到scm数据库,看看有哪些表:
mysql命令:use scm;
show tables;
如下图:
没有指定数据库直接使用show tables;会报错,指定之后就能查看有哪些表了。我们要修改HOSTS表的数据,先看看有哪些数据在里面。
mysql命令:select * from HOSTS;
可以看到有这些内容,在shell命令行中排列不是很整齐,不过看看字段名也能够知道需要修改的是IP_ADDRESS,
mysql命令:update scm.`HOSTS` set `NAME`='nodeN',IP_ADDRESS='xxx.xxx.xxx.xxx' where `HOST_ID`='num';
将需要修改的ip地址和主机名都修改过来,再看看修改后的数据库是否有什么问题,没有问题后再退出mysql,修改clouderaManager配置文件。
mysql命令:quit;
3)要修改两种文件,一种是CM文件修改,一种是Agent文件修改。
linux指令:
#CM文件
vi /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.host=新CM主机名
#Agent文件
vi /etc/cloudera-scm-agent/config.ini
server_host = 新主机ip
修改完所有配置文件后,先启动cloudera-scm-server,再启动cloudera-scm-agent。
linux命令:
systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent
这样就能正确读取了ip地址了。假如还有问题建议重启试试。
3.监听CM的运行日志
linux命令:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
4.clouderaManager web界面地址
ClouderaManager默认端口是7180,hdfs默认端口是50070,当hadoop3.0后默认端口则是9870,当50070访问不到页面的时候注意查看自己hadoop版本。
linux命令 查看hadoop版本:hadoop version
5.hdfs中/tmp文件显示权限不足。报错信息为:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx
要修改 hdfs用户下的/tmp文件权限。
linux命令 : hdfs dfs -chmod -R 755 /tmp
上述就是小编为大家分享的CDH-cloudera-manager遇到的问题和命令有哪些了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注亿速云行业资讯频道。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。