温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

启动hadoop时的提示信息是什么意思

发布时间:2021-12-09 16:23:54 来源:亿速云 阅读:157 作者:小新 栏目:云计算

这篇文章主要介绍了启动hadoop时的提示信息是什么意思,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

#启动hadoop分布式系统(在namenode上运行)
start-dfs.sh 
#输入信息如下:

1。下面这句说明了当前这个命令的功能:启动namenode

Starting namenodes on [namenode.hadoop.ymxx]

2。namenode反馈启动信息,并告诉启动namenode的日志文件存放在哪里

    out改成log即是对应的日志文件,冒号 : 前面是目标节点(IP或者机器名),冒号 : 后面是目标节点的反馈信息

namenode.hadoop.ymxx: starting namenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-namenode-namenode.hadoop.ymxx.out

3。datanode反馈启动信息,同样告诉启动datanode的日志存放在datanode节点上的哪个目录下(我这里配置了四个datanode节点)

    datanode4nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode4nodemanager.hadoop.ymxx.out
    datanodenodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanodenodemanager.hadoop.ymxx.out
    datanode2nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode2nodemanager.hadoop.ymxx.out
    datanode3nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode3nodemanager.hadoop.ymxx.out

4。启动secondary namenode

Starting secondary namenodes [secondarynamenode.hadoop.ymxx]

5。seconary namenode反馈启动信息,并告知日志信息

secondarynamenode.hadoop.ymxx: starting secondarynamenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-secondarynamenode-secondarynamenode.hadoop.ymxx.out

注:

1。信息里的日志目录是目标节点上的目录,而不是namenode上的目录

2。可以通过jps命令到目标机器上查看,对应的进程有无启动(通常从启动时控制台打印的信息是看不出来有没有启动成功的,必须通过jps去查看有无相关进程)

3。如果发现没有启动,应该立即查看目标节点上的日志文件,分析启动失败的原因

4。这里说明下,网上很多搭建hadoop分布式计算平台的例子都是将NameNode和ResoureManger放在同一台机器上的,所以搭建好了之后,可以在同一台机器上运行start-dfs.sh和start-yarn.sh来启动整个分布式系统,这个做法给人一个错觉仿佛start-dfs.sh,start-yarn.sh都在NameNode上执行了就行了,事实上这是错误的理解方式,start-dfs.sh应该在NameNode所在的机器上执行,而start-yarn.sh应该在ResourceManager所在的机器上执行,这个很重要。我被这个错觉害的很惨,都怪自己没有好好的看官方文档,其实官方文档里说的很清楚:

#翻译下就是:使用下面的命令启动yarn,在被指定为资源管理器的机器上使用yarn这个用户运行
#唉,不看文档,盲目跟风活受罪啊
Start the YARN with the following command, run on the designated ResourceManager as yarn:
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager

感谢你能够认真阅读完这篇文章,希望小编分享的“启动hadoop时的提示信息是什么意思”这篇文章对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,更多相关知识等着你来学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI