Hadoop负载均衡
均衡器(balancer)是一个Hadoop守护进程,它将块从忙碌的datanode移到相对空闲的datanode,从而重新分配块。同时坚持块副本放置策略,将副本分散到不同机架,以降低数据损坏率。它不断移动块,直到集群达到均衡,即每个datanode的使用率(该节点上已使用的空间与空间容量之间的比率)和集群的使用率(集群中已使用的空间与集群的空间容量之间的比率)非常接近,差距不超过给定的阈值。
为降低集群负荷,避免干扰其他用户,均衡器被设计为后台运行。在不同节点之间复制数据的带宽也是受限的。默认值是很小的1MB/s,可以通过hdfs-site.xml文件中的dfs.balance.bandwidthPersec属性重新设定(单位是字节)
Hadoop日志设置
可通过http://192.168.9.110:50070/logLevel查看和设置日志级别,截图如下:
3.Hadoop堆栈跟踪
可通过http://192.168.9.110:50070/stacks查看堆栈信息,截图如下:
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。