温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Hbase内存分配与集群规划的方法是什么

发布时间:2021-12-09 09:49:31 来源:亿速云 阅读:234 作者:iii 栏目:大数据

本篇内容主要讲解“Hbase内存分配与集群规划的方法是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hbase内存分配与集群规划的方法是什么”吧!

HBASE内存规划与调优

1. Hbase BlockCache常用类型

一个regionserver只能有一个BlockCache。

  • 读多写少型 BucketCache。

  • 写多读少型 LRUBlockCache。

注:使用BucketCache还是使用LRUBlockCache,只和分配给RegionServer的内存大小有关。一般而言,如果HBASE_HEAPSIZE > 20G,选择BucketCache,否则选择LRUBlockCache。

  • 硬性规定:LRUBlockCache + MemStore < 80% * JVM_HEAP,即留出20%的空间,否则RS无法启动。

  • 默认分配给MemStore和BlockCache的JVM内存比例均为0.4

2. regionServer与region的对应关系

  1. 默认的hbase.hregion.memstore.flush.size =128M,即每个MemStore大小为128M,所以一个regionserver所能支持的最大region就可以计算出来

    JVM_HEAP_SIZE * 0.4 / 128M / 列族个数


    如果写很重的场景下,可以适当调高hbase.regionserver.global.memstore.size,这样可以容纳更多的region数量。建议分配合理的region数量,根据写请求量的情况,一般20-200个之间,可以提高集群稳定性,排除很多不确定的因素,提升读写性能。

    通常较少的region可使集群运行的更加平稳,官方指出,每个regionServer大约100个regions的时候效果最佳,设计表的时候应该尽量减少列族

  2. 每个region最佳大小5-10GB

到此,相信大家对“Hbase内存分配与集群规划的方法是什么”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI