温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

ElasticSearch集群的调优方法

发布时间:2021-09-09 14:27:48 来源:亿速云 阅读:235 作者:chen 栏目:大数据

这篇文章主要讲解了“ElasticSearch集群的调优方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“ElasticSearch集群的调优方法”吧!

放权那些别人都能做的事情,把空出来的时间集中用在收入丰厚的活动上。放权其它无用的事情,将时间用来定位自己。

ElasticSearch集群调优

1、节点发现

单播:可以指定连接主机地址,一般设为master节点地址,如果集群环境存在多个es集群,一般使用此方法,比较安全。

在elasticSearch.yml中添加一下配置

discovery.zen.ping.unicast.hosts: ["*.*.*.61:9301", "*.*.*..62:9301","10.162.24.63:9301"]

多播:默认方式,比较简单,集群中有能够接收和响应的主机即可加入集群

判断主机是否支撑多播:

使用ifconfig命令,查询响应命令中是否含有MULTICAST属性。

2、节点的选取配置

在elasticSearch.yml中添加一下配置

主节点配置

node.master: true

node.data: false

数据节点配置

node.master: false

node.data: true

防止脑裂配置:

discovery.zen.minimum_master_nodes: n(n:有主节点资格并互相连接的最小数目,一般是所有集群数目+1的50%)

3、时光之门

配置集群数据和元数据的避风港:

在elasticSearch.yml中添加一下配置

gateway.type=local

4、配置高查询和高吞吐量

过滤器缓存

indices.cache.filter.size=具体内存大小或者占总内存的百分比

字段数据缓存和断路器

indices.fielddata.cache.size: 20%(可以设置具体值2G,或者总内存百分比20%)注意:字段数据缓存的大小是无限制的,所以不小心可以导致集群内存爆炸。

indices.fielddata.breaker.limit:80%(默认值80%)也可以通过字段断路器来实现,设置限制字段缓存所需的内存,超过设置值抛出异常

5、索引缓冲和刷新率

indices.memory.index_buffer_size: 30% 允许为索引设置最大的内存数,设置提供最大内存的30%用于给索引缓冲。也可以通过indices.memory.min_shard_index_buffer_size 属性,默认4mb,允许为每个分片设计的最小索引缓冲。用于索引缓冲区的可用内存越多,内存中保存的文档就越多。

index.refresh_interval属性,默认1s(1秒),刷新率是指定文档多快可以对搜索操作可见,等式非常简单:刷新率越快,查询越慢,索引的吞吐量越低,如果我们允许有一个较慢的刷新率,如10s或者30s,设置他是不错的,这使得ElasticSearch承受的压力更新,可以将更多的资源用于索引和查询。

6、线程池配置

thread_pool.write.queue_size: 2000,配置写请求队列为2000

强烈建议调整默认线程池,另外支持索引队列、写队列、读队列等

7、模板

可以设置多个索引的共同属性,模板之前可以分层覆盖,根据order属性进行顺序继承覆盖。

感谢各位的阅读,以上就是“ElasticSearch集群的调优方法”的内容了,经过本文的学习后,相信大家对ElasticSearch集群的调优方法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI