这篇文章主要讲解了“ElasticSearch集群的调优方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“ElasticSearch集群的调优方法”吧!
放权那些别人都能做的事情,把空出来的时间集中用在收入丰厚的活动上。放权其它无用的事情,将时间用来定位自己。
ElasticSearch集群调优
1、节点发现
单播:可以指定连接主机地址,一般设为master节点地址,如果集群环境存在多个es集群,一般使用此方法,比较安全。
在elasticSearch.yml中添加一下配置
discovery.zen.ping.unicast.hosts: ["*.*.*.61:9301", "*.*.*..62:9301","10.162.24.63:9301"]
多播:默认方式,比较简单,集群中有能够接收和响应的主机即可加入集群
判断主机是否支撑多播:
使用ifconfig命令,查询响应命令中是否含有MULTICAST属性。
2、节点的选取配置
在elasticSearch.yml中添加一下配置
主节点配置
node.master: true
node.data: false
数据节点配置
node.master: false
node.data: true
防止脑裂配置:
discovery.zen.minimum_master_nodes: n(n:有主节点资格并互相连接的最小数目,一般是所有集群数目+1的50%)
3、时光之门
配置集群数据和元数据的避风港:
在elasticSearch.yml中添加一下配置
gateway.type=local
4、配置高查询和高吞吐量
过滤器缓存
indices.cache.filter.size=具体内存大小或者占总内存的百分比
字段数据缓存和断路器
indices.fielddata.cache.size: 20%(可以设置具体值2G,或者总内存百分比20%)注意:字段数据缓存的大小是无限制的,所以不小心可以导致集群内存爆炸。
indices.fielddata.breaker.limit:80%(默认值80%)也可以通过字段断路器来实现,设置限制字段缓存所需的内存,超过设置值抛出异常
5、索引缓冲和刷新率
indices.memory.index_buffer_size: 30% 允许为索引设置最大的内存数,设置提供最大内存的30%用于给索引缓冲。也可以通过indices.memory.min_shard_index_buffer_size 属性,默认4mb,允许为每个分片设计的最小索引缓冲。用于索引缓冲区的可用内存越多,内存中保存的文档就越多。
index.refresh_interval属性,默认1s(1秒),刷新率是指定文档多快可以对搜索操作可见,等式非常简单:刷新率越快,查询越慢,索引的吞吐量越低,如果我们允许有一个较慢的刷新率,如10s或者30s,设置他是不错的,这使得ElasticSearch承受的压力更新,可以将更多的资源用于索引和查询。
6、线程池配置
thread_pool.write.queue_size: 2000,配置写请求队列为2000
强烈建议调整默认线程池,另外支持索引队列、写队列、读队列等
7、模板
可以设置多个索引的共同属性,模板之前可以分层覆盖,根据order属性进行顺序继承覆盖。
感谢各位的阅读,以上就是“ElasticSearch集群的调优方法”的内容了,经过本文的学习后,相信大家对ElasticSearch集群的调优方法这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。