本篇内容主要讲解“ES个人虚拟机集群安装步骤”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“ES个人虚拟机集群安装步骤”吧!
ES个人虚拟机集群安装
环境配置篇
操作系统选择
系统环境设置
Jvm环境变量
Elasticsearch安装配置
kibana安装配置
推荐centos7.x或者ubuntu18.x
命令:配置文件:/etc/sysctl.conf
#禁用内存与硬盘交换,需要运维帮助设置,不同环境可能设置不同
vm.swappiness=1
#设置虚拟内存大小
vm.max_map_count=262144
命令:配置文件:/etc/security/limits.conf; 星号代表用户
#进程线程数
* soft nproc 131072
* hard nproc 131072
#文件句柄数
* soft nofile 131072
* hard nofile 131072
#内存锁定交换
* soft memlock unlimited
* hard memlock unlimited
命令:
#创建ES账号,如elastic
useradd elastic
#授权ES程序目录elastic账号权限
#假设ES程序目录、数据目录、日志目录都在/gpes目录下
chown -R elastic:elastic gpes/*
禁用内存交换,防止内存不够,交换到磁盘,导致磁盘IO占用和性能下降内存锁定
mmpfile存储内存需要,不配置可能起不来
设置进程线程限制,ES进程内置多种线程池,线程数量多
设置文件句柄值,ES索引由很多文件组成,打开文件数量多
Linux下非root账号,安全限制
命令
ES相关程序需要开启很多端口http、tcp
service firewalld stop
chkconfig firewalld off
配置完成后,需要重启系统
1. 防火必须关闭:
2. 设置虚拟内存大小
命令:配置文件:/etc/profile;注意配置中格式是否正确例如分号和java_home位置
#ES最新版本自带jdk版本,默认可以不需要配置,建议配置,便于安装其他java程序辅助
#本内容中要求安装JDK14.X
export JAVA_HOME=/gpes/jdk.xxx.xx
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin;$PATH
export CLASSPATH=.;$JAVA_HOME/lib;$JRE_HOME/lib
负责无法使用常用自定义java命令,如jconsole,jps等
cd ${ES_HOME}/jdk/bin
./java -version
ES默认自带JDK,默认环境下,无需设置,查看自带OPEN JDK版本
建议设置Java环境变量
Java环境变量: 个人设置一定要与官方推荐jdk版本一致
elasticsearch.yml 核心配置文件、节点实例属性参数
jvm.options 配置堆栈参数等
log4j2.properties 日志常规配置、默认就好
其他
集群名称: 默认无需设置,建议设置
节点名称:单实例不用设置,集群下必须区分设置,建议设置
IP地址:必须设置,默认仅限本地访问
访问端口:http端口默认无需设置,tcp端口,默认需求设置
集群发现:
数据目录
日志目录
内存锁定
线程数或者处理器数:cpu和内存建议值为1:4
discovery.xxx 单节点无需配置
cluster.xxx 单节点默认可无需配置
多磁盘目录设置,path.data可设置数组,可优化点
默认目录,生产环境指向磁盘
默认未设置,建议必须设置
默认参数无需修改
处理器数量设置慎重,决定线程池大小
命令:配置文件: {ES_HOME}/config/elaticsearch.yml
#集群名称,默认可以不修改,建议设置
cluster.name:gpes01
#节点名称,必须修改,默认修改为当前机器名称,集群下必须区分设置
node.name:gpes_${HOSTNAME}
#IP地址,默认是local,仅限本地访问,外网不可访问,设置0.0.0.0通用做法
network.host:0.0.0.0
#访问端口,默认http为9200,tcp为9300,建议明确指定
http.port:9200
transport.port:9300
#数据目录与日志目录,默认在当前运行程序下,生产环境需要制定
# path.data:/path/to/data
#path.logs:/path/to/logs
#内存交换锁定,此处需要操作系统设置才生效
bootstrap.memory_lock:true
#防止批量删除索引
action.destructive_requires_name:true
#设置处理器数量,默认无需设置,单机器多实例需要设置
node.processors:4
#集群发现配置
# discovery.seed_hosts:["192.168.86.102:9300"]
cluster.initial_master_nodes:["192.168.86.102:9300"]
JDK选择
GC选择
堆栈大小
GC日志
gc.log路径设置
自主配置或者自带,自主配置的版本一定要与自带的JDK版本一致
7.8.1已经采集G1; 原则JDK14以上采用G1,14以下采用CMS
不超过1/2系统内存
空余1/2闲置内存
内存上线不超过32G,且不能等于32G,JVM原因导致不能超过32G
命令:配置文件:{ES_HOME}/config/jvm.options
#内存堆栈大小,不能超过1/2系统内存,多实例要谨慎
-Xms 1g
-Xmx 1g
#垃圾回收器 CMS与G1,当前CMS依然最好
8-13:-XX:+UseConcMarkSweepGC
14:-XX:+UseG1GC
#GC.log目录,便于排查gc问题,生产需要修改路径指向
8:-Xloggc:logs/gc.log
帐户安全/动态生成/keystore安全文件
启动ES脚本
当前窗口启动: ./elasticsearch
后台进程启动: ./elasticsearch -d
wins系统:elasticsearch.bat
linux系统:
bin
config
jdk
lib/modules
plugins
其他
启动脚本、常用工具脚本
配置
自动jdk,可选用,是openjdk
程序包
自有插件、三方插件
data,默认数据
logs,默认日志
ES文件目录
脚本命令
配置文件
bin:启动脚本、常用工具脚本
config:文件配置: {KIBANA_HOME}/config/kibana.yml
#访问端口,默认无需修改
server.port:5601
#访问地址IP,默认本地
server.host:"192.168.86.102"
#ES服务指向,集群下配置多个
elasticsearch.hosts:["http://192.168.86.102:9200"]
#Kibana元数据存储索引名称,默认.kibana无需修改,点不能去掉,后缀可以修改
kibana.index:".kibana"
其他:默认、无需关心
注意事项:
当前窗口:./kibana
后台启动: nohup ./kibana &
启动命令
winds系统:kibana.bat
linux系统:
安全、语言、其它
默认无需配置,建议配置修改
IP地址必须配置,默认仅限本地访问
必须配置,默认仅本地
ES配置指向
IP+PORT设置
元数据索引沉默
其他设置
必须要删除${ES_HOME}/logs中由root账户产生的日志
rm -rf *
cd logs/
必须要删除${ES_HOME}/config中elasticsearch.keystore
rm elasticsearch.keystore
cd config/
1. 如果第一次用root启动了,会失败,第二次要想用其他用户启动,要删除使用root启动时,自动生成的一些文件
文件目录
下载地址
下载软件
安装方式
官方地址:https://www.elastic.co/cn/downloads
Elasticsearch: 7.8.1
Kibana: 7.8.1 与ES版本一致
Chrome插件(非官方):elasticsearch-head
暂时不建议,因为数据存储会存在物理机目录中而不是容器中
1. 购买SAAS产品,腾讯云/阿里云/ES云
2. 离线包、推荐,建议xx.gz类似绿色版本
3. 在线包
4. 容器docker
1. 安装方式选择
2. 系统环境变量配置
到此,相信大家对“ES个人虚拟机集群安装步骤”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。