ES个人虚拟机集群安装步骤

本篇内容主要讲解“ES个人虚拟机集群安装步骤”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“ES个人虚拟机集群安装步骤”吧!

ES个人虚拟机集群安装

• 环境配置篇

• 操作系统选择

• 系统环境设置

• Jvm环境变量

• Elasticsearch安装配置

• kibana安装配置

• 推荐centos7.x或者ubuntu18.x

• 命令：配置文件：/etc/sysctl.conf
  #禁用内存与硬盘交换，需要运维帮助设置，不同环境可能设置不同
  vm.swappiness=1
  #设置虚拟内存大小
  vm.max_map_count=262144

• 命令：配置文件：/etc/security/limits.conf； 星号代表用户
  #进程线程数
  * soft nproc 131072
  * hard nproc 131072
  #文件句柄数
  * soft nofile 131072
  * hard nofile 131072
  #内存锁定交换
  * soft memlock unlimited
  * hard memlock unlimited

• 命令：
  #创建ES账号，如elastic
  useradd elastic
  #授权ES程序目录elastic账号权限
  #假设ES程序目录、数据目录、日志目录都在/gpes目录下
  chown -R elastic:elastic gpes/*
  

• 禁用内存交换，防止内存不够，交换到磁盘，导致磁盘IO占用和性能下降内存锁定

• mmpfile存储内存需要，不配置可能起不来

• 设置进程线程限制，ES进程内置多种线程池，线程数量多

• 设置文件句柄值，ES索引由很多文件组成，打开文件数量多

• Linux下非root账号，安全限制

• 命令

• ES相关程序需要开启很多端口http、tcp

• service firewalld stop

• chkconfig firewalld off

• 配置完成后，需要重启系统

• 1. 防火必须关闭：

• 2. 设置虚拟内存大小

• 命令：配置文件：/etc/profile；注意配置中格式是否正确例如分号和java_home位置
  #ES最新版本自带jdk版本，默认可以不需要配置，建议配置，便于安装其他java程序辅助
  #本内容中要求安装JDK14.X
  export JAVA_HOME=/gpes/jdk.xxx.xx
  export JRE_HOME=$JAVA_HOME/jre
  export PATH=$JAVA_HOME/bin;$PATH
  export CLASSPATH=.;$JAVA_HOME/lib;$JRE_HOME/lib

• 负责无法使用常用自定义java命令，如jconsole，jps等

• cd ${ES_HOME}/jdk/bin

• ./java -version

• ES默认自带JDK，默认环境下，无需设置，查看自带OPEN JDK版本

• 建议设置Java环境变量

• Java环境变量: 个人设置一定要与官方推荐jdk版本一致

• elasticsearch.yml 核心配置文件、节点实例属性参数

• jvm.options 配置堆栈参数等

• log4j2.properties 日志常规配置、默认就好

• 其他

• 集群名称： 默认无需设置，建议设置

• 节点名称：单实例不用设置，集群下必须区分设置，建议设置

• IP地址：必须设置，默认仅限本地访问

• 访问端口：http端口默认无需设置，tcp端口，默认需求设置

• 集群发现：

• 数据目录

• 日志目录

• 内存锁定

• 线程数或者处理器数：cpu和内存建议值为1:4

• discovery.xxx 单节点无需配置

• cluster.xxx 单节点默认可无需配置

• 多磁盘目录设置，path.data可设置数组，可优化点

• 默认目录，生产环境指向磁盘

• 默认未设置，建议必须设置

• 默认参数无需修改

• 处理器数量设置慎重，决定线程池大小

• 命令：配置文件： {ES_HOME}/config/elaticsearch.yml
  #集群名称，默认可以不修改，建议设置
  cluster.name:gpes01
  #节点名称，必须修改，默认修改为当前机器名称，集群下必须区分设置
  node.name:gpes_${HOSTNAME}
  #IP地址，默认是local，仅限本地访问，外网不可访问，设置0.0.0.0通用做法
  network.host:0.0.0.0
  #访问端口，默认http为9200，tcp为9300，建议明确指定
  http.port:9200
  transport.port:9300
  #数据目录与日志目录，默认在当前运行程序下，生产环境需要制定
  #  path.data:/path/to/data
  #path.logs:/path/to/logs
  #内存交换锁定，此处需要操作系统设置才生效
  bootstrap.memory_lock:true
  #防止批量删除索引
  action.destructive_requires_name:true
  #设置处理器数量，默认无需设置，单机器多实例需要设置
  node.processors:4
  #集群发现配置
  # discovery.seed_hosts:["192.168.86.102:9300"]
  cluster.initial_master_nodes:["192.168.86.102:9300"]
   

• JDK选择

• GC选择

• 堆栈大小

• GC日志

• gc.log路径设置

• 自主配置或者自带，自主配置的版本一定要与自带的JDK版本一致

• 7.8.1已经采集G1; 原则JDK14以上采用G1，14以下采用CMS

• 不超过1/2系统内存

• 空余1/2闲置内存

• 内存上线不超过32G，且不能等于32G，JVM原因导致不能超过32G

• 命令：配置文件：{ES_HOME}/config/jvm.options
  #内存堆栈大小，不能超过1/2系统内存，多实例要谨慎
  -Xms 1g
  -Xmx 1g
  #垃圾回收器 CMS与G1，当前CMS依然最好
  8-13:-XX:+UseConcMarkSweepGC
  14:-XX:+UseG1GC
  #GC.log目录，便于排查gc问题，生产需要修改路径指向
  8:-Xloggc:logs/gc.log

• 帐户安全/动态生成/keystore安全文件

• 启动ES脚本

• 当前窗口启动： ./elasticsearch

• 后台进程启动： ./elasticsearch -d

• wins系统：elasticsearch.bat

• linux系统：

• bin

• config

• jdk

• lib/modules

• plugins

• 其他

• 启动脚本、常用工具脚本

• 配置

• 自动jdk，可选用，是openjdk

• 程序包

• 自有插件、三方插件

• data，默认数据

• logs，默认日志

• ES文件目录

• 脚本命令

• 配置文件

• bin：启动脚本、常用工具脚本

• config：文件配置: {KIBANA_HOME}/config/kibana.yml
  #访问端口，默认无需修改
  server.port:5601
  #访问地址IP，默认本地
  server.host:"192.168.86.102"
  #ES服务指向，集群下配置多个
  elasticsearch.hosts:["http://192.168.86.102:9200"]
  #Kibana元数据存储索引名称，默认.kibana无需修改，点不能去掉，后缀可以修改
  kibana.index:".kibana"

• 其他：默认、无需关心

• 注意事项：

• 当前窗口：./kibana

• 后台启动： nohup ./kibana &

• 启动命令

• winds系统：kibana.bat

• linux系统：

• 安全、语言、其它

• 默认无需配置，建议配置修改

• IP地址必须配置，默认仅限本地访问

• 必须配置，默认仅本地

• ES配置指向

• IP+PORT设置

• 元数据索引沉默

• 其他设置

• 必须要删除${ES_HOME}/logs中由root账户产生的日志

• rm -rf *

• cd logs/

• 必须要删除${ES_HOME}/config中elasticsearch.keystore

• rm elasticsearch.keystore

• cd config/

• 1. 如果第一次用root启动了，会失败，第二次要想用其他用户启动，要删除使用root启动时，自动生成的一些文件

• 文件目录

• 下载地址

• 下载软件

• 安装方式

• 官方地址：https://www.elastic.co/cn/downloads

• Elasticsearch: 7.8.1

• Kibana: 7.8.1 与ES版本一致

• Chrome插件（非官方）：elasticsearch-head

• 暂时不建议，因为数据存储会存在物理机目录中而不是容器中

• 1. 购买SAAS产品，腾讯云/阿里云/ES云

• 2. 离线包、推荐，建议xx.gz类似绿色版本

• 3. 在线包

• 4. 容器docker

• 1. 安装方式选择

• 2. 系统环境变量配置

到此，相信大家对“ES个人虚拟机集群安装步骤”有了更深的了解，不妨来实际操作一番吧！这里是亿速云网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！