温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

ES个人虚拟机集群安装步骤

发布时间:2021-07-19 10:16:58 来源:亿速云 阅读:218 作者:chen 栏目:云计算

本篇内容主要讲解“ES个人虚拟机集群安装步骤”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“ES个人虚拟机集群安装步骤”吧!

ES个人虚拟机集群安装

  • 环境配置篇

    • 操作系统选择

    • 系统环境设置

    • Jvm环境变量

    • Elasticsearch安装配置

    • kibana安装配置

    • 推荐centos7.x或者ubuntu18.x

    • 命令:配置文件:/etc/sysctl.conf
      #禁用内存与硬盘交换,需要运维帮助设置,不同环境可能设置不同
      vm.swappiness=1
      #设置虚拟内存大小
      vm.max_map_count=262144

    • 命令:配置文件:/etc/security/limits.conf; 星号代表用户
      #进程线程数
      * soft nproc 131072
      * hard nproc 131072
      #文件句柄数
      * soft nofile 131072
      * hard nofile 131072
      #内存锁定交换
      * soft memlock unlimited
      * hard memlock unlimited

    • 命令:
      #创建ES账号,如elastic
      useradd elastic
      #授权ES程序目录elastic账号权限
      #假设ES程序目录、数据目录、日志目录都在/gpes目录下
      chown -R elastic:elastic gpes/*

    • 禁用内存交换,防止内存不够,交换到磁盘,导致磁盘IO占用和性能下降内存锁定

    • mmpfile存储内存需要,不配置可能起不来

    • 设置进程线程限制,ES进程内置多种线程池,线程数量多

    • 设置文件句柄值,ES索引由很多文件组成,打开文件数量多

    • Linux下非root账号,安全限制

    • 命令

    • ES相关程序需要开启很多端口http、tcp

    • service firewalld stop

    • chkconfig firewalld off

    • 配置完成后,需要重启系统

    • 1. 防火必须关闭:

    • 2. 设置虚拟内存大小

    • 命令:配置文件:/etc/profile;注意配置中格式是否正确例如分号和java_home位置
      #ES最新版本自带jdk版本,默认可以不需要配置,建议配置,便于安装其他java程序辅助
      #本内容中要求安装JDK14.X
      export JAVA_HOME=/gpes/jdk.xxx.xx
      export JRE_HOME=$JAVA_HOME/jre
      export PATH=$JAVA_HOME/bin;$PATH
      export CLASSPATH=.;$JAVA_HOME/lib;$JRE_HOME/lib

    • 负责无法使用常用自定义java命令,如jconsole,jps等

    • cd ${ES_HOME}/jdk/bin

    • ./java -version

    • ES默认自带JDK,默认环境下,无需设置,查看自带OPEN JDK版本

    • 建议设置Java环境变量

    • Java环境变量: 个人设置一定要与官方推荐jdk版本一致

    • elasticsearch.yml 核心配置文件、节点实例属性参数

    • jvm.options 配置堆栈参数等

    • log4j2.properties 日志常规配置、默认就好

    • 其他

    • 集群名称: 默认无需设置,建议设置

    • 节点名称:单实例不用设置,集群下必须区分设置,建议设置

    • IP地址:必须设置,默认仅限本地访问

    • 访问端口:http端口默认无需设置,tcp端口,默认需求设置

    • 集群发现:

    • 数据目录

    • 日志目录

    • 内存锁定

    • 线程数或者处理器数:cpu和内存建议值为1:4

    • discovery.xxx 单节点无需配置

    • cluster.xxx 单节点默认可无需配置

    • 多磁盘目录设置,path.data可设置数组,可优化点

    • 默认目录,生产环境指向磁盘

    • 默认未设置,建议必须设置

    • 默认参数无需修改

    • 处理器数量设置慎重,决定线程池大小

    • 命令:配置文件: {ES_HOME}/config/elaticsearch.yml
      #集群名称,默认可以不修改,建议设置
      cluster.name:gpes01
      #节点名称,必须修改,默认修改为当前机器名称,集群下必须区分设置
      node.name:gpes_${HOSTNAME}
      #IP地址,默认是local,仅限本地访问,外网不可访问,设置0.0.0.0通用做法
      network.host:0.0.0.0
      #访问端口,默认http为9200,tcp为9300,建议明确指定
      http.port:9200
      transport.port:9300
      #数据目录与日志目录,默认在当前运行程序下,生产环境需要制定
      #  path.data:/path/to/data
      #path.logs:/path/to/logs
      #内存交换锁定,此处需要操作系统设置才生效
      bootstrap.memory_lock:true
      #防止批量删除索引
      action.destructive_requires_name:true
      #设置处理器数量,默认无需设置,单机器多实例需要设置
      node.processors:4
      #集群发现配置
      # discovery.seed_hosts:["192.168.86.102:9300"]
      cluster.initial_master_nodes:["192.168.86.102:9300"]
       

    • JDK选择

    • GC选择

    • 堆栈大小

    • GC日志

    • gc.log路径设置

    • 自主配置或者自带,自主配置的版本一定要与自带的JDK版本一致

    • 7.8.1已经采集G1; 原则JDK14以上采用G1,14以下采用CMS

    • 不超过1/2系统内存

    • 空余1/2闲置内存

    • 内存上线不超过32G,且不能等于32G,JVM原因导致不能超过32G

    • 命令:配置文件:{ES_HOME}/config/jvm.options
      #内存堆栈大小,不能超过1/2系统内存,多实例要谨慎
      -Xms 1g
      -Xmx 1g
      #垃圾回收器 CMS与G1,当前CMS依然最好
      8-13:-XX:+UseConcMarkSweepGC
      14:-XX:+UseG1GC
      #GC.log目录,便于排查gc问题,生产需要修改路径指向
      8:-Xloggc:logs/gc.log

    • 帐户安全/动态生成/keystore安全文件

    • 启动ES脚本

    • 当前窗口启动: ./elasticsearch

    • 后台进程启动: ./elasticsearch -d

    • wins系统:elasticsearch.bat

    • linux系统:

    • bin

    • config

    • jdk

    • lib/modules

    • plugins

    • 其他

    • 启动脚本、常用工具脚本

    • 配置

    • 自动jdk,可选用,是openjdk

    • 程序包

    • 自有插件、三方插件

    • data,默认数据

    • logs,默认日志

    • ES文件目录

    • 脚本命令

    • 配置文件

    • bin:启动脚本、常用工具脚本

    • config:文件配置: {KIBANA_HOME}/config/kibana.yml
      #访问端口,默认无需修改
      server.port:5601
      #访问地址IP,默认本地
      server.host:"192.168.86.102"
      #ES服务指向,集群下配置多个
      elasticsearch.hosts:["http://192.168.86.102:9200"]
      #Kibana元数据存储索引名称,默认.kibana无需修改,点不能去掉,后缀可以修改
      kibana.index:".kibana"

    • 其他:默认、无需关心

    • 注意事项:

    • 当前窗口:./kibana

    • 后台启动: nohup ./kibana &

    • 启动命令

    • winds系统:kibana.bat

    • linux系统:

    • 安全、语言、其它

    • 默认无需配置,建议配置修改

    • IP地址必须配置,默认仅限本地访问

    • 必须配置,默认仅本地

    • ES配置指向

    • IP+PORT设置

    • 元数据索引沉默

    • 其他设置

    • 必须要删除${ES_HOME}/logs中由root账户产生的日志

    • rm -rf *

    • cd logs/

    • 必须要删除${ES_HOME}/config中elasticsearch.keystore

    • rm elasticsearch.keystore

    • cd config/

    • 1. 如果第一次用root启动了,会失败,第二次要想用其他用户启动,要删除使用root启动时,自动生成的一些文件

    • 文件目录

    • 下载地址

    • 下载软件

    • 安装方式

    • 官方地址:https://www.elastic.co/cn/downloads

    • Elasticsearch: 7.8.1

    • Kibana: 7.8.1 与ES版本一致

    • Chrome插件(非官方):elasticsearch-head

    • 暂时不建议,因为数据存储会存在物理机目录中而不是容器中

    • 1. 购买SAAS产品,腾讯云/阿里云/ES云

    • 2. 离线包、推荐,建议xx.gz类似绿色版本

    • 3. 在线包

    • 4. 容器docker

    • 1. 安装方式选择

    • 2. 系统环境变量配置

      到此,相信大家对“ES个人虚拟机集群安装步骤”有了更深的了解,不妨来实际操作一番吧!这里是亿速云网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

      向AI问一下细节

      免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

      AI