CentOS8中怎么建立多节点Elastic stack集群

CentOS8中怎么建立多节点Elastic stack集群，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

Elasticsearch：

• 三台服务器，最小化安装 RHEL 8 / CentOS 8

• IP & 主机名 – 192.168.56.40（elasticsearch2.linuxtechi.local）、192.168.56.50 （elasticsearch3.linuxtechi.local）、192.168.56.60（elasticsearch4.linuxtechi.local`）

Logstash：

• 两台服务器，最小化安装 RHEL 8 / CentOS 8

• IP & 主机 – 192.168.56.20（logstash2.linuxtechi.local）、192.168.56.30（logstash3.linuxtechi.local）

Kibana：

• 一台服务器，最小化安装 RHEL 8 / CentOS 8

• IP & 主机名 – 192.168.56.10（kibana.linuxtechi.local）

Filebeat：

• 一台服务器，最小化安装 CentOS 7

• IP & 主机名 – 192.168.56.70（web-server）

让我们从设置 Elasticsearch 集群开始，

设置3个节点 Elasticsearch 集群

正如我已经说过的，设置 Elasticsearch 集群的节点，登录到每个节点，设置主机名并配置 yum/dnf 库。

使用命令 hostnamectl 设置各个节点上的主机名：

[root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch2.linuxtechi. local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#[root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch3.linuxtechi. local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#[root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch4.linuxtechi. local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#

对于 CentOS 8 系统，我们不需要配置任何操作系统包库，对于 RHEL 8 服务器，如果你有有效订阅，那么用红帽订阅以获得包存储库就可以了。如果你想为操作系统包配置本地 yum/dnf 存储库，请参考以下网址：

• 如何使用 DVD 或 ISO 文件在 RHEL 8 服务器上设置本地 Yum / DNF 存储库

在所有节点上配置 Elasticsearch 包存储库，在 /etc/yum.repo.d/ 文件夹下创建一个包含以下内容的 elastic.repo 文件：

~]# vi /etc/yum.repos.d/elastic.repo [elasticsearch-7.x]name=Elasticsearch repository for 7.x packagesbaseurl=https://artifacts.elastic.co/packages/7.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md

保存文件并退出。

在所有三个节点上使用 rpm 命令导入 Elastic 公共签名密钥。

~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

在所有三个节点的 /etc/hosts 文件中添加以下行:

192.168.56.40             elasticsearch2.linuxtechi.local192.168.56.50             elasticsearch3.linuxtechi.local192.168.56.60             elasticsearch4.linuxtechi.local

使用 yum/dnf 命令在所有三个节点上安装 Java：

[root@linuxtechi ~]# dnf install java-openjdk -y[root@linuxtechi ~]# dnf install java-openjdk -y[root@linuxtechi ~]# dnf install java-openjdk -y

使用 yum/dnf 命令在所有三个节点上安装 Elasticsearch：

[root@linuxtechi ~]# dnf install elasticsearch -y[root@linuxtechi ~]# dnf install elasticsearch -y[root@linuxtechi ~]# dnf install elasticsearch -y

注意： 如果操作系统防火墙已启用并在每个 Elasticsearch 节点中运行，则使用 firewall-cmd 命令允许以下端口开放：

~]# firewall-cmd --permanent --add-port=9300/tcp~]# firewall-cmd --permanent --add-port=9200/tcp~]# firewall-cmd --reload

配置 Elasticsearch, 在所有节点上编辑文件 /etc/elasticsearch/elasticsearch.yml 并加入以下内容：

~]# vim /etc/elasticsearch/elasticsearch.yml cluster.name: opn-clusternode.name: elasticsearch2.linuxtechi.localnetwork.host: 192.168.56.40http.port: 9200discovery.seed_hosts: ["elasticsearch2.linuxtechi.local", "elasticsearch3.linuxtechi.local", "elasticsearch4.linuxtechi.local"]cluster.initial_master_nodes: ["elasticsearch2.linuxtechi.local", "elasticsearch3.linuxtechi.local", "elasticsearch4.linuxtechi.local"]

注意： 在每个节点上，在 node.name 中填写正确的主机名，在 network.host 中填写正确的 IP 地址，其他参数保持不变。

现在使用 systemctl 命令在所有三个节点上启动并启用 Elasticsearch 服务：

~]# systemctl daemon-reload~]# systemctl enable elasticsearch.service~]# systemctl start elasticsearch.service

使用下面 ss 命令验证 elasticsearch 节点是否开始监听 9200 端口：

[root@linuxtechi ~]# ss -tunlp | grep 9200tcp   LISTEN  0       128       [::ffff:192.168.56.40]:9200              *:*     users:(("java",pid=2734,fd=256))[root@linuxtechi ~]#

使用以下 curl 命令验证 Elasticsearch 群集状态：

[root@linuxtechi ~]# curl  http://elasticsearch2.linuxtechi.local:9200[root@linuxtechi ~]# curl -X GET  http://elasticsearch3.linuxtechi.local:9200/_cluster/health?pretty

命令的输出如下所示：

Elasticsearch-cluster-status-rhel8

以上输出表明我们已经成功创建了 3 节点的 Elasticsearch 集群，集群的状态也是绿色的。

注意： 如果你想修改 JVM 堆大小，那么你可以编辑了文件 /etc/elasticsearch/jvm.options，并根据你的环境更改以下参数：

• -Xms1g

• -Xmx1g

现在让我们转到 Logstash 节点。

安装和配置 Logstash

在两个 Logstash 节点上执行以下步骤。

登录到两个节点使用 hostnamectl 命令设置主机名：

[root@linuxtechi ~]# hostnamectl set-hostname "logstash2.linuxtechi.local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#[root@linuxtechi ~]# hostnamectl set-hostname "logstash3.linuxtechi.local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#

在两个 logstash 节点的 /etc/hosts 文件中添加以下条目：

~]# vi /etc/hosts192.168.56.40             elasticsearch2.linuxtechi.local192.168.56.50             elasticsearch3.linuxtechi.local192.168.56.60             elasticsearch4.linuxtechi.local

保存文件并退出。

在两个节点上配置 Logstash 存储库，在文件夹 /ete/yum.repo.d/ 下创建一个包含以下内容的文件 logstash.repo：

~]# vi /etc/yum.repos.d/logstash.repo [elasticsearch-7.x]name=Elasticsearch repository for 7.x packagesbaseurl=https://artifacts.elastic.co/packages/7.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md

保存并退出文件，运行 rpm 命令导入签名密钥：

~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

使用 yum/dnf 命令在两个节点上安装 Java OpenJDK：

~]# dnf install java-openjdk -y

从两个节点运行 yum/dnf 命令来安装 logstash：

[root@linuxtechi ~]# dnf install logstash -y[root@linuxtechi ~]# dnf install logstash -y

现在配置 logstash，在两个 logstash 节点上执行以下步骤，创建一个 logstash 配置文件，首先我们在 /etc/logstash/conf.d/ 下复制 logstash 示例文件：

# cd /etc/logstash/# cp logstash-sample.conf conf.d/logstash.conf

编辑配置文件并更新以下内容：

# vi conf.d/logstash.conf input {  beats {    port => 5044  }} output {  elasticsearch {    hosts => ["http://elasticsearch2.linuxtechi.local:9200", "http://elasticsearch3.linuxtechi.local:9200", "http://elasticsearch4.linuxtechi.local:9200"]    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"    #user => "elastic"    #password => "changeme"  }}

在 output 部分之下，在 hosts 参数中指定所有三个 Elasticsearch 节点的 FQDN，其他参数保持不变。

使用 firewall-cmd 命令在操作系统防火墙中允许 logstash 端口 “5044”：

~ # firewall-cmd --permanent --add-port=5044/tcp~ # firewall-cmd –reload

现在，在每个节点上运行以下 systemctl 命令，启动并启用 Logstash 服务：

~]# systemctl start logstash~]# systemctl eanble logstash

使用 ss 命令验证 logstash 服务是否开始监听 5044 端口：

[root@linuxtechi ~]# ss -tunlp | grep 5044tcp   LISTEN  0       128                         *:5044                *:*      users:(("java",pid=2416,fd=96))[root@linuxtechi ~]#

以上输出表明 logstash 已成功安装和配置。让我们转到 Kibana 安装。

安装和配置 Kibana

登录 Kibana 节点，使用 hostnamectl 命令设置主机名：

[root@linuxtechi ~]# hostnamectl set-hostname "kibana.linuxtechi.local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#

编辑 /etc/hosts 文件并添加以下行：

192.168.56.40             elasticsearch2.linuxtechi.local192.168.56.50             elasticsearch3.linuxtechi.local192.168.56.60             elasticsearch4.linuxtechi.local

使用以下命令设置 Kibana 存储库：

[root@linuxtechi ~]# vi /etc/yum.repos.d/kibana.repo[elasticsearch-7.x]name=Elasticsearch repository for 7.x packagesbaseurl=https://artifacts.elastic.co/packages/7.x/yumgpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearchenabled=1autorefresh=1type=rpm-md [root@linuxtechi ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

执行 yum/dnf 命令安装 kibana：

[root@linuxtechi ~]# yum install kibana -y

通过编辑 /etc/kibana/kibana.yml 文件，配置 Kibana：

[root@linuxtechi ~]# vim /etc/kibana/kibana.yml…………server.host: "kibana.linuxtechi.local"server.name: "kibana.linuxtechi.local"elasticsearch.hosts: ["http://elasticsearch2.linuxtechi.local:9200", "http://elasticsearch3.linuxtechi.local:9200", "http://elasticsearch4.linuxtechi.local:9200"]…………

启用并启动 kibana 服务：

[root@linuxtechi ~]# systemctl start kibana[root@linuxtechi ~]# systemctl enable kibana

在系统防火墙上允许 Kibana 端口 “5601”：

[root@linuxtechi ~]# firewall-cmd --permanent --add-port=5601/tcpsuccess[root@linuxtechi ~]# firewall-cmd --reloadsuccess[root@linuxtechi ~]#

使用以下 URL 访问 Kibana 界面：http://kibana.linuxtechi.local:5601

Kibana-Dashboard-rhel8

从面板上，我们可以检查 Elastic Stack 集群的状态。

Stack-Monitoring-Overview-RHEL8

这证明我们已经在 RHEL 8 /CentOS 8 上成功地安装并设置了多节点 Elastic Stack 集群。

现在让我们通过 filebeat 从其他 Linux 服务器发送一些日志到 logstash 节点中，在我的例子中，我有一个 CentOS 7服务器，我将通过 filebeat 将该服务器的所有重要日志推送到 logstash。

登录到 CentOS 7 服务器使用 yum/rpm 命令安装 filebeat 包：

[root@linuxtechi ~]# rpm -ivh https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.1-x86_64.rpmRetrieving https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.1-x86_64.rpmPreparing...                          ################################# [100%]Updating / installing...   1:filebeat-7.3.1-1                 ################################# [100%][root@linuxtechi ~]#

编辑 /etc/hosts 文件并添加以下内容：

192.168.56.20             logstash2.linuxtechi.local192.168.56.30             logstash3.linuxtechi.local

现在配置 filebeat，以便它可以使用负载平衡技术向 logstash 节点发送日志，编辑文件 /etc/filebeat/filebeat.yml，并添加以下参数：

在 filebeat.inputs: 部分将 enabled: false 更改为 enabled: true，并在 paths 参数下指定我们可以发送到 logstash 的日志文件的位置；注释掉 output.elasticsearch 和 host 参数；删除 output.logstash: 和 hosts: 的注释，并在 hosts 参数添加两个 logstash 节点，以及设置 loadbalance: true。

[root@linuxtechi ~]# vi /etc/filebeat/filebeat.yml filebeat.inputs:- type: log  enabled: true  paths:    - /var/log/messages    - /var/log/dmesg    - /var/log/maillog    - /var/log/boot.log#output.elasticsearch:  #  hosts: ["localhost:9200"] output.logstash:    hosts: ["logstash2.linuxtechi.local:5044", "logstash3.linuxtechi.local:5044"]    loadbalance: true

使用下面的 2 个 systemctl 命令 启动并启用 filebeat 服务：

[root@linuxtechi ~]# systemctl start filebeat[root@linuxtechi ~]# systemctl enable filebeat

现在转到 Kibana 用户界面，验证新索引是否可见。

从左侧栏中选择管理选项，然后单击 Elasticsearch 下的索引管理：

Elasticsearch-index-management-Kibana

正如我们上面看到的，索引现在是可见的，让我们现在创建索引模型。

点击 Kibana 部分的 “Index Patterns”，它将提示我们创建一个新模型，点击 “Create Index Pattern” ，并将模式名称指定为 “filebeat”：

Define-Index-Pattern-Kibana-RHEL8

点击下一步。

选择 “Timestamp” 作为索引模型的时间过滤器，然后单击 “Create index pattern”：

Time-Filter-Index-Pattern-Kibana-RHEL8

filebeat-index-pattern-overview-Kibana

现在单击查看实时 filebeat 索引模型：

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注亿速云行业资讯频道，感谢您对亿速云的支持。