ELK日志分析系统——(实战！)

简介

日志服务器

提高安全性
集中存放日志
缺陷：对日志的分析困难

ELK日志分析系统

Elasticsearch：存储，索引池   
Logstash：日志收集器
Kibana：数据可视化

日志处理步骤

1，将日志进行集中化管理
2，将日志格式化（Logstash）并输出到Elasticsearch
3，对格式化后的数据进行索引和存储（Elasticsearch）
4，前端数据的展示（Kibana）

Elasticsearch的概述

 提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch的概念

 接近实时
 集群
 节点
 索引：索引(库)-->类型(表)-->文档(记录)
 分片和副本

Logstash介绍

 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出
 数据输入、数据加工(如过滤，改写等)以及数据输出

LogStash主要组件

 Shipper
 Indexer
 Broker
 Search and Storage
 Web Interface

Kibana介绍

 一个针对Elasticsearch的开源分析及可视化平台
 搜索、查看存储在Elasticsearch索引中的数据
 通过各种图表进行高级数据分析及展示

Kibana主要功能

 Elasticsearch无缝之集成
 整合数据，复杂数据分析
 让更多团队成员受益
 接口灵活，分享更容易
 配置简单，可视化多数据源
 简单数据导出

实验拓扑

实验环境

Apache服务器 192.168.13.128 （Logstash）
Node1服务器 192.168.13.129 （Elasticsearch，Kibana）
Node2服务器 192.168.13.130 （Elasticsearch）

1，在node1，node2上安装elasticsearch

[root@node1 ~]# vim /etc/hosts  ##配置解析名
192.168.13.129 node1
192.168.13.130 node2
[root@node1 ~]# java -version  ##查看是否支持Java
[root@node1 ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/
Password for root@//192.168.100.3/LNMP-C7:  
[root@node1 mnt]# cd /mnt/elk/
[root@node1 elk]# rpm -ivh elasticsearch-5.5.0.rpm   ##安装
[root@node1 elk]# systemctl daemon-reload  ##重载守护进程
[root@node1 elk]# systemctl enable elasticsearch.service   ##开机自启
[root@node1 elk]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak  ##备份
[root@node1 elasticsearch]# vim elasticsearch.yml  ##修改配置文件
cluster.name: my-elk-cluster  ##集群名
node.name: node1    ##节点名，第二个节点为node2
path.data: /data/elk_data   ##数据存放位置
path.logs: /var/log/elasticsearch/  ##日志存放位置
bootstrap.memory_lock: false  ##不在启动时锁定内存
network.host: 0.0.0.0   ##提供服务绑定的IP地址，为所有地址
http.port: 9200  ##端口号为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"]  ##集群发现通过单播实现
[root@node1 elasticsearch]# mkdir -p /data/elk_data   ##创建数据存放点
[root@node1 elasticsearch]# chown elasticsearch.elasticsearch /data/elk_data/  ##给权限
[root@node1 elasticsearch]# systemctl start elasticsearch.service   ##开启服务
[root@node1 elasticsearch]# netstat -ntap | grep 9200  ##查看开启情况
tcp6     0    0 :::9200        :::*          LISTEN      2166/java

2，在浏览器上检查健康和状态

3，在node1，node2上安装node组件依赖包

[root@node1 elasticsearch]# yum install gcc gcc-c++ make -y  ##安装编译工具
[root@node1 elasticsearch]# cd /mnt/elk/
[root@node1 elk]# tar zxvf node-v8.2.1.tar.gz -C /opt/  ##解压插件
[root@node1 elk]# cd /opt/node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure   ##配置
[root@node1 node-v8.2.1]# make && make install   ##编译安装

4，在node1，node2上安装phantomjs前端框架

[root@node1 elk]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
##解压到/usr/local/src下
[root@node1 elk]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin/   ##编译系统识别

5，在node1，node2上安装elasticsearch-head数据可视化

[root@node1 bin]# cd /mnt/elk/
[root@node1 elk]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/  ##解压
[root@node1 elk]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install  ##安装

6，修改配置文件

[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml
##末行加入
http.cors.enabled: true  ##开启跨域访问支持，默认为false
http.cors.allow-origin: "*"    ##跨域访问允许的域名地址
[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service  ##重启
[root@node1 elasticsearch-head]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &   ##后台运行数据可视化服务
[1] 82515
[root@node1 elasticsearch-head]# netstat -ntap | grep 9100
tcp        0      0 0.0.0.0:9100    0.0.0.0:*      LISTEN      82525/grunt  
[root@node1 elasticsearch-head]# netstat -ntap | grep 9200
tcp6       0    0 :::9200              :::*        LISTEN      82981/java 

7，在浏览器上查看健康值状态

8，在node1上创建索引

[root@node2 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
##创建索引信息

9，在Apache服务器上安装logstash，多elasticsearch进行对接

[root@apache ~]# yum install httpd -y   ##安装服务
[root@apache ~]# systemctl start httpd.service   ##启动服务
[root@apache ~]# java -version
[root@apache ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/   ##挂载
Password for root@//192.168.100.3/LNMP-C7:
[root@apache ~]# cd /mnt/elk/
[root@apache elk]# rpm -ivh logstash-5.5.1.rpm   ##安装logstash
[root@apache elk]# systemctl start logstash.service 
[root@apache elk]# systemctl enable logstash.service   ##自启
[root@apache elk]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/  ##便于系统识别
[root@apache elk]# logstash -e 'input { stdin{} } output { stdout{} }'  ##标准输入输出
The stdin plugin is now waiting for input:
16:58:11.145 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com   ##输入
2019-12-19T08:58:35.707Z apache www.baidu.com
www.sina.com.cn  ##输入
2019-12-19T08:58:42.092Z apache www.sina.com.cn
[root@apache elk]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'
##使用rubydebug显示详细输出，codec为一种编解码器
The stdin plugin is now waiting for input:
17:03:08.226 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com   ##格式化的处理
{
        "@timestamp" => 2019-12-19T09:03:13.267Z,
            "@version" => "1",
                    "host" => "apache",
             "message" => "www.baidu.com"
}
[root@apache elk]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.13.129:9200"] } }'
##使用logstach将信息写入elasticsearch中
The stdin plugin is now waiting for input:
17:06:46.846 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}
www.baidu.com     ##输入信息
www.sina.com.cn

10，用浏览器查看信息

##在数据浏览中可以查看信息

11，将系统日志文件输出到elasticsearch

[root@apache elk]# chmod o+r /var/log/messages   ##给其他用户读权限
[root@apache elk]# vim /etc/logstash/conf.d/system.conf  ##创建文件
input {
                file{
                path => "/var/log/messages"   ##输出目录
                type => "system"
                start_position => "beginning"
                }
}
output {
                elasticsearch {
                #输入地址指向node1节点
                hosts => ["192.168.13.129:9200"]
                index => "system-%{+YYYY.MM.dd}"
                }
}
[root@apache elk]# systemctl restart logstash.service  ##重启服务
##也可以用数据浏览查看详细信息

12，在node1服务器上安装kibana数据可视化

[root@node1 ~]# cd /mnt/elk/
[root@node1 elk]# rpm -ivh kibana-5.5.1-x86_64.rpm   ##安装
[root@node1 elk]# cd /etc/kibana/
[root@node1 kibana]# cp kibana.yml kibana.yml.bak  ##备份
[root@node1 kibana]# vim kibana.yml   ##修改配置文件
server.port: 5601  ##端口号
server.host: "0.0.0.0"   ##监听任意网段
elasticsearch.url: "http://192.168.13.129:9200"  ##本机节点地址
kibana.index: ".kibana"   ##索引名称
[root@node1 kibana]# systemctl start kibana.service   ##开启服务
[root@node1 kibana]# systemctl enable kibana.service 

13，浏览器访问kibana

14，在apache服务器中对接apache日志文件，进行统计

[root@apache elk]# vim /etc/logstash/conf.d/apache_log.conf  ##创建配置文件
input {
                file{
                path => "/etc/httpd/logs/access_log"   ##输入信息
                type => "access"
                start_position => "beginning"
                }
                file{
                path => "/etc/httpd/logs/error_log"
                type => "error"
                start_position => "beginning"
                }
}
output {
                if [type] == "access" {     ##根据条件判断输出信息
                elasticsearch {
                hosts => ["192.168.13.129:9200"]
                index => "apache_access-%{+YYYY.MM.dd}"
                }
        }   
                if [type] == "error" {
                elasticsearch {
                hosts => ["192.168.13.129:9200"]
                index => "apache_error-%{+YYYY.MM.dd}"
                }
        }
}
[root@apache elk]# logstash -f /etc/logstash/conf.d/apache_log.conf  
##根据配置文件配置logstach

15，访问网页信息，查看kibana统计情况

##选择management>Index Patterns>create index patterns
##创建apache两个日志的信息

谢谢阅读！