ELK大数据分析课程

ELK大数据分析课程

文档出自：广通学院    版本：1.0  

QQ：430696786   微信号：winlone

官方资料：

beats文件采集：https://www.elastic.co/products/beats

logstash日志分析：https://www.elastic.co/products/logstash

elasticsearch日记存储：https://www.elastic.co/products/elasticsearch

kibana日志展示界面：https://www.elastic.co/products/kibana

一、概述：

Beats：分布在每个应用服务器的采集器

Beats平台集合了多种单一用途数据采集器，这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。

Logstash：接收Beats传过来的数据，分析数据，并发送到存储日志的地方

Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。

Elasticsearch：用来存储格式化好的统计数据

Elasticsearch是一个基于Lucene的搜索和数据分析工具，它提供了一个分布式服务。Elasticsearch是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。

Kibana：把统计数据通过图表形式展现出来

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

二、安装：

2.1 准备工作

* 系统环境：Centos7.4

* 安装必备软件：

yum  install  java-1.8.0-openjdk

* 新建目录：

mkdir /tools

mkdir /tools/install/

mkdir /tools/download/

* 新建es用户：

groupadd es              #增加es组

useradd es  -g es -p es  #增加es用户并附加到es组

chown -R es:es /usr/lib/jvm/               #java也需要分配给es用户访问权限

chown -R es:es /tools/   #安装目录分配权限

su es   #切换到es用户

2.2 安装Elasticsearch

2.2.1 Elasticsearch下载：

cd /tools/download/

wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz

2.2.2 解压Elasticsearch程序包:

tar -xzf elasticsearch-6.4.3.tar.gz

mv /tools/download/elasticsearch-6.4.3 /tools/install/elasticsearch-6.4.3

chown -R es:es /tools/install/elasticsearch-6.4.3

2.2.3 Elasticsearch的配置

* 进入elasticsearch-6.4.3目录

  cd /tools/install/elasticsearch-6.4.3

* 设置jvm虚拟内存：

vi config/jvm.options

-Xms512m

-Xms512m

* elasticsearch.yml配置：

vi config/elasticsearch.yml

如需远程主机需访问该elasticsearch服务，需配置对外出口ip和端口：

指定路径：可以不指定，默认当前路径的data和logs，指定路径后要配置es组的权限

配置下载：

* 启动elasticsearch

./bin/elasticsearch -d

* 停止elasticsearch

ps -ef |grep elasticsearch

kill -9 进程id

* 启动配置服务可能会出现的几个错误

1. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

vi /etc/security/limits.conf

加入：

es soft nofile 65536

es hard nofile 65536

执行命令：ulimit -Hn

2. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

3.max number of threads [1024] for user [elasticsearch] is too low, increase to at least [2048]

vi /etc/security/limits.d/90-nproc.conf

4. system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

bootstrap.system_call_filter: false

2.2.4 启动成功的访问地址

curl 'http://localhost:9200/?pretty'

2.3 安装Kibana

2.3.1 Kibana下载：

cd /tools/download/

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz

2.3.2 解压Kibana程序包:

tar -xzf kibana-6.4.3-linux-x86_64.tar.gz

mv /tools/download/kibana-6.4.3-linux-x86_64 /tools/install/kibana-6.4.3-linux-x86_64

chown -R es:es /tools/install/kibana-6.4.3-linux-x86_64

2.3.3 Kibana配置:

* 配置Kibana, 配置server.host地址，需远程连接，因此配置服务器内网IP即可。

vi config/kibana.yml

配置如下：

server.port: 5601

server.host: "172.16.151.119"

elasticsearch.url: "http://localhost:9200"

配置下载：

* 启动kibana

nohup ./bin/kibana &

* 访问kibana

访问：http://172.16.151.119:5601

外网：http://外网IP:5601

2.4 安装Filebeat

2.4.1 Filebeat下载：

cd /tools/download/

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.3-linux-x86_64.tar.gz

2.4.2 解压Filebeat程序包:

tar -xzf filebeat-6.4.3-linux-x86_64.tar.gz

mv /tools/download/filebeat-6.4.3-linux-x86_64 /tools/install/filebeat-6.4.3-linux-x86_64

chown -R es:es /tools/install/filebeat-6.4.3-linux-x86_64

2.4.3 配置filebeat.yml文件

#=========================== Filebeat inputs =============================

filebeat.inputs:

- type: log

  enabled: true

  paths:

    - /data/logs/*.log

  fields_under_root: true

  fields:

    alilogtype: applog

#============================= Filebeat modules ===============================

filebeat.config.modules:

  path: ${path.config}/modules.d/*.yml

  reload.enabled: false

#==================== Elasticsearch template setting ==========================

setup.template.settings:

  index.number_of_shards: 3

#----------------------------- Logstash output --------------------------------

output.logstash:

  hosts: ["localhost:5044"]

配置下载：

2.4.4 启动filebeat

nohup ./filebeat -c ./filebeat.yml &

2.5 安装logstash

2.5.1 logstash下载：

cd /tools/download/

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz

2.5.2 解压logstash程序包:

tar -xzf logstash-6.4.3.tar.gz

mv /tools/download/logstash-6.4.3 /tools/install/logstash-6.4.3

chown -R es:es /tools/install/logstash-6.4.3

2.5.3 配置logstash.conf文件

vi config/logstash.conf

配置如下：

input {

  beats {

    port => 5044

  }

}

filter {

        grok {

                patterns_dir => ["/tools/install/logstash-6.4.3/patterns"]

                match => {

                        "message" => "%{IPORHOST:forwordip}.*%{HTTPDATE:logtime}.*"

                }

                remove_field => ["message", "host", "tags", "input", "@timestamp", "offset", "host", "@version", "beat"]

        }

}

output {

  elasticsearch {

    hosts => ["http://localhost:9200"]

    index => "beat-mylog"

    #user => "elastic"

    #password => "changeme"

  }

  stdout { codec => rubydebug }

}

配置下载：

正则配置：

2.5.4 配合jvm.options虚拟内存

-Xms1g

-Xmx1g

2.5.5 配置logstash.yml文件

vi config/logstash.yml

node.name: test

pipeline.id: main

pipeline.workers: 2

pipeline.batch.size: 125

pipeline.batch.delay: 50

pipeline.unsafe_shutdown: false

path.config: /tools/install/logstash-6.4.3/config/logstash.conf

http.host: "127.0.0.1"

http.port: 9600-9700

配置下载：

2.5.6 logstash启动

nohup ./bin/logstash -f ./config/logstash.conf &

2.5.7 相关地址

input监听：0.0.0.0:5044

Logstash API endpoint：http://127.0.0.1:9600

访问：http://127.0.0.1:9600

{"host":"iZbp1f69c0ocoflj7y2nlxZ","version":"6.4.3","http_address":"127.0.0.1:9600","id":"de36d17d-ca9d-4123-a33b-c2b9af00dcd9","name":"test","build_date":"2018-10-31T00:19:35Z","build_sha":"17e7a50dfb0beb05f5338ee5a0e8338e68eb130b","build_snapshot":false}

三、格式化日志：

3.1 nginx日志参数配置：

nginx日志输出参数配置：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent $request_body "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for" $request_time';

nginx日志内容：

* POST：

219.135.135.2 - - [29/Nov/2018:18:41:13 +0800] "POST /portal/users/cartList HTTP/1.1" 302 5 ?appName=luckwine-portal-web&channelCode=01&traceId=1712884f4c9e4d8ad9bdb843824dd197& "http://47.106.219.117:8010/home?a=1" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" "-" 0.008

* GET：

219.135.135.2 - - [29/Nov/2018:18:16:32 +0800] "GET /portal/common/needLogin?dd=23 HTTP/1.1" 200 96 - "http://47.106.219.117:8010/home?a=1" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" "-" 0.002

nginx日志参数：

$args                    #请求中的参数值

$query_string            #同 $args

$arg_NAME                #GET请求中NAME的值

$is_args                 #如果请求中有参数，值为"?"，否则为空字符串

$uri                     #请求中的当前URI(不带请求参数，参数位于$args)，可以不同于浏览器传递的$request_uri的值，它可以通过内部重定向，或者使用index指令进行修改，$uri不包含主机名，如"/foo/bar.html"。

$document_uri            #同 $uri

$document_root           #当前请求的文档根目录或别名

$host                    #优先级：HTTP请求行的主机名>"HOST"请求头字段>符合请求的服务器名.请求中的主机头字段，如果请求中的主机头不可用，则为服务器处理请求的服务器名称

$hostname                #主机名

$https                   #如果开启了SSL安全模式，值为"on"，否则为空字符串。

$binary_remote_addr      #客户端地址的二进制形式，固定长度为4个字节

$body_bytes_sent         #传输给客户端的字节数，响应头不计算在内；这个变量和Apache的mod_log_config模块中的"%B"参数保持兼容

$bytes_sent              #传输给客户端的字节数

$connection              #TCP连接的序列号

$connection_requests     #TCP连接当前的请求数量

$content_length          #"Content-Length" 请求头字段

$content_type            #"Content-Type" 请求头字段

$cookie_name             #cookie名称

$limit_rate              #用于设置响应的速度限制

$msec                    #当前的Unix时间戳

$nginx_version           #nginx版本

$pid                     #工作进程的PID

$pipe                    #如果请求来自管道通信，值为"p"，否则为"."

$proxy_protocol_addr     #获取代理访问服务器的客户端地址，如果是直接访问，该值为空字符串

$realpath_root           #当前请求的文档根目录或别名的真实路径，会将所有符号连接转换为真实路径

$remote_addr             #客户端地址

$remote_port             #客户端端口

$remote_user             #用于HTTP基础认证服务的用户名

$request                 #代表客户端的请求地址

$request_body            #客户端的请求主体：此变量可在location中使用，将请求主体通过proxy_pass，fastcgi_pass，uwsgi_pass和scgi_pass传递给下一级的代理服务器

$request_body_file       #将客户端请求主体保存在临时文件中。文件处理结束后，此文件需删除。如果需要之一开启此功能，需要设置client_body_in_file_only。如果将次文件传 递给后端的代理服务器，需要禁用request body，即设置proxy_pass_request_body off，fastcgi_pass_request_body off，uwsgi_pass_request_body off，or scgi_pass_request_body off

$request_completion      #如果请求成功，值为"OK"，如果请求未完成或者请求不是一个范围请求的最后一部分，则为空

$request_filename        #当前连接请求的文件路径，由root或alias指令与URI请求生成

$request_length          #请求的长度 (包括请求的地址，http请求头和请求主体)

$request_method          #HTTP请求方法，通常为"GET"或"POST"

$request_time            #处理客户端请求使用的时间,单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。

$request_uri             #这个变量等于包含一些客户端请求参数的原始URI，它无法修改，请查看$uri更改或重写URI，不包含主机名，例如："/cnphp/test.php?arg=freemouse"

$scheme                  #请求使用的Web协议，"http" 或 "https"

$server_addr             #服务器端地址，需要注意的是：为了避免访问linux系统内核，应将ip地址提前设置在配置文件中

$server_name             #服务器名

$server_port             #服务器端口

$server_protocol         #服务器的HTTP版本，通常为 "HTTP/1.0" 或 "HTTP/1.1"

$status                  #HTTP响应代码

$time_iso8601            #服务器时间的ISO 8610格式

$time_local              #服务器时间（LOG Format 格式）

$cookie_NAME             #客户端请求Header头中的cookie变量，前缀"$cookie_"加上cookie名称的变量，该变量的值即为cookie名称的值

$http_NAME               #匹配任意请求头字段；变量名中的后半部分NAME可以替换成任意请求头字段，如在配置文件中需要获取http请求头："Accept-Language"，$http_accept_language即可

$http_cookie

$http_host               #请求地址，即浏览器中你输入的地址（IP或域名）

$http_referer            #url跳转来源,用来记录从那个页面链接访问过来的

$http_user_agent         #用户终端浏览器等信息

$http_x_forwarded_for    #当前端有代理服务器时，设置web节点记录客户端地址的配置，此参数生效的前提是代理服务器也要进行相关的http_x_forwarded_for设置

$sent_http_NAME          #可以设置任意http响应头字段；变量名中的后半部分NAME可以替换成任意响应头字段，如需要设置响应头Content-length，$sent_http_content_length即可

3.2 Logstash捕获字段：

3.2.1 input组件

input {

  beats {

    port => 5044

  }

}

3.2.2 output组件

output {

  elasticsearch {

    hosts => ["http://localhost:9200"]

    index => "beat-mylog"

    #user => "elastic"

    #password => "changeme"

  }

  stdout { codec => rubydebug }

}

3.2.3 filter组件

官方文档：https://www.elastic.co/guide/en/logstash/6.4/filter-plugins.html

完整规格：

filter {

  #正则捕获字段

  grok {}

  #字段类型转换

  mutate {}

  #时间数据赋值到另外字段

  date {}

  #删除数据

  drop {}

}

3.2.3.1、Grok匹配日志字段：

a、新建分析nginx日志的配置logstash.conf

filter {

        grok {

                patterns_dir => ["/tools/install/logstash-6.4.3/patterns"]

                match => {

                        "message" => "%{nginx_log}"

                }

                remove_field => ["message"]

        }

        date {

             match => [ "logtime", "dd/MMM/yyyy:HH:mm:ss Z"]

             target => "@timestamp"

        }

}

b、捕获方法名 正则表达式

* 规则如下：

nginx_log %{IPORHOST:clientip} - %{USER:user} \[%{HTTPDATE:logtime}\] "(?:%{WORD:method} %{URIPATH:requestURI}(%{URIPARAM:parms}|)(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:status} %{NUMBER:bytes} (%{URIPARAM:parms}|-) %{QS:referrer} %{QS:agent} "(%{IPORHOST:forwordip}|-)" %{NUMBER:reqtime}

grok正则捕获：

https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns

kinbana测试正则捕获是否正确：

3.2.3.2、Mutate字段转换

Mutate转化器文档：

https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-convert

https://blog.csdn.net/cromma/article/details/52919742

Mutate作用：用于每个输出的字段作后续转换操作

convert：

将字段的值转换为另一种类型，如将字符串转换为整数。如果字段值是数组，则将转换所有成员。如果字段是散列，则不采取任何操作

mutate {

    convert => {

      "bytes" => "integer"

      "reqtime" => "float"

    }

}

lowercase & uppercase:

大小写转换，数组类型，字段名字作为数据元素。

mutate {

    lowercase => [ "fieldname" ]

}

join：数组的分割字符串

使用固定连接符号，连接数组内的元素，如果给定的字段不是数组类型，什么也不做。

mutate {

  split => ["message", "|"]

    }

mutate {

  join => ["message", ","]

}

#join处理前

"message" => “1|2|3|4”

#join处理后

"message" => “1,2,3,4”

merge：拼接字符串

字符串 + 字符串

数组 + 字符串

操作逻辑：把追加字段的字符拼接到目标字段字符上

mutate {

     merge => { "目标字段" => "追加字段" }

}

split: 分割字符为数组

使用分隔符将字段拆分为数组。只对字符串字段有效。

mutate {

     split => { "fieldname" => "," }

}

#split处理前

"message" => “1|2|3|4”

#split处理后

"message" => [

        [0] "1",

        [1] "2",

        [2] "3",

        [3] "4"

]

gsub：替换字符串

数组类型，没有默认设置。

该参数设置只针对string类型，如果不是string类型的，什么也不做。

mutate {

    gsub => [

      "agent", "\"", "",

      "referrer", "\"", ""

    ]

}

strip:

从字段中删除空白。注意:这只适用于开头和结尾的空格。

mutate {

     strip => ["field1", "field2"]

}

3.2.3.3、IP库:

geoip {

            source => "clientip"

            target => "geoip"

}

获取到的IP数据：

lat：维度   lon：经度

"geoip" => {

         "country_code3" => "CN",

              "latitude" => 39.9289,

           "region_name" => "Beijing",

              "location" => {

            "lat" => 39.9289,

            "lon" => 116.3883

}

3.2.3.4、Drop删除过滤器:

说明：把url中包含图片、css样式、js等文件不要录入日志统计

if ([requestURI] =~ "jpg|png|gif|css|js|ico"){

      drop {}

}

3.2.3.5、使用新的配置文件启动：

nohup ./bin/logstash -f ./config/logstash.conf &

3.3 kibana界面配置：

界面配置：

https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html

1. 网站PV统计：

搜索统计条件：

配置搜索文件beat*：

2. 时间段访问字节汇总

配置Pie图形

统计方式：统计数量、汇总总数、排行统计等

统计的相关字段：可以统计多个字段，约束“时间”基础上再约束“字节数”

3. 耗时页面统计

配置柱状图

y轴耗时汇总：

x轴按地址划分统计：

再按时间拆分：

3.4 kibana统计汇总面板：

在线
客服在线
客服

问题汇总：

1、错误内容："No cached mapping for this field, refresh your mapping from the Settings > Indices page"

解决方案：

因为Elasticsearch有更改过字段类型，所以Kibana之前映射的字段类型和更改索引之后的字段类型都不同了

2、报警黄灯：

PUT aptech-test

{

"settings" : {        "number_of_shards" : 5,        "number_of_replicas" : 0    }

}

是因为设置了多份副本number_of_replicas的原因，当前是单机的，只能是0副本

3.4 部署静态网站（用于测试）：

3.4.1 安装nginx

yum install nginx

3.4.2 拷贝静态网站

* 把test.zip静态网站放到 /tools/apps

* 跳板机拷贝：scp -P 22 ./cpts_1406_cdz.zip root@IP:/tools/apps

* unzip 解压test.zip

3.4.3 nginx配置

worker_processes  1;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent $request_body "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for" $request_time';

    sendfile        on;

    keepalive_timeout  65;

    server {

        listen       80;

        server_name  localhost;

        access_log  /data/logs/nginx.access.log  main;

        location / {

            root   /tools/apps/;

            index  index.html index.htm;

        }

        error_page  404              /404.html;

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

    }

}

3.4.4 启动nginx

启动：nginx -c /etc/nginx/nginx.conf

停止：nginx  -s stop

外网访问：http://公网IP:80

=========== 其他相关 ============

启动elasticsearch：./bin/elasticsearch -d

内网：http://局域网ip:9200/?pretty

外网：无

启动kibana：nohup ./bin/kibana &

内网：http://局域网ip:5601

外网：http://公网ip:5601

启动logstash: nohup ./bin/logstash -f ./config/logstash.conf &

内网：http://局域网ip:9600

外网：无

logstash接收数据

TCP监听端口：5044

验证: telnet 内网ip 5044

启动filebeat: nohup ./filebeat -c ./filebeat.yml &

内网：无

外网：无