zabbix-进阶-3

第三章；发现，自动注册和web监控

报警实现：应该使用专用的邮箱服务实现，使用专用的账号和密码

：使用飞信机器人，使用脚本实现发信息

action动作：condition，operation（remote，command，send message）

item：数据项()-->mysql server保存在数据库中-->web gui

key：是server向agent上获取数据时所需要的标记，

//一个key可以生成多个item，

//用户参数，userParameter=<key[*]>,<command>

//key也可以接受参数

//key和item并非是一一对应的

trigger:激发动作，action，//trigger定义某个item的阈值，key

动作：condition条件，operation (remote command,send message)

完整的监控：添加主机(主机组)-->添加item(内置的简单图形)--->trigger(event)-->

action(发通知(通知信息中包括大量的宏)，condition,operation(step)）

Item:自己建立的，

trigger:定义一个合理的范围，超出阈值，就产生event(OK--->problem)

action:可以是发信息，或者远程命令，一旦恢复后，还需要problem-->OK

  :通知信息大量使用宏，需要条件和操作  

action：一个trigger未必就执行operation还要看条件，还需要满足condition才可以

：在action.Operation中定义steps，定义step duratiion//报警升级的实现

：在action.Recovery中没有steps

：trigger可以引起事件，但是必须满足action.condition才可以

Media type：email，External Script,Jabber,SMS, //最常用的就是前两个，外部脚本可以实现调用外部的应用发送信息

Meida：google_mail,our_mail等，媒介是具体的实体

//item和trigger是主机级别的，需要定义在主机或者木板上

//action：不是在主机级别因为，当多个主机监控同一个指标的时候，可以定义一个action让多个主机上的同一个指标，同事报警，：：可以定义多个主机监控同一个指标时的操作

//action.condition可以定义 host.group,trigger,hosts等同时监控

信息的发送目标：zabbix用户，每个用户的系方式，自定义发送的目标

Graph：将同一类的item数据项，展示在同一个图形中；

screen：将多个graph，放在一个大屏幕中

map：通过图形定义各个节点间的拓扑关系，地图

Template：批量监控每一个主机

添加主机时，直接把主机套用模板即可，建议多做几个模板，每个模板只关注几个指标，然后

添加主机的时候，只要多关联几个指标就可以了

可以把一个主机关联多个模板，模板可以嵌套，模板和主机是同一个级别

也可以定义item，application，trigger，graph等

discovery：

发现的方式：

agent

agentless，ssh，ping//无代理方式

SNMP，

JMX：专用于监控java虚拟机的环境，tomcat默认并不支持jmx，需要为toomcat添加特定的类，官网下载，安装，重启 //假如只监控tomcat的连接数，正在打开的网页数，就不在需要JMX ，脚本即可

zabbix的网络发现功能可基于如下信息进行

IP range

根据服务（FTP，SSH，WEB，POP3，IMAP，TCP）

zabbix agent发来的信息，agent可以

SNMP代理实现

Discovery：过程阶段：discovery-->action

Discovery中的事件：

service up，service down

host up,host down

service discovered,service lost

host discovered,host lost

action：{condition,operation}添加主机，关联模板

sending notification：发送通知

adding/removing hosts：添加或者删除主机

adding hosts to a group：添加主机到组

Enabling /disabled hosts：激活或者失效一个组

removing hosts from a group

linking hosts to/unlinking from a template

remote scripts

网络发现中添加时会自动创建interface
1.the services detected //例如基于SNMP检测成功，则会创建SNMP借口

2.如果某服务同时响应了agent和snmp则，会创建两种接口

3.如果同一种发现机制（如agentd）返回了非唯一数据，第一个接口为默认，其他的为额外接口

4.即便是某主机开始时只有agent接口，后来又通过SNMP发现了它，同样会为其添加额外的SNMP借口

5.不同主机-返回相同的数据，则第一个主机将被添加，余下的主机会被当做第一个主机的额外借口

实验：自动发现，环境：zabbix_server,另外一台主机，新建立的主机，

//server为200，client为101：server指定为server，zabbix-agent启用

1.新建模板

test template

Test  group //组名

//不在模板中定义，discovery，在其他地方定义

2.创建item--trigger--graph

//agentd的agent.conf上有：UserParameter=memory.usage[*],/bin/cat /proc/meminfo | awk '/^$1:/{print $$2}' 这个记录，建议在server上使用agent-get命令测试效果

//zabbix_get -s 10.0.0.101-k "agent.ping" //是一个key，对方的一个key

创建3个item

//确保item的key能够使用

memory.usage[MemAvailable]  //*1024

memory.usage[MemFree]//*1024

memory.usage[Active]//*1024

memory.usage[Inactive]//*1024

创建trigger：

Name : free memory too low

Severity：High //high级别的报警

Expression:

     Item:test-template: memory.usage[MemFree]

     Function：Average value of a period T is < N

     Last off(T) : 30 //最后30s的平均值，小于51M

     TIme shift:

     N:  51200 //51M小于51M为阈值，默认单位为k

OK event generation：None //不会附带产生其他的问题

创建 graph

Name：mem-usage-depaly

3.配置configuration->discovery--->create discovery //discovery创建

Name：linux_in localhost

DIscover by proxy ：No proxy

ip range : 10.0.0.100-10.0.0.101  //自己的ip也要包含在内

Delay (in sec) :120 //延迟

check New:

check type: zabbix agent

key:memory.usage[MemFree]//这里的key是作为辅助手段，添加主机

//这里的discovery只能发现，但是发现完以后，选哟action

Device uniqueness criteria:IP address设备的唯一标识符为IP

4.配置action //discovery只能发现，但是发现之后做什么，他们并不知道

configuration--action-event source{discovery}---create action

action:

name:auto discovery linux in localnet

condition：Host IP.:10.0.0.100-10.0.0.101 //当满足条件的时候，才会添加到进来

：Discovery status = Discovered //当状态是发现的时候，才会添加

：Discovery rule = linux_in_localhost //这个条件是discovery中定义的

operation：

Add host

Link tooard templates ：test server/test template

//在monitoring--dashboard上，可以看到有没有主机发现

果：能够发现主机，但是不能够检测其状态

5.//创建tom，加入CTO组，tom可以接受，任何类别的邮件

Send to：tom@localhost //server有tom这个系统用户

创建media：administrator--media types-->创建新的media types

创建user group：administrator-users-create users groups

创建user：

user：加入刚创建的组

media：

type：local media find

send to：tom@localhost

//在server上useradd tom ，添加用户tom

排错：主要基于，configuration{hosts,actions,discovery}

注意：一定要查看是否configuration-hosts有自定义的item和riggers等

//问题，只能在dashboard上看到有主机存活，但是不能添加到host

//最终新开启了一台主机后，自动发现成功

//解决方法：把action中的condition：Discovery status = Discovered删除即可解决

//因为这个是已经发现很久了，然后状态已经发生改变了，不是discovered的了

//重新启动，

//错误zabbix_get [43432]: Get value error: cannot connect to [[10.0.0.101]:10050]: [113] No route to host

[root@localhost ~]# zabbix_get -s 10.0.0.101 -k "memory.usage[MemFree]"

方法：iptable -F //关掉防火墙即可

6.定义另外一个action， auto_remove

createa actions：

name： remove host

conditions：host ip 10.0.0.100-102

 ：Discovery status = Lost  

Operations：remove host

//在agent上systemctl  zabbix-agent stop 停止该服务即可

步骤小结：

创建模板(item,trigger,graph)----创建discovery-----创建action

问题：

自动remove没有

Agent自动注册：

1.Zabbix支持active agent的自动注册（auto-resistration）功能，通常用于此前agent失效后的重新上线

2.也可基于active  agent的自动注册机制添加被动检测，这会通过active agent注册时提供的“listen IP”

和listen port进行

3.Server端在收到自动注册请求以后以接受到的IP和Port为接口属性

网络发现：配置active agent自动注册

Configuration--actions--Event source（atuo registration）--create action

Action： add host/link to template   

Condition：

Operation：只用定义operation，无需定义condition

此外：配置agent的工作属性，并重启agent

Zabbix-agentd..conf

ServerActive=172.16.100.15 //指向server

//以后

//然后在这里service agent stop ，

Web监控：

1.创建步骤的web监控需要先定义一个web方案（scenarios）

Web方案包括一个或多个HTTP请求或“步骤{step}}”

步骤{step}的执行过程按照预先定义的顺序进行执行

2.通过web监控可以获取一下信息

整个web方案中，所有step的平均下载速度

失败的step号

失败的报错信息

3.在web方案的具体step中，可以按需使用如下信息

该step的下载速度

回应时间

回应状态码

4.zabbix可以检测 获取到的HTML页面中是否包含预设的字符串，也可以实现登录和页面点击

实现：

1.创建两个页面 1.html,cp /var/log/message /var/log/www/html/2.html
chmod  644 /var/ww/html/*.html

2.创建一个新的application：name ：web-test

Configuration---hosts--web:选中web

Scenario

Steps：  //URL写对，required codes：200即可

Authentication：

//在monitoring中可以看到

//Scenario自动创建的item

web.test.in[Scenario,,bps],下载速度

web.test.fail[Scenario],失败步数

web.test.error[Scenario]，最后一次错误码

但是假如需要自定义的话，调用的话，需要替换Scenario为自己定义的web名字

例如：创建触发器：

{host.web.test.fail[www.magedu.com].last(0)}#0 //最后一个错误码不为0：#不等于0，证明失败了

{host:web.test.in[www.magedu.com].last(0)}<10000 //

//step 自动创建的items

web.test.in[Scenario,Step,bps],下载速度

web.test.time[Scenario,Step] 响应时间

web.test.error[Scenario,Step]，返回码，第几个页面的返回码

{zabbix:web.test.time[www.magedu.com,Home].last(0)}>3

//在configuration-host--trigger自定义trigger的的时候：Expression中可以看到web自动创建的item

举例：

Item：10.0.0.101: Response code for step "1.html" of scenario "web-test

Function：Last （most recent） T value is > N

N：3//响应的时间的阈值为3s

第四章：

Zabbix分布式监控

上千台主机，多个proxy汇总消息，然后汇总到server上

Zabbix的三种架构

Server--agent

Serer-node-agent //早期的了

Server-proxy--agent //zabbix1.8之后使用了proxy

Proxy or Node?

代理proxy用于本区域数据收集，并将数据发送给server//不分析，不监控，也不展示

节点node提供完整的Zabbix server用以建立分布式监控中的层级

//node是一个完整的监控平台，可以直接在node上直接web

Maintenance：维护 //centralised集中化，//embedded嵌入式

Proxy不提供GUI，但是node有

Node需要手动创建DB，但是proxy是在server

//proxy的数据采集，是从server拿到以后自行创建的

Centralised configuration：集中化管理，proxy可以实现，Node需要单独配置每一个node需要单独监控的对象

Proxy 和 node对比

1.node本身是一台server，它有完整的web页面，完整的数据库，它将数据源源不断传送给Master

2.Proxy只有一个proxy的daemon进程，Proxy也有自己的数据库，但它的数据库只会保存一定的时间的数据，它与Master通信是将一批信息打包后发送到Master，Master讲这些数据merge入Master数据库

3.Mater-Proxy相比Master-Node的优点，

1.Proxy压力小，数据库之存储一定时间的数据

2.Master压力变小，数据不是源源不断获取，减小IO压力

3.架构更清晰，易维护

//DB,web,master压力，发送数据：{不断发送|打包发送}

//proxy的话：只需要导入schema.sq，而不需要导入data.sql,p_w_picpath.sql

：不需要自己配置，从server上复制配置，只负责保存一段时间的数据，过一阵把数据打包发过去即可

//node的话，三个数据库都要导入，需要安装web界面，还需要自己配置自己安装哪些界面

Frontend：前端，用户通过前段查看数据

Server-Proxy-CLient模型

//node:独立配置，独立DB，独立frontend，master只负责把其汇总即可

Server：也需要收集node的配置信息，在node上修改的configuration必须要同步到server端

Server-Node-client特性：

1.解决host过多时单台Server面临性能瓶颈，使用多个instance（每个node），每个instance都是一个独立的zabbix

2.支持热插拔，node和server的连接可以随时断开，但不影响node的正常运行

3.Node定时给Server发送configuration，history，event

4.Server定时给Node发送configuration //Node和server需要定时同步配置等信息

5.所有配置变更只有在Node节点操作，不能再Server操作

6.支持树状结构，Node又可以是个Server

//6.意思是，node可以继续分封，自己的子child，然后自己成为server，但是自己又是一个node

Server-Proxy-Client模型：轻量级

Proxy没有独立的配置文件，需要从server上，获取server指定给自己监控的host的item

周期性的定期发送给server，由server保存在server.DB中

Proxy不会向Server同步configuration，只会接受

Proxy的数据库定时会将数据传送给Server，Proxy本地数据库只保存最近没有发送的数据

//已经发送的数据不再保存

Zabbix Proxy的功能：

1.监控远程区域

2.监控那些具有非可靠通信的位置

3.减轻server的压力

4.分布式维护

注意：

1.zabbix proxy必须使用一个单独的数据库，就算是放在同一个主机上，也已定不能喝server使用同一个数据库

2.proxy指向zabbix server的数据库会破快配置信息

Zabbix的特性：

ProxyLocalBuffer和ProxyOfflineBuffer//负责配置数据保存多长时间

Proxy仅仅是一个数据收集器，不分析，不处理事件，活着发送报警信息

实验：zabbix-proxy实现

//ntpdate 10.0.0.1时间一定要一致

Server：200 ，proxy：100，agent:141//让53监控141

 Proxy:只需要安装：zabbix-proxy，zabbix-proxy-MySQL，zabbix-agent，zabbix

1.Proxy:：proxy暂时不安装agent

安装mysql，创建database：库名，随便起，例如：zabbix_proxy,

 create database zabbix_proxy default character set utf8;

Grant all  on zabbix_proxy.*  to ‘zbproxy’@’10.0.0.%’ identifide by ‘zbproxy’

 insert into mysql.user(host,password,user) value ('10.0.0.*',password('zbproxy'),'zbproxy');

mysql -uzbproxy -pzbproxy -h20.0.0.53 //测试结果

Flush privileges

//yum install http://mirrors.163.com/centos/7/extras/x86_64/Packages/epel-release-7-5.noarch.rpm

Yum install zabbix-proxy zabbix-proxy-mysql //安装zabbix-proxy,会有依赖，使用yum安装

//rpm -ql zabbix-proxy-mysql,需要导入数据库

Mysql ：只需要导入schema.sql即可

mysql -uzbproxy -pzbproxy -h20.0.0.53 zabbix_proxy < /usr/share/doc/zabbix-proxy-mysql-2.4.8/create/schema.sql

//导入数据库

2..proxy：vim /etc/zabbix/zabbix_proxy.conf

[root@localhost yum.repos.d]# grep -v  "^#" /etc/zabbix/zabbix_proxy.conf | grep -v "^$"

Server=10.0.0.200,172.16.1.1 //允许来拉取数据的主机的IP地址

ServerActive=127.0.0.1,172.16.1.1

//主动通知来拉取数据的主机的IP地址（只有server与agent在同一主机时才有127.0.0.1）

Hostname=server.zhou.com  //需与主机名保持一致

这个配置和该机器实际的主机名没有关系，但必须和zabbix server中添加该机器的时候的主机名一致，否则zabbix server获取不到信息

Hostname=10.0.0.53 //这个将会被server识别

DBHost=10.0.0.53

DBName=zabbix_proxy

DBUser=zbproxy

DBPassword=zbproxy

ConfigFrequency=1  //zabbix proxy向服务器检索配置数据信息的频率，

DataSenderFrequency=60 //zabbix proxy发送收集的数据给zabbix server的频率tart zabbix-proxy

netstat -tunlp | grep zabbix  //它也监控在server上，因为他自己也相当于server端，在被动模式下，该参数将来被忽略

3agent：.

Yum -y install zabbix-agent //安装agent

 vim /etc/zabbix/zabbix_agentd.conf

Server ：指向proxy的ip，而不是server

ServerActive：指向proxy的ip，而不是server

Hostname：

UserParameter=test.Mem[*],/usr/bin/cat /proc/meminfo | awk '/$1:/{print $$2}' //提供测试用

systemctl enable zabbix-agent

 systemctl start zabbix-agent

4.在server 上添加被监控主机，

首先得让server知道有一个proxy，

Administration--proxy--create proxy

Proxy name: 尽量使用ip，除非能够解析到主机

Proxy mode:

Active:proxy主动到server拉取配置文件 ，一般使用

Passive:等到server想自己发发送配置文件

Host：不要添加其他主机

在proxy上测试agent错误：

[root@localhost yum.repos.d]# zabbix_get -s 10.0.0.141 -k "test.if"

zabbix_get [21365]: Get value error: cannot connect to [[10.0.0.141]:10050]: [113] No route to host

解决方式： //很有可能是虚拟机的问题

1.iptables -F； iptables-save

2.Setenforce 0

3.Shutdown -h now

4.Pkill zabbix-agent ;systemctl restart zabbix-agent

然后，添加被监控主机：create hosts

Host name:10.0.0.141

Visible name:agent-141

New group:proxy-discovery:1

Agent interfaces:10.0.0.141

Monitored by proxy:10.0.0.53 //由53代为监控

//在monitoring--Dashboard上的Hosts tatus上看结果，就能发现已经能够检测得到

创建一个item进行测试：

注意事项：

//tail /var/log/zabbix/zabbix_proxy.log    //随时查看日志

1.proxy的配置文件的Hostname=   //必须和Administrator--proxy中定义的主机名一致

2.通过agent的server和server active都需要指定为proxy的ip

3.加快server和proxy的同步
zabbix-proxy.conf //配置文件

ConfigFrequency=1 //拉取配置文件，默认是3600s

DataSenFrequency=1 //默认是1s

ProxyLocalBuffer=0  //本地数据保存多长时间，0：不保存

ProxyOfflineBuffer=1 //proxy联系不到server后数据保存多长时间，1:1小时

//agent上有自定义监控mysql的UserParameter

//在/etc/zabbix/zabbix_agentd.d/userparameter_mysql.conf

项目案例：

ConfigFrequency=300  DataSenderFrequency=60  //只需要在proxy上配置

Zabbix-server上需要的操作：添加proxy，添加host.proxy为主动模式，

Agent上修改配置后，需要重启agent服务

关键是在zabbix server的前端创建代理节点的名字时，该名字应和zabbix代理配置文件中指定的Hostname值相同 .配置zabbixproxy的配置文件zabbix_proxy.conf，

该文件中有两个重要的参数：

ConfigFrequency=60      #zabbix proxy 向服务器检索配置数据信息的频率，在被动模式下该参数将被忽略

DataSenderFrequency=60  #zabbix proxy发送收集的数据给zabbix server的频率

配置完毕

现在server上，建立proxy，然后建立host.proxy

问题：server从proxy上获取不到agent的数据

1.server端与proxy端时间不同步  //ntpdate 120.25.108.11

    2.server端分配的缓存不够

    3.server端分配的线程不够

    4.server端负载比较大{CPU,IO,MEM}

1.查看zabbix_server有没有出现 Zabbix poller processes more than 75% busy 告警

2.htop iotop iostat  //查看服务器的负载情况

3.  vim /usr/local/zabbix/etc/zabbix_server.conf

        StartPollers=500

        StartPollersUnreachable=50

        StartTrappers=30

        StartDiscoverers=6

        CacheSize=1G

        CacheUpdateFrequency=300

        StartDBSyncers=20

        HistoryCacheSize=512M

        TrendCacheSize=256M

        HistoryTextCacheSize=80M

        ValueCacheSize=1G

4.  crontab -e

        */3 */1 * * * /usr/sbin/ntpdate -u 202.120.2.101 &> /dev/null

重启server端和proxy服务

两个问题：

1.Too many processes on Zabbix server

2.Server从proxy上获取不到数据  //agent上server指向proxy

3.报警机制的实现

4.Zabbix-node-agent实现

Proxy常见问题：

     1.proxy的 Hostname和server的web里面配置的名称不一样。这样一定要注意了无论是proxy和server  还是agent和server  Hostname都要相同的

附件：zabbix_proxy.conf文件详解

1.ProxyMode=0  //0位默认，主动，1位被动

2.Server=IP地址  #说明：此参数用于设置zabbix Server端IP地址。在主动模式下，二级代理将采集到的数据传送到此IP所在服务端。#但被模式下，此参数被忽略

3.#说明：system.hostname是ZABBIX内置的一个自动获取主机名的方法，为了方便配置，建议打开此参数而关闭Hostname参数#。

4. HostnameItem=system.hostname //system.hostname是ZABBIX内置的一个自动获取主机名的方法，为了方便配置，建议打开此参数而关 闭Hostname参数#。

5.LogFileSize=1 //当日志文件达到多少M时便轮转并自动覆盖

6. StartPollersUnreachable=1 //说明：用于设置诸如SNMP STRAPPER场景提交来的数据的接收进程数，若客户机SNMP TRAPPER技术较多，建议加大此参数值

7.//http://www.bkjia.com/xtzh/926118.html   地址

//server从proxy上接受不到信息的解决

注：在server上添加proxy后，server才能收到配置信息

//tail /var/log/zabbix/zabbix_proxy.log  这样才能收到 消息

然后会自动建立一条

Agent：

Server：为proxy

Serveractive：为proxy

Proxy：server为zabbix.server

/etc/zabbix/proxy/zabbix_proxy.conf

Server:是zabbix-server的ip

/etc/zabbix/proxy/zabbix_agent.conf

Server

Server.active  //都是zabbix--server的ip地址

//需要说明的是，理论没有问题，只是虚拟机的问题