网站故障-排查步骤

作为一家中型网站的运维工程师，真实遇到网站故障了，寻求理想排查步骤，自己心得，附加网友观点

网站挂了：

1、ping我的网站主站IP，可能是禁ping，不通，可能是机房网络问题，那么就去ping机房的网关！

2、机房网络如果没问题的话，那我会去看访问是什么情况，服务器异常或者是nginx报错的话，

   那我会排查一下硬件，我的网站是用简单的nginx负载+对外防火墙的，那我就看看access。log，

   统计一下这阶段可疑IP以及行为，如果有***，先拉黑可疑黑名单

3、排查从公网到我们主站IP的路由，tracert，可不可能跨域问题，联通网络访问挂了？还是电信？看   看DNS是不是被劫持了

4、这时候我再看下服务器，我的网站程序是tomcat运行的，看看tomcat进程是否僵死，看日志情况，一   般来说，只要负载，没得问题，一般不会http请求堆积在一个server上，那可能负载权重问题

   ，或者说我的tomcat（或者其他web容器，内存设定问题）

   其实这些情况，可以通过zabbix监控来完成（一般如果访问量暴增，或者是前端时间有变更操作，很    可能存在cpu吃紧情况，一般程序出现内存溢出，在系统资源允许情况下，加大jvm大小，初始栈，连    接数，还是重点关照开发，关于内存的回收）

5、可以试试单点登录一台节点看看，遇到内部程序调用的。内部curl看看，

   或者使用httprequest看看post和get访问的放回那个状态码200是OK

   大神解说：方案最佳：

【高级】 帝都——大师兄 2016/8/2 21:54:06

我会先看看监控，因为监控上基本上你这些检测，我都做了。

通过监控数据，先缩小排查范围。针对性去找故障点，排查。你这一套下来，估计业务中断也有一段时间了。

【高级】 帝都——大师兄 2016/8/2 21:55:54

快速响应，先把影响降低到最小。这是你应该做的。

【高级】 帝都——大师兄 2016/8/2 21:56:09

问题可以先放后，先把业务恢复上来。

【高级】 帝都——大师兄 2016/8/2 21:56:23

业务是关键，问题可以慢慢查。

【高级】 帝都——大师兄 2016/8/2 21:56:41

因为有日志，和监控数据所以可以慢慢分析具体哪里导致的业务中断。

【高级】 帝都——大师兄

整个工作在你接手时，就应该预先考虑到，网站挂掉后，如何可以立刻恢复上来，大公司更是用户无感知的恢复。小公司因为各种限制，可能会稍微有点影响。

【高级】 帝都——大师兄 2016/8/2 21:59:55

等到网站挂掉，你在去各种查问题，你已经晚了。

【高级】 帝都——大师兄 2016/8/2 22:00:56

个人观点，仅供参考。