SMART 磁盘监控方案

smartctl 命令行的使用.

命令行使用说明:

目前我们使用的服务器都带有lsi的raid卡,当磁盘为SAS盘时使用smartctl时需要添加：

 smartctl -d megaraid,$deviceid  /dev/$diskname

当磁盘为SATA盘时使用smartctl时需要添加：

 smartctl -d sat+megaraid,$deviceid  /dev/$diskname

可以使用raid卡工具来查看磁盘接口类型

    megacli -cfgdsply -aall |grep 'PD TYPE'

若没有使用raid卡则不需要加 -d参数.

命令行返回值

smartctl执行完毕之后可以从$? shell变量中取得返回值,如果磁盘完全正常则返回值为0,否则根据错误类型设置相应的bit位.
各个bit的说明如下:

       Bit 0: Command line did not parse.

       Bit 1: Device open failed, device did not return an IDENTIFY DEVICE structure, or device is in a low-power mode (see -n option above).

       Bit 2: Some SMART or other ATA command to the disk failed, or there was a checksum error in a SMART data structure (see -b option above).

       Bit 3: SMART status check returned "DISK FAILING".

       Bit 4: We found prefail Attributes <= threshold.

       Bit 5: SMART status check returned "DISK OK" but we found that some (usage or prefail) Attributes have been <= threshold at some time in the past.

       Bit 6: The device error log contains records of errors.

       Bit 7: The device self-test log contains records of errors.  [ATA only] Failed self-tests outdated by a newer successful extended self-test are ignored.

查看bit设置:

      status=$?
       for ((i=0; i<8; i++)); do
         echo "Bit $i: $((status & 2**i && 1))" 
       done

需要重点监控bit3, bit4, bit6, bit7,bit5是否设置,其他位置的设置需要提醒.

smartctl 显示的属性(Attribute)信息:

以公司内的一台服务器为例说明:

[root@datacenter1.rack1.node11 ~]#smartctl -A -P use  /dev/sdb
smartctl 5.42 2011-10-20 r3458 [x86_64-linux-2.6.32-279.el6.x86_64] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF READ SMART DATA SECTION ===
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   086   086   016    Pre-fail  Always       -       10813449
  2 Throughput_Performance  0x0005   132   132   054    Pre-fail  Offline      -       105
  3 Spin_Up_Time            0x0007   117   117   024    Pre-fail  Always       -       615 (Average 615)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       314
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   112   112   020    Pre-fail  Offline      -       39
  9 Power_On_Hours          0x0012   097   097   000    Old_age   Always       -       23637
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       313
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       478
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       478
194 Temperature_Celsius     0x0002   222   222   000    Old_age   Always       -       27 (Min/Max 5/70)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

1,首先不同的磁盘厂商提供的ATTRIBUTE_NAME 列表可能不一样,只是S.M.A.R.T属性列表的子集,smart完整的属性列表及其每个属性的含义请参考这里:
http://en.wikipedia.org/wiki/S.M.A.R.T.#8

2，我们需要关注的字段 WHEN_FAILED
WHEN_FAILED字段显示的规则:

  if(VALUE <= THRESH)
           WHEN_FAILED ＝ "FAILING_NOW";
  else if (WORST <= THRESH)
           WHEN_FAILED ＝ "in_the_past"(or past);
  else 
           WHEN_FAILED ＝ "-";

也就说当某个ATTRIBUTE_NAME的WHEN_FAILED字段为“-”时表示这个属性是正常的,也从没发生过异常.

同时当smartctl 命令的返回值的bit4，bit 5设置就可以检查看哪个ATTRIBUTE_NAME为非“－”就表示这个字段出问题了.

简单的smartctl监控方案

针对每块盘没半个小时执行一次smartctl扫描:

smartctl -a  /dev/$devname

每次都要检查smartctl的返回值,
如果返回值的bit2，可以使用smartctl -x -b warn /dev/$devname可以看到不支持哪些命令
Warning: device does not support SCT Data Table command
Warning: device does not support SCT Error Recovery Control command
如果返回值的bit4或者bit5设置,则需要检查smartctl输出中的START OF READ SMART DATA SECTION,即上节所讲的ATTRIBUTE,并记录WHEN_FAILED字段非“－”的ATTRIBUTE_NAME.
如果返回值的bit6设置,记录smartctl -l xerror  /dev/$devname 的执行结果.
如果返回值的bit7设置,记录smartctl -l xselftest /dev/$devname 的执行结果.
如果bit3设置表示smart自检失败.

以上的bit除了bit5.其他最好都能实时的发出警报信息,
其他bit如果置位,可以不需要实时的警报.

针对ATTRIBUTE_NAME的一些说明:

由于不同厂商的磁盘提供的ATTRIBUTE_NAME不完全一致, 加上我现在对某些字段的含义理解不够,所以警报信息暂时不按照ATTRIBUTE_NAME来区分.
比如我们比较关注的Throughput_Performance,公司内的日立的磁盘的smart包含有此信息,而希捷的盘没有.
至于需要更细化的监控方案需要对ATTRIBUTE_NAME中的属性有深入的理解再做定夺.

ssd盘的寿命监控

ssd 盘的寿命监控主要监控以下的ATTRIBUTE:

Media_Wearout_Indicator:    使用耗费， 表示SSD上NAND的擦写次数的程度
Reallocated_Sector_Ct:     出厂后产生的坏块个数
Host_Writes_32MiB:     已写32MiB的个数.
Available_Reservd_Space:    SSD上剩余的保留空间。

以上的ATTRIBUTE只要VALUE字段接近THRESH字段的值就需要报警,同样可以使用上边的说明来处理