“挑”灯看故障 服务器故障解决实例

我们有一台Sun E250服务器，主要用作WWW发布用。一直以来运行比较稳定，但是前一段时间重启了该服务器一次后，发现这台服务器前面板的6个LED指示灯中中间的那两个指示灯常亮，而以前没有发现这种现象，基本上可以定位为告警指示。我到SUN的网站上下载了E250服务器的手册，查了一下，了解到那个扳手一样的LED指示灯（图1）

在系统运行时亮表示检测到系统错误（任何可能的错误）。那个温度计一样的LED指示灯（图2）亮表示系统温度过高。

知道了LED指示灯带给我们的错误信息以后，我们就开始从机房的环境温度、操作系统故障这两方面来着手解决问题。

机房环境温度：

我们机房是采用中央空调和独立空调两套空调系统，可以有效的保证室内的环境温度，即使在夏天最热的时候，也可以将温度调节到二十度左右，而且和这台WWW服器并排放在一齐的还有两台同型号的服务器，它们就没有温度过高的告警。

操作系统故障：

通过查看/var/adm下的messages文件，发现确实有温度过高的日志记录

Aug 31 19:17:18 ns unix: WARNING:
            TEMPERATURE WARNING: 63 degrees celsius at location CPU0
            Aug 31 19:23:33 ns unix: NOTICE:
            TEMPERATURE NORMAL: all sensors back to normal readings

再查看/var/log目录下的syslog文件，发现有大量重复的告警信息出现，如下：

Aug 31 14:35:45 ns sendmail[19588]: NOQUEUE:
            [202.112.174.17] did not issue
            MAIL/EXPN/VRFY/ETRN during connection to MTA

由此可以基本上判断出是由于这个主机被当作了垃圾邮件的转发器，被某些恶意主机大量利用sendmail程序发送邮件造成了系统负担过重（我们的邮件服务器（同样是是Solaris操作系统，已经利用增加SMTP认证功能有效的杜绝了垃圾邮件的转发，但是这台WWW服务器默认启动了sendmail邮件服务，但是又没有实现SMTP认证功能。在Solaris7中文版中是无法成功的配置SMTP认证的，我们的邮件服务器是在升级到Solaris8以后才配置成功SMTP认证，我们的WWW服务器目前还没有升级到Solaris8，这个漏洞造成了WWW服务器的负担过重，而这个频繁使用的进程竟然是发送垃圾邮件），好了，知道这个问题，我们就可以从手解决了。

第一步，利用ps -ef | grep sendmail查出sendmail的进程号，再用“kill　进程号”命令杀掉sendmail进程。

第二步，不让sendmail进程随系统启动自动启动，用以下命令实现：

cd /etc/rc2.d
            mv S88sendmail s88sendmail

以上两步完成后，再去WWW服务器那儿一看，告警指示灯就不亮了，经过了近一个星期的观察，也没有再出现类似的告警。这个问题成功解决。

原文转自：http://www.ltesting.net