IBM宕机处理全过程
背景描述：P650双机，磁盘阵列7133，4CPU 4G内存，下午一台机器突然宕机了，重启后进入OK状态，然后再按开关，LED显示了错误码，4B2A25F4U0.1-P1-C1，反复试了几次结果都一样。
初步分析：经过咨询IBM人员，错误代码的意思就是，两路CPU故障，有可能是CPU的问题，有可能是CPU卡的问题。初步思路：就是将故障的CPU隔离。
用串口登录到维护状态：
Service Processor Firmware
Version: 3K030814
Copyright 2001, IBM Corporation
1033F4A
________________________________
MAIN MENU
1. Service Processor Setup Menu
2. System Power Control Menu
3. System Information Menu
4. Language Selection Menu
5. Call-In/Call-Out Setup Menu
6. Set System Name
99. Exit from Menus
选择3进入系统信息，再选择7，就是对processor的控制，将1和2设置为 manaual deconfig 状态，就是将这两个CPU隔离了。然后重启系统，但是故障依旧。以为是CPU隔离错了，就将3和4号配置成 manaual deconfig，1和2号回复为 manaul config，从启后故障依旧。
第二天早上来看，第二台机器也宕掉了，错误和第一台一摸一样。
这时在IBM工程师的远程支持下，在维护模式下，将错误日志发给了他，
2. 05/04/2004 14:01:47 System Processor Failure
Error code: 4B2A25F4
Priority FRU Location Code
-------- ------- ---------------
High 00P4050 U0.1-P1-C1
SRC
--------------------------------------------------------------
word11: 4B2A25F4 word12: 02100011 word13: A2101103
word14: 00000000 word15: 00000000 word16: 00000020
word17: F3820004 word18: 0020FFFF word19: FFFFFFFF
B438 800325F40000000000000000
IBM首先怀疑是电源问题，至于为什么不知。
查看后发现确实是有点问题，一个机柜中有两个插排，所有的电源都插在了一个插排上，另一个没有用？（为什么是这样也不得而知了，谁知道这个工程是怎么做得）。关机调整后，重新开机，但是错误依然。
最后INM工程师提示，将启动方式改为fast boot，以前为slow boot，再次启动，居然正常了。
之后用snap收集了相关信息发给IBM，具体结果还不得而知。IBM初步给的建议就是微码升级！
http://techsupport.services.ibm.com/server/mdownload/download.html
| yanbing 回复于：2004-05-07 21:13:00 |
| 一般来说，两台设备出现同样的问题，一定和共性的东西有关。
比如，环境与微码等。 这件事情有个结果还望回来说一声，也给大家一个参考。谢谢！ |
| xzhj19 回复于：2004-05-07 22:47:52 |
| fast boot? slow boot?
why? |
| 溜溜达达的狼 回复于：2004-05-08 09:18:08 |
| 是哪里出现问题了，FAST BOOT应该是跳过一些检测，所以通过了。但是安全隐患应该没解决！ |
| stder 回复于：2004-05-08 14:22:02 |
| 是的，IBM的解释是，可能是个微码BUG ，在慢起是才有影响。升级微码可以解决这个问题，先升级微码然后再看看，明天升级微码后才知道。 |
| aixnewer 回复于：2004-05-08 16:06:51 |
| 如何设置fast boot 和slow boot呢 |
| stder 回复于：2004-05-09 22:07:40 |
| 用串口连接机器（超级终端速率设成9600）就可以脸上。
主菜单如下： Service Processor Firmware Version: 3K040323 Copyright 2001, IBM Corporation 1033F4A ________________________________ MAIN MENU 1. Service Processor Setup Menu 2. System Power Control Menu 3. System Information Menu 4. Language Selection Menu 5. Call-In/Call-Out Setup Menu 6. Set System Name 99. Exit from Menus 选择2 SYSTEM POWER CONTROL MENU 1. Enable/Disable Unattended Start Mode: Currently Disabled 2. Ring Indicate Power-On Menu 3. Reboot/Restart Policy Setup Menu 4. Power-On System 5. Power-Off System 6. Enable/Disable Fast System Boot: Currently Fast Boot 7. Boot Mode Menu 98. Return to Previous Menu 99. Exit from Menus 然后再选择6，就可以更改为快起还是慢起了。 今天下午进行了微码升级，改为慢起后，已经可以起来了，具体问题是否解决还需要观察。 |
| yanbing 回复于：2004-05-09 23:53:48 |
| 谢谢楼主！！！ |
| stder 回复于：2004-05-17 05:44:59 |
| 通过升级微码后，该为slow boot，机器已经可以起来。但是遇到一个奇怪的问题，就是一拉起双机，大概10分钟后一套机器就会自动宕机，后来查看日志发现，是被其他的机器关掉的。后来检查配置，这套双机的clustreID与其他机器的ID重复了，所以启动后被别的机器给关掉了！！ |
| stder 回复于：2004-05-18 21:40:23 |
| 微码升级简单步骤：
### Procedimento para Update do Firmware ### 1. cd /tmp/fwupdate 2. chmod +x 70286C4F.BIN 3. ./70286C4F.BIN 4. sum 3R031021.img ---目的：通过检查文件大小，确认升级软件正确的上传到server The output will look like this -----> 30735 4907 3R031021.img The checksum is -----> 30735 5. cd /usr/lpp/diagnostics/bin ./update_flash -f /tmp/fwupdate/3R031021.img 6. lscfg -vp | grep -p Platform ### Procedimento para Update do Firmware ### |
| banker 回复于：2004-05-19 09:13:05 |
| 感谢 |
| aixnewer 回复于：2004-05-19 14:12:16 |
| 搂住讲得很详细,谢谢 |
| zlg88 回复于：2004-05-19 14:48:16 |
| 感谢楼主,写得这么详细,有因有果,最后还有如何升微码. |
| cretelb 回复于：2005-03-18 14:11:08 |
| 这个案例很有借鉴作用，非常感谢！ |
| aixnewer 回复于：2005-03-18 14:19:02 |
| 感谢楼主得详细解答 |
| wozxz 回复于：2005-03-18 14:52:23 |
| 3Q!!!!!! |
| leirenyuan 回复于：2005-03-18 15:38:10 |
| 真是好东西呀 |
| yiplee 回复于：2005-03-18 17:21:28 |
| 不定对不起楼主的一番苦心！UP！ |
| DB2_AIX 回复于：2005-03-20 11:41:48 |
| 八错，顶，支持，多好的人呀！ |
| king37cn 回复于：2005-03-21 18:05:21 |
| 非常感谢,很有帮助,这种文章多多益善,感谢CUer |
| wangtaot 回复于：2005-05-19 10:57:06 |
| 这样有因有果的文章！好就一个字！顶！ |
| zhpeng01 回复于：2005-05-21 18:03:40 |
| 一般机器出了问题，特别是两个机器同时出了问题，就要想想可能不是机器表现出来的问题而是其他的问题，就像这个问题，一般机器应该升级微码到最新，杜绝类似问题出现。 |
| richarwong 回复于：2005-06-10 17:17:29 |
| 机器有奇怪问题就是把微码升到最新 |
| SmartFox365 回复于：2005-06-11 09:34:02 |
| 谢谢楼主啊，楼主真的一个有责任心的啊，把案例说的那么清楚，很好的。
想楼主学习。 UP |
| smallants 回复于：2005-06-12 21:46:54 |
| 不错 |
延伸阅读
文章来源于领测软件测试网 https://www.ltesting.net/
