感受最深的是SEI严谨、科学的工作方法。
一、 评估的基本方法介绍
评估的基本要求在于根据标准对过程进行评价，这个过程涉及的基本方法是验证、确认组织是否达到了了标准要求。
1、 评估的过程
|
序号 |
过程 |
说明 |
|
1.1 |
Analyze Requirements |
分析需求 |
|
1.2 |
Develop Appraisal Plan |
制定计划 |
|
1.3 |
Select and Prepare Team |
选择和准备评估小组 |
|
1.4 |
Obtain and Analyze Initial Objective Evidence |
获得和分析初始证据 |
|
1.5 |
Prepare for Collection of Objective Evidence |
准备证据收集 |
|
2.1 |
Examine Objective Evidence |
调研证据 |
|
2.2 |
Verify and Validate Objective Evidence |
验证和确认证据 |
|
2.3 |
Document Objective Evidence |
记录证据 |
|
2.4 |
Generate Appraisal Results |
产生评估报告 |
|
3.1 |
Deliver Appraisal Results |
发布评估报告 |
|
3.2 |
Package and Archive Appraisal Assets |
评估材料整理 |
|
活动内容 |
责任者 |
说明 |
|
执行过程的信息提供 |
组织执行过程的人员 |
向评估小组提供各类信息、证据 |
|
笔记记录 |
评估小组 |
通过有效手段收集信息 |
|
观察项（Observation）确认 |
评估小组 |
整理、确认证据，形成有效证据 |
|
PA/KPA结论 |
评估小组 |
在证据基础上形成对PA/KPA的结论 |
|
评估结论 |
评估小组 |
根据PA/KPA的结论形成最终结论 |
有如下几点要求：
|
序号 |
内容 |
|
1 |
评估领导者为SEI认可的主任评估师，评估结果才能被SEI认可 |
|
2 |
在评估小组中，被评估组织织少有一人参与 |
|
3 |
评估小组至少四人，最多九人 |
|
4 |
工程经验：整个小组在所有相关工程领域必须有平均六年的经验，总共25年的经验 |
|
5 |
管理经验：整个小组总共至少有十年管理经验，至少有一个有六年管理经验 |
|
6 |
被评估组织过程的相关领域，至少有两位相关专家 |
|
7 |
评估小组成员不能是参加评估项目的管理者，或者参加评估人员的直接管理者 |
|
8 |
评估小组接收了评估培训 |
评估主要获取信息的对象是具体的项目，这些项目作为被评估的项目在评估前已经确定。计划就按照已经确定的项目进行。整个评估过程中，变化最大的是访谈的安排，所以计划安排的主要内容是访谈过程，其它过程SEI基本有严格要求。
访谈安排主要的依据：访谈对象安排，评估范围。访谈计划安排的模板如下：
|
KPA对象 |
RM |
SPP |
SPTO |
SQA |
SCM |
日程安排 |
|
项目经理1 |
3 |
1 |
2 |
3 |
3 |
一 |
|
开发人员 |
2 |
3 |
3 |
2 |
二 | |
|
项目经理2 |
2 |
2 |
1 |
3 |
二 | |
|
配置人员 |
1 |
3 |
3 |
1 |
三 | |
|
高级管理者 |
3 |
3 |
3 |
三 | ||
|
SQA人员 |
3 |
3 |
3 |
1 |
3 |
四 |
|
设计人员 |
3 |
3 |
四 | |||
|
说明 |
“1”表示收集全部证据、“2” 表示收集1/2证据、“3” 表示收集部分证据 | |||||
评估小组任务安排
|
KPA对象 |
RM |
SPP |
SPTO |
SQA |
SCM |
|
评估人员1 |
1 |
2 | |||
|
评估人员2 |
2 |
1 |
|||
|
评估人员3 |
2 |
1 |
|||
|
评估人员4 |
2 |
1 |
|||
|
评估人员5 |
2 |
1 | |||
|
评估人员6 |
2 |
2 |
2 | ||
|
评估人员7 |
2 |
2 |
2 |
||
|
说明 |
“1”表示主要负责，“2”表示参与进行 | ||||
评估工作的跟踪主要是针对“观察项”形成结论的情况来表示，有两种不同的跟踪表格。
KP为观察项的跟踪表格
|
KPAKP |
RM |
SPP |
SPTO |
SCM |
SQA |
|
CO1 |
0 |
1 |
2 |
2 |
2 |
|
。。。。 |
0 |
0 |
0 |
0 |
0 |
|
CO4 |
0 |
0 |
0 |
0 |
0 |
|
AB1 |
0 |
0 |
0 |
0 |
0 |
|
。。。。 |
0 |
0 |
0 |
0 |
0 |
|
AB5 |
0 |
0 |
0 |
0 |
0 |
|
AC1 |
1 |
0 |
0 |
2 |
0 |
|
。。。。 |
0 |
0 |
0 |
0 |
0 |
|
AC15 |
0 |
1 |
0 |
0 |
0 |
|
VE1 |
0 |
0 |
0 |
0 |
0 |
|
VE2 |
0 |
0 |
0 |
0 |
0 |
|
VE2 |
0 |
0 |
0 |
0 |
0 |
|
ME1 |
0 |
0 |
0 |
0 |
0 |
|
ME2 |
0 |
0 |
0 |
0 |
0 |
|
说明 |
“1”表示形成结论，“2”表示要进一步验证，“0”没有开始验证 | ||||
目标为观察项的跟踪表格
|
KPAOB |
RM |
SPP |
SPTO |
SCM |
SQA |
|
OB1 |
0 |
1 |
2 |
2 |
2 |
|
OB2 |
0 |
0 |
0 |
0 |
0 |
|
OB3 |
0 |
0 |
0 |
0 |
0 |
|
OB4 |
0 |
0 |
0 |
0 |
0 |
|
说明 |
“1”表示形成结论，“2”表示要进一步验证，“0”没有开始验证 | ||||
5、证据采集的基本方法
主要有如下几种
|
序号 |
方法名称 |
说明 |
|
1 |
访谈 |
评估小组通过和组织中相关过程执行者进行面对面的交流获取信息 |
|
2 |
文档检查 |
检查组织的过程文件贺执行过程中的文档获取信息 |
|
3 |
组织介绍 |
组织在给评估小组介绍组织情况中反映的信息 |
|
4 |
工具 |
提问单、调查表、标准对照表等工具提供的信息 |
其中访谈是其中的重点，有一些严格要求，具体要求如下
|
序号 |
要求 |
|
1 |
制定每个访谈的目的，计划每次访谈过程 |
|
2 |
保密原则：访谈内容在访谈后不能向任何人透露 |
|
3 |
平等气氛：被访谈者是提供证据的，必须被尊重 |
|
4 |
访谈内容应当进行记录，评估小组会后要相互验证记录的准确性，完整性 |
|
5 |
确认信息和标准要求的相关性 |
6、证据确认方法
根据“观察项”来收集证据，“观察项”的证据收集有两种：从“关键实践”（KP）来收集，从“目标”（OBJECTIVE）来收集。
证据必须满足一定的要求才能成立，见下表：
|
证据来源 |
是否有效 |
说明 | ||
|
执行过程描述（访谈） |
过程文件 |
执行产生的文档 | ||
|
√ |
√ |
√ |
有效 |
可以验证执行者所说 |
|
√ |
√ |
× |
有效 |
可以验证执行者所说 |
|
√ |
× |
√ |
有效 |
可以验证执行者所说 |
|
√ |
× |
× |
无效 |
无法验证执行者所说 |
|
× |
√ |
√ |
无效 |
缺少执行者说明过程执行 |
|
× |
√ |
× |
无效 |
缺少执行者说明过程执行 |
|
× |
× |
√ |
无效 |
缺少执行者说明过程执行 |
|
× |
× |
× |
无效 |
缺少执行者说明过程执行 |
7、形成结论的基本方法
|
序号 |
结论对象 |
结论提出者 |
可选结论 |
|
1 |
观察项（关键实践） |
评小组表决 |
好、不满足、替代 |
|
2 |
目标 |
评小组表决 |
满足、不满足 |
|
3 |
关键过程域 |
评小组表决 |
达到、未达到、不相关、未评估 |
|
4 |
成熟度等级 |
评小组表决 |
达到、未达到 |
|
5 |
最终结论 |
评小组表决 |
达到成熟等级 |
8、最终结论的内容
|
序号 |
内容 |
说明 |
|
1 |
度量数据 |
参加评估项目数量、参加评估人员数量、评估小组、检查文档数量等 |
|
2 |
KPA评价 |
强项、弱项；没有弱项表示达到了CMM标准的要求 |
|
3 |
成熟度等级 |
达到了的等级（2、3、4、5） |
|
4 |
建议 |
过程改进建议，用于被评估组织制定改进的行动计划 |
|
5 |
NO CMM |
提供一些从被评估组织收集到的，非CMM相关内容的信息 |
二、个人的一些经验
预评估后、正式评估前要制定完善的行动计划，这个计划一定要基于预评估的结果。即根据预评估结果确定问题域，根据问题域确定行动方案。
评估前安排“评估倒计时”，让大家感受到评估日益临近，这样有利于全面准备评估工作，营造全员参与的气氛。
评估前要将评估的日程表提前发给参与评估的人员，便于它们为参加]评估安排时间。
评估中安排好后勤工作，例如会议室准备、白板、纸张、待审文档、饮食茶水等，营造一个愉快的评估环境。
评估小组一般要填写大量文档、报告，应当在评估室准备较多的白纸、笔记本、打印机。在进行访谈的时候，一定要听清楚问题，没有搞清楚是什么问题，一定要向提问者咨询。
文章来源于领测软件测试网 https://www.ltesting.net/
