企业为什么要进行训练评鉴?一般说来,不外乎四种目的:做出采购决策、考核讲师授课技巧、证明训练单位价值、改善自制课程。这些目的性质相异,理应采取不同的评鉴步骤。但多数训练同仁却一律以Kirkpatrick 的「学员感受、学习成效、行为改变、组织效益」四层次评鉴模式来应对,往往事倍功半,牛头不对马嘴。现在就让我逐一分析,并建议改进之道。

一、做出采购决策

训练部门经常要负责采购实体课程、数位课程、或工具平台。为了要评选供货商,许多训练同仁就会根据Kirkpatrick的四层次评鉴模式来进行分析,但最后往往发现,其分析结果,并无法协助你做出采购决策。

举例来说,你想采购某个数位课程,于是你找了ABC三个产品。经过大量试用与问卷分析后,你的数据显示:A的满意度最高,B的学习成效最好,C的教学策略最好。然后呢?你还是不知道该买哪一个!

为了避免陷入这个困境,我建议你,Kirkpatrick的模式倒过来用,改采「组织效益、行为改变、学习成效、学员感受」的顺序来进行。也就是说,在一开始,就先把焦点放在「如何以最划算的成本,协助企业解决所面对的绩效问题」!先比较ABC三个方案的总效益及成本。比较之后,如果发现,B的成本效益最佳,A次之,C最差,那就暂订采购B了。接着你就只针对B,评估它的行为改变、学习成效、满意度等特质,如果这些特质你都可以接受,那就是采购B了。如果评估B的过程中,你发现无法接受,你就淘汰B,然后把A列为暂订选择,评估它的行为改变、学习成效、满意度等特质…

透过这样的流程,你可以迅速有效地找到「可接受解」,而不会耗费大量资源在寻找「完美解」而落得劳无功!

二、考核讲师授课技巧

许多企业在讲师授课后,都会请学员填写「满意度问卷」,以考核讲师的教学质量。这个流程立意良好,但「如何判读得分」往往是个大乌龙!

通常一个课程包含三个元素:讲师、学员、内容。讲师是训练单位找的。学员则是自愿参加或指定参加。而内容则是训练单位和讲师沟通讨论的。而一堂课的成败和三个元素都有关连。

「满意度」是什么?它代表的是学员对整堂课的「感觉」!当学员「感觉不满意」时,最简单有三种可能(更复杂的组合就略过不谈了):

  1. 内容合适、学员合适,可是讲师技巧不好。
  2. 内容合适、讲师技巧优秀、可是学员不合适。
  3. 学员合适、讲师技巧优秀,可是内容不合适。

所以,要改善「满意度不够高」的课程,其对策不见得是「更换讲师」,而有可能是「检讨课程内容是否符合学员需求(「绩效诊断」的技巧)」,或者「检讨学员资格是否符合课程内容(「学习者分析」的技巧)

另外,有些训练单位规定:「满意度低于某门坎分数(如4.3)的课程要停掉!」这个规定其实有待商榷,因为4分代表「满意」,「平均4.3分」的课程,已经是「平均起来令人满意」的课程啦,为什么要淘汰呢?而且,一个课程如果会开,一定是评估之后觉得学员需求某种技能才会开,怎么会因为「学员不够喜欢这个课程」就停止传授这个技能了呢?

我要提醒大家:「学员喜欢某课程」和「某课程的必要性」是两件事情。所谓良药苦口,有些课程就是比较枯燥,满意度不容易高,但还是有必要!药的功用是治病,能不能把病治好最重要!不能因为病人不喜欢药的味道,就停吃这个药吧?

三、证明训练单位的价值

训练单位有个心照不宣的秘密:许多训练评鉴的目的,不是为了寻找提升绩效的办法,而是为了「符合政府奖励条件、跟高层主管报告成果、制造公关所需的宣传资料…。」

如果这才是你的真正目的,那我建议你,就别管Kirkpatrick评鉴模式,直接搜集一些跟训练单位的「影响力」有关的资料

量化的数据,可以是训练部门年度的开课名称、开课时数、总受训人次、平均每人上课时数、所执行的访谈次数…等。质化的数据,可以是各部门受训同仁的回馈意见、各部门主管的感谢信函、开课主题和企业经营策略的连动关系…。你甚至还可以比较每年度各指针的成长幅度、训练单位和同业之间的相对人力、相对预算、相对成果。

这种「影响力相关」的资料,不仅搜集起来比较容易,其内容也比较具体,而且主管也比较「看得懂」,可以更有效地帮你达成目的

四、改善自制课程

如果你是课程的开发者或是全职讲师,而且主持了类似IBM那种800万美金的大型课程开发项目,那你的确必须熟悉Kirkpatrick 的评鉴模式,深入了解「学员感受、学习成果、行为改变、组织效益」的效益!

但如果课程规模不太,那我建议采取比较变通,也比较节省时间的作法:

以非正式的型式,灵活运用「自我评估、同侪咨询、小组访谈、或者专家检视」等方法,直接搜集「学员感受、学习成果、行为改变、组织效益」四类数据就好。反正你又不是要发表SSCI论文,不必采用什么实验组、对照组的评鉴流程啦。

其实,九成以上的课程发展缺失,都可以透过「专家检核」的方法,直接请某个专家给予回馈,并提出改进对策,这种方法比起「调查学员满意度」,不仅可以及早发现问题,也能提供更有价值的建议,也能节省更多的资源