企業為什麼要進行訓練評鑑?一般說來,不外乎四種目的:做出採購決策、考核講師授課技巧、證明訓練單位價值、改善自製課程。這些目的性質相異,理應採取不同的評鑑步驟。但多數訓練同仁卻一律以Kirkpatrick 的「學員感受、學習成效、行為改變、組織效益」四層次評鑑模式來應對,往往事倍功半,牛頭不對馬嘴。現在就讓我逐一分析,並建議改進之道。

一、做出採購決策

訓練部門經常要負責採購實體課程、數位課程、或工具平台。為了要評選供應商,許多訓練同仁就會根據Kirkpatrick的四層次評鑑模式來進行分析,但最後往往發現,其分析結果,並無法協助你做出採購決策。

舉例來說,你想採購某個數位課程,於是你找了ABC三個產品。經過大量試用與問卷分析後,你的數據顯示:A的滿意度最高,B的學習成效最好,C的教學策略最好。然後呢?你還是不知道該買哪一個!

為了避免陷入這個困境,我建議你,把Kirkpatrick的模式倒過來用,改採「組織效益、行為改變、學習成效、學員感受」的順序來進行。也就是說,在一開始,就先把焦點放在「如何以最划算的成本,協助企業解決所面對的績效問題」!先比較ABC三個方案的總效益及成本。比較之後,如果發現,B的成本效益最佳,A次之,C最差,那就暫訂採購B了。接著你就只針對B,評估它的行為改變、學習成效、滿意度等特質,如果這些特質你都可以接受,那就是採購B了。如果評估B的過程中,你發現無法接受,你就淘汰B,然後把A列為暫訂選擇,評估它的行為改變、學習成效、滿意度等特質…

透過這樣的流程,你可以迅速有效地找到「可接受解」,而不會耗費大量資源在尋找「完美解」而落得勞無功!

二、考核講師授課技巧

許多企業在講師授課後,都會請學員填寫「滿意度問卷」,以考核講師的教學品質。這個流程立意良好,但「如何判讀得分」往往是個大烏龍!

通常一個課程包含三個元素:講師、學員、內容。講師是訓練單位找的。學員則是自願參加或指定參加。而內容則是訓練單位和講師溝通討論的。而一堂課的成敗和三個元素都有關連。

「滿意度」是什麼?它代表的是學員對整堂課的「感覺」!當學員「感覺不滿意」時,最簡單有三種可能(更複雜的組合就略過不談了):

  1. 內容合適、學員合適,可是講師技巧不好。
  2. 內容合適、講師技巧優秀、可是學員不合適。
  3. 學員合適、講師技巧優秀,可是內容不合適。

所以,要改善「滿意度不夠高」的課程,其對策不見得是「更換講師」,而有可能是「檢討課程內容是否符合學員需求(「績效診斷」的技巧)」,或者「檢討學員資格是否符合課程內容(「學習者分析」的技巧)

另外,有些訓練單位規定:「滿意度低於某門檻分數(如4.3)的課程要停掉!」這個規定其實有待商榷,因為4分代表「滿意」,「平均4.3分」的課程,已經是「平均起來令人滿意」的課程啦,為什麼要淘汰呢?而且,一個課程如果會開,一定是評估之後覺得學員需求某種技能才會開,怎麼會因為「學員不夠喜歡這個課程」就停止傳授這個技能了呢?

我要提醒大家:「學員喜歡某課程」和「某課程的必要性」是兩件事情。所謂良藥苦口,有些課程就是比較枯燥,滿意度不容易高,但還是有必要!藥的功用是治病,能不能把病治好最重要!不能因為病人不喜歡藥的味道,就停吃這個藥吧?

三、證明訓練單位的價值

訓練單位有個心照不宣的秘密:許多訓練評鑑的目的,不是為了尋找提昇績效的辦法,而是為了「符合政府獎勵條件、跟高層主管報告成果、製造公關所需的宣傳資料…。」

如果這才是你的真正目的,那我建議你,就別管Kirkpatrick評鑑模式,直接蒐集一些跟訓練單位的「影響力」有關的資料

量化的資料,可以是訓練部門年度的開課名稱、開課時數、總受訓人次、平均每人上課時數、所執行的訪談次數…等。質化的資料,可以是各部門受訓同仁的回饋意見、各部門主管的感謝信函、開課主題和企業經營策略的連動關係…。你甚至還可以比較每年度各指標的成長幅度、訓練單位和同業之間的相對人力、相對預算、相對成果。

這種「影響力相關」的資料,不僅蒐集起來比較容易,其內容也比較具體,而且主管也比較「看得懂」,可以更有效地幫你達成目的

四、改善自製課程

如果你是課程的開發者或是全職講師,而且主持了類似IBM那種800萬美金的大型課程開發專案,那你的確必須熟悉Kirkpatrick 的評鑑模式,深入瞭解「學員感受、學習成果、行為改變、組織效益」的效益!

但如果課程規模不太,那我建議採取比較變通,也比較節省時間的作法:

以非正式的型式,靈活運用「自我評估、同儕諮詢、小組訪談、或者專家檢視」等方法,直接蒐集「學員感受、學習成果、行為改變、組織效益」四類資料就好。反正你又不是要發表SSCI論文,不必採用什麼實驗組、對照組的評鑑流程啦。

其實,九成以上的課程發展缺失,都可以透過「專家檢核」的方法,直接請某個專家給予回饋,並提出改進對策,這種方法比起「調查學員滿意度」,不僅可以及早發現問題,也能提供更有價值的建議,也能節省更多的資源