某訓練同仁請我幫忙修改他們的「講師滿意度」問卷,我發現其中一題是:「你對本次訓練的伙食滿不滿意?」我問他為什麼出這題?他回答:「因為伙食是受訓學員非常在乎的一個項目啊!」

很顯然,他想評鑑的是「學員對整體訓練是否滿意」,而不僅是「學員對講師是否滿意」。如果只想評鑑「學員對講師是否滿意」,那就不該出現這題,畢竟伙食不是講師煮的啊!

問卷是訓練部門經常使用的評鑑工具,但是大多數的同仁卻都不得要領,而讓這個工具失去效度與信度。而今天,我就和大家分享一個問卷設計的要領:先釐清你的「評鑑對象」,選用正確的「評鑑面向」,然後再設計問句

釐清評鑑對象

所謂「評鑑對象」,就是你打算考核的人事物。一般而言,訓練部門最常評鑑的對象有三類:

  • 講師:講師可能是外聘的,也可能是內部主管或同仁。我們會想瞭解,這個講師有沒有扮演他的角色,達成預期目標。
  • 教材工具:教材工具包括數位教材、學習平台、訓練影片等。我們會想知道,這些工具有沒有達成當初採購的目標。
  • 整體訓練:整體訓練是指某個訓練專案或計畫。我們會想知道,這個專案有沒有達成預期目標。

選擇評鑑面向

一旦釐清評鑑對象之後,接著就要問自己,我們打算從哪些層面,來評鑑我們先前我設定的對象。

一般而言,不管評鑑對象是講師、教材工具、或者整體訓練,我們都可以從以下五種層面來評鑑:

  • 滿意程度:學員對該評鑑對象的滿意程度為何?
  • 學習成效:評鑑對象對學員產生多少學習成效?
  • 行為改變:評鑑對象對學員造成多少行為改變?
  • 績效影響:評鑑對象對組織提高多少績效?
  • 投資效益:評鑑對象對組織所產生的投資效益(ROI)有多高?

這五個評鑑面向中,前四個是 Kirkpatrick 所提出的四層次評鑑,第五個則是Phillips所提出。相較而言,「滿意度」是最容易執行、最常被執行、但價值也最低的面向。而「投資效益」則是最難執行,最少被執行,但價值也最高的面向!

設計問卷

一旦評鑑對象以及評鑑面向都決定了,你就可以找出問卷的發展方向了。舉例而言,如果你的評鑑對象是某個「講師」,而你的評鑑面向是「滿意程度」,你的問卷內容,就必須是用來測量「學員對該講師的滿意度」。超出這個範圍的題目,都是偏離主題。

同樣的,如果你的評鑑對象是「講師」,而你的評價面向是「行為改變」,那你所設計的問卷(或其他測量工具),就必須是用來測量「該講師對學員所造成的行為改變」。超出這個範圍的題目或者測量方式,都是偏離主題。

再舉一個例子,如果你的評鑑對象是某個數位課程,而你的評鑑面向是「學習成效」,你所設計問卷(或其他測量工具),就必須是用來測量「該數位課程對學員所產生的學習成效」,依此類推。

結論

熟悉這些步驟,將協助你針對你的評鑑對象,找出正確的評鑑面向,進而設計出正確的問句,或者訂定正確的指標。也就能強化你的評鑑能力!