企业中的学习项目结束之后,人才发展部门经常会遇到两大难题:一方面,项目效果不好评估,整体价值难以被量化和看见;另一方面,无法利用有效数据识别高潜人才、无法给业务带来洞察和指导,学习项目如果与业务割裂十分可惜。可见,在有效落地学习项目之后,企业如何衡量学习效果、用数据对项目进行迭代非常重要。

因此,本篇内容将探讨在学习项目结束之后,怎样通过数据分析衡量项目效果,发掘背后洞察,让学习价值被清晰看见,也让项目设计有针对性迭代方向。

下面就如何用数据科学思维体现价值和分析处理给出一些参考,以期给到企业学习发展工作更多灵感加持——

1 重新定义数据指标,衡量项目实际效果

学习发展部门之所以在企业中容易被误当作成本部门,认为不具业务战略意义,和绩效没有直接关联,主要原因之一就在于学习价值难以被量化,投资回报率不易衡量。

想要扭转这一误解,首先要意识到企业学习需指向绩效提升,必须据此设计出真正有效果的在线学习项目;接着在项目结束后,从“量化价值”角度切入思考,通过评估分析,让学习项目的效果能被精确衡量。

著名学者 Donald Kirkpatrick 提出的“柯氏 4 级培训评估模型”,被认为是目前世界上应用最广的培训评估工具:

  • 反应评估(Reaction) :评估被培训者的满意程度,常常通过问卷的形式来收集;
  • 学习评估(Learning) :检测被培训者的学习收获,常通过对知识掌握程度进行前测与后测的对比来推断;
  • 行为评估(Behavior) :考察被培训者的应用能力,通过 360° 观察工作中的行为是否发生了变化;
  • 成果评估(Result):衡量对组织的影响,如整体收入增加,客户投诉降低,产品质量提升。

进行各级评估本身需要一定成本,而且随着级数增加,成本也会越高,企业常因成本原因放弃评估,造成无法系统性衡量学习项目效果的难题。

评估学习效果需要成本,而每个单独指标都存在着一定局限性,所以要根据企业具体情况创新构建新指标,综合评估实际效果。

在衡量实际效果时,有时通过传统学习数据指标无法精准评估,像是在一个学习项目落地过程中,学员满意度与学习效果并不具有强相关性,知识掌握程度和应用能力存在差距,行为评估操作复杂,成果评估取决于业务数据是否可衡量以及可建立因果性。

因此,想要做好量化评估,首先应该科学地进行效果学习课程设计,然后以终为始地反推哪些现有指标最关键,以及需要创造性地构建哪些新指标,以便后续综合评估项目带来的真实效果,获得深刻洞见。

举个例子,某家本土大型服装公司对“新员工产品学习”项目复盘时,最希望了解新员工对各项产品掌握水平是否有提升,选取最关键的评估指标,应从与产品直接相关的各数据指标入手(比如考试成绩、作业评分等),而不必过分纠结学习时长这一数据。

2 学习时间越长不代表项目越成功,导向绩效的学习效果才是关键

现实中,不少企业容易倾向于用学习时长指标来衡量项目效果,误以为员工学习时间越长越用功,等于项目越成功。但是,学习时长、学习资料使用率和学习项目不存在必然关联,学习时间长并不等于学习效果好

值得一提的是,对于时间成本较高的员工来说,时间本身代表巨大的工资成本,学习时间绝非越长越好。

对于不方便直接衡量的指标,可选择方便测量的代替方法,比如网络考试的作弊行为,就能够从观察学员答题时长、切屏次数等可测量的手段来侧面判断和评估。

除了创造性地定义新的学习指标之外,学习发展人员还需深入思考,找到衡量学习效果的最佳时机。课程完结时,不一定是最佳衡量时机,因为学习效果对行为的变化和业绩的影响需要一定时间才能显现出来。

比如一个针对销售的产品学习项目,开始前做好各个销售员工的销售额记录,结束一定时间后(可以是一个月或一个季度),再做销售额数据前后对比,通过业绩提升多少来衡量效果。

图注:学习前后学员平均月销售额对比简要示意

再比如,一家药企对新医药代表进行医药知识类学习项目,最早在刚刚结课时进行考试,发现很多学员能够通过短时记忆取得高分,但过段时间会以往,无法在面对客户时很好应用。

根据艾宾浩斯遗忘曲线,学习内容在 1 个月后通常只有 21% 左右被记住。所以,课程完结一段时间后(比如一周后、一月后)再测几次,更有可能测出更真实的知识留存率,根据多次测试成绩来综合评定学习效果。

可见,企业学习发展部门需要深入思考在不同场景和限制条件下,除了选取、构建项目成功的最关键指标,也需要挑选合适时机来衡量项目效果,证明学习项目的真实价值。

3 洞察数据指标背后意义,复盘总结中找到行动指南

选取和构建项目成功的关键指标后,除了可以衡量项目成功、证明价值之外,还可以通过复盘总结,深入洞察所呈现的总体学习数据,从学习完成度和积极性判断各学员水平、状态:首先,可以从学习数据中找出与高潜员工、学习数据与组织/团队健康程度等方面的关联,有所行动;其次,在复盘各种总结的同时,通过分析数据,找出关键洞察来迭代、创新学习项目设计。

比如,世界 500 强 A 集团在校招结束后,为当期校招生开展新人训练营,结营后,通过学员学习数据和测评分析做出一份完整的复盘总结报告。整体上通过学习完成度(完成质量)和积极性(练习次数)就可以辅助评估每个学员的水平、状况。来分析各个员工的水平和状态,并且侧面判断稳定性。

报告中学员“作业多次练习”、“高质量按时完成”、“作业高分”、“获赞多”、“担任组长”及“总分高”等数据,能最大程度上帮助企业挖掘高潜人才,进而与业务联通,将资源更多投入到高潜员工身上,让企业学习事半功倍。


图注:校招新人训练营高潜员工分析示意

同时,在项目复盘报告的各类数据统计中,有选择性地找出与学习动机、意愿和愉悦程度较强相关的指标,比如“讨论发布数”、“点赞数”等,将这些数据进行深入分析,从侧面诊断组织/团队的活力、凝聚力和健康程度,有针对性地对薄弱环节设计助推引导。

在更具体的复盘分析中,收集各个学员的各维度学习数据后,根据学习行为数据点形成学员画像,清晰知道某知识点对于具体学员的难易程度,然后根据数据复盘调整学习项目设计,有针对性地迭代学习项目,助学员全方位掌握业务知识。

举个例子,某大型跨国连锁快消企业会对每月入职的新销售进行产品培训,从首期培训开始,每个月都会从三大维度进行详细数据分析——

  • 内容数量:根据学员完成学习项目所用平均时间/能按时完成的人数比例,来评估内容梳理是否合理,根据数据调整内容数量;
  • 内容难度:根据学员总体表现来调整学习内容难度,如果某些学习内容参与率骤降,某个考试成绩特别差,作业表现非常差,就需要着重改变内容难度;
  • 项目节奏:根据学员整体学习节奏来对内容比例、运营方式等进行迭代,比如预想的进行节奏完全没有发生或突然发生了改变,便应该立刻改变项目节奏。

在每期培训结束后,都会按照以上维度对产品培训项目进行针对性调整,经过 10 次以上迭代后,在第二年该培训项目变得非常成熟,只需要进行微调步迭代便可直接复用。

由此可见,项目复盘总结报告中对各类数据深入洞察,加以分析利用,用来反推学习发展部门下一步的培训项目计划,设计更有效的学习项目,很有现实意义。

综合来看,对于学习发展部门而言,想要学习项目的价值被看到,最直接的就是选取合适数据指标进行分析,让学习价值被精确衡量,在进行分析时要格外注意,学习时间越长不能代表项目越成功,导向绩效的学习效果数据才是关键;在此基础上,项目结束后找到合适时机,通过各数据复盘总结,深入洞察所呈现的总体学习数据(比如从学习完成度和积极性判断各学员水平、状态),找到薄弱环节,有针对性地高效迭代项目。

当然,想要认真系统性衡量、分析效果及科学复盘总结,不可避免会受限制于人力、成本等性价比方面的困扰,但好在技术、行业发展至今,企业完全可根据具体需求,选择能提供一站式企业学习解决方案的学习平台,通过先进技术与专业服务助力,更全面高效地进行数据分析、评估与复盘,节省宝贵的人力和时间,创造更多价值

上一篇:: 课程模板,一键创建有效果的课程
下一篇:: UMU 的 2021:组织发展、产品和技术突破带来业务高速发展