在成功构建企业学习内容体系之后,如何有效落地学习项目同样是一个工作难点。不理想的学习设计与运营,易导致学习项目落地时困难重重,最终整体效果不够卓越。

因此,本篇内容将探讨如何借鉴 A/B 测试方法思路,建立迷你学习实验室,数据驱动、快速迭代,提升学习项目整体效果,更有效落地企业学习项目。

下面,针对该如何更有效落地学习项目,给出互联网常用的 A/B 测试方法思路,以期能够给到企业学习相关工作一些灵感与启发——

1 借鉴互联网 A/B 测试方法,让项目中创新想法可被验证

A/B 测试源于学术研究的“随机对照试验”,具体做法是将样本用户随机平均分组,实施不同方案,用数据快速验证不同方案效果,以最小风险获得有效反馈。

用数据获取反馈来验证合理与否,是互联网常用工作方式之一,也是落地企业学习项目时能迅速借鉴的方法。

在开展具体工作时,企业学习发展部门根据实际情况可能有各种创新想法,但这些想法常因没有可行方式验证而被搁置,非常可惜。

鉴于此,企业学习发展部门可以使用互联网思维,敏捷搭建迷你学习实验室,巧用 A/B 测试方法寻找最优解:制定方案、确定指标、分组测试、验证数据,最后综合分析比对得出最优方案。

通过 A/B 测试依次找到各关键节点最优方案后,便可以在学习项目中全面推广,进而提升整体落地效果。

2 根据创新想法提出不同假设,快速进行 A/B 测试对比效果

企业学习发展部门在灵感涌现时,可以根据创新想法提出不同假设,用 A/B 测试方法来验证比对,迅速找到最优方案。

举个例子,如果希望改进教学设计提升员工学习效能(包括学习情感、学习行为及认知收获等),首先根据想法提出两个假设——

  1. 讲师辅导可以提升学习效能;
  1. 学员反思可以提升学习效能。

然后根据以上假设,设计一组 A/B 测试:将学员随机分成三组,第一组采用原有传统授课模式,第二组添加讲师辅导部分,第三组添加学员反思部分。

测试时间结束后,通过比较三组学员学习效能的增幅差异,验证不同教学手段对学习效果的影响程度,进而将其中最为成功的教学方法推广,以达到提升员工学习效能之目的。

除了学习效能低,课程辍学率(drop-out rate)高是企业学习面临的另一大挑战。不少学员报名学习项目之后,常因各种原因或借口不能完成课程,尤其是非必修类学习项目。

这种情况下,建议可以在关键节点采用 A/B 测试方法:在关键节点采取不同干预措施进行测试,比较在各种措施中(比如设置不同版本的提醒话术)辍学率下降幅度,快速验证不同干预理念、方式的有效性,选择最效果最佳的方式来全面应用。

在此基础之上,想要进阶的学习发展部门还可以采集更多维度的学习行为数据,通过进行学习行为轨迹与模式分析,发现辍学可能发生的时间节点,在节点之前就采取针对性预防措施。

3 基于 A/B 测试设计实验,探索数字化学习最佳实践

数字化学习转型浪潮中,已有不少优秀企业基于互联网常用的 A/B 测试方法来探索学习最佳实践。在此分享一家来自世界 500 强外企的新销售学习项目案例,展示如何通过 A/B 测试,进行项目学习有效性、干预性的研究,用数据驱动迭代,让学习直指效果。

首先,为了证实新销售学习项目的有效性,该企业将学员分组进行试验,从测评、分析数据,多维度指标进行了评分比对。

在学习有效性实验中,学习项目中研究对象被分为了 3 组——

控制组(30 天线上学习)
实验组 1(30 天线上学习 + 讲师微信互动)
实验组 2(30 天线上学习 + 知识竞赛)

在 30 天实验结束后,经过测评和分析,学员在自我效能分模块有 5 分增长、自我效能学习提升有 10 分增长、自我效能认知也有了 3 分以上的修正,多维度指标评分的增长,全面证明该项目的有效性。


图注:A/B 测试流程示意图

在证实了新销售学习项目的有效性之后,该企业进一步开展了学习干预性实验,测试不同干预方式带来的影响程度。

在学习干预性实验中,研究对象同样被分为了 3 组——
Control 控制组(6 天学习,6 天作业)
Instructor 实验组 1(6 天学习,6 天作业 + 讲师一对一辅导)
Active Learning 实验组 2(6 天学习,6 天作业 + 完成讲师设计的反思问题)

在实验结束后发现,不同形式的学习干预行为,对学习效果评分影响程度不同:Active learning 组(学员完成讲师设计的反思问题)效果由 1.0 分提升至 3.5 分,Instructor 组(讲师对学员一对一辅导) 从 1.0 分提升到 2.7 分,Control 组(不加任何学习干预)只有 1.8 分。

由此可见,“学员完成讲师设计的反思问题”对学习效果的影响程度最强,通过提升数据证实主动学习的习惯更有助于效果学习。后续,这一最有效干预形式在各个学习项目的设计中都得到推广。

从上述新销售学习项目案例可以看出,通过 A/B 测试进行学习效果有效性、干预性研究,设计相关实验,通过数据结果找出最优方案并全面应用,最终让整体学习项目更有效落地。

当然,通过数据驱动更有效落地企业学习项目时,不可避免会遇到人力、成本等方面的困扰,但好在技术发展至今,企业完全可根据具体需求,选择先进的学习平台帮助采集、比对数据,更高效地推进工作,让学习项目取得更好效果。

接下来,我们会继续探讨其他领域值得借鉴的跨界思维,给企业学习从业者带来更多迭代灵感,敬请关注!

上一篇:UMU 新增提交时间设置,互动管理方式更加灵活
下一篇:UMU 学习地图创建操作指南