借鉴 A/B 测试法有效落地学习项目 | 企业培训负责人跨界思维
- 2021-11-10
在成功构建企业学习内容体系之后，如何有效落地学习项目同样是一个工作难点。不理想的学习设计与运营，易导致学习项目落地时困难重重，最终整体效果不够卓越。
因此，本篇内容将探讨如何借鉴 A/B 测试方法思路，建立迷你学习实验室，数据驱动、快速迭代，提升学习项目整体效果，更有效落地企业学习项目。
下面，针对该如何更有效落地学习项目，给出互联网常用的 A/B 测试方法思路，以期能够给到企业学习相关工作一些灵感与启发——
1 借鉴互联网 A/B 测试方法，让项目中创新想法可被验证
A/B 测试源于学术研究的“随机对照试验”，具体做法是将样本用户随机平均分组，实施不同方案，用数据快速验证不同方案效果，以最小风险获得有效反馈。
用数据获取反馈来验证合理与否，是互联网常用工作方式之一，也是落地企业学习项目时能迅速借鉴的方法。
在开展具体工作时，企业学习发展部门根据实际情况可能有各种创新想法，但这些想法常因没有可行方式验证而被搁置，非常可惜。
鉴于此，企业学习发展部门可以使用互联网思维，敏捷搭建迷你学习实验室，巧用 A/B 测试方法寻找最优解：制定方案、确定指标、分组测试、验证数据，最后综合分析比对得出最优方案。
通过 A/B 测试依次找到各关键节点最优方案后，便可以在学习项目中全面推广，进而提升整体落地效果。
2 根据创新想法提出不同假设，快速进行 A/B 测试对比效果
企业学习发展部门在灵感涌现时，可以根据创新想法提出不同假设，用 A/B 测试方法来验证比对，迅速找到最优方案。
举个例子，如果希望改进教学设计提升员工学习效能（包括学习情感、学习行为及认知收获等），首先根据想法提出两个假设——
- 讲师辅导可以提升学习效能；
- 学员反思可以提升学习效能。
然后根据以上假设，设计一组 A/B 测试：将学员随机分成三组，第一组采用原有传统授课模式，第二组添加讲师辅导部分，第三组添加学员反思部分。
测试时间结束后，通过比较三组学员学习效能的增幅差异，验证不同教学手段对学习效果的影响程度，进而将其中最为成功的教学方法推广，以达到提升员工学习效能之目的。
除了学习效能低，课程辍学率（drop-out rate）高是企业学习面临的另一大挑战。不少学员报名学习项目之后，常因各种原因或借口不能完成课程，尤其是非必修类学习项目。
这种情况下，建议可以在关键节点采用 A/B 测试方法：在关键节点采取不同干预措施进行测试，比较在各种措施中（比如设置不同版本的提醒话术）辍学率下降幅度，快速验证不同干预理念、方式的有效性，选择最效果最佳的方式来全面应用。
在此基础之上，想要进阶的学习发展部门还可以采集更多维度的学习行为数据，通过进行学习行为轨迹与模式分析，发现辍学可能发生的时间节点，在节点之前就采取针对性预防措施。
3 基于 A/B 测试设计实验，探索数字化学习最佳实践
数字化学习转型浪潮中，已有不少优秀企业基于互联网常用的 A/B 测试方法来探索学习最佳实践。在此分享一家来自世界 500 强外企的新销售学习项目案例，展示如何通过 A/B 测试，进行项目学习有效性、干预性的研究，用数据驱动迭代，让学习直指效果。
首先，为了证实新销售学习项目的有效性，该企业将学员分组进行试验，从测评、分析数据，多维度指标进行了评分比对。
在学习有效性实验中，学习项目中研究对象被分为了 3 组——
控制组（30 天线上学习）
实验组 1（30 天线上学习 + 讲师微信互动）
实验组 2（30 天线上学习 + 知识竞赛）
在 30 天实验结束后，经过测评和分析，学员在自我效能分模块有 5 分增长、自我效能学习提升有 10 分增长、自我效能认知也有了 3 分以上的修正，多维度指标评分的增长，全面证明该项目的有效性。
图注：A/B 测试流程示意图
在证实了新销售学习项目的有效性之后，该企业进一步开展了学习干预性实验，测试不同干预方式带来的影响程度。
在学习干预性实验中，研究对象同样被分为了 3 组——
Control 控制组（6 天学习，6 天作业）
Instructor 实验组 1（6 天学习，6 天作业 + 讲师一对一辅导）
Active Learning 实验组 2（6 天学习，6 天作业 + 完成讲师设计的反思问题）
在实验结束后发现，不同形式的学习干预行为，对学习效果评分影响程度不同：Active learning 组（学员完成讲师设计的反思问题）效果由 1.0 分提升至 3.5 分，Instructor 组（讲师对学员一对一辅导） 从 1.0 分提升到 2.7 分，Control 组（不加任何学习干预）只有 1.8 分。
由此可见，“学员完成讲师设计的反思问题”对学习效果的影响程度最强，通过提升数据证实主动学习的习惯更有助于效果学习。后续，这一最有效干预形式在各个学习项目的设计中都得到推广。
从上述新销售学习项目案例可以看出，通过 A/B 测试进行学习效果有效性、干预性研究，设计相关实验，通过数据结果找出最优方案并全面应用，最终让整体学习项目更有效落地。
当然，通过数据驱动更有效落地企业学习项目时，不可避免会遇到人力、成本等方面的困扰，但好在技术发展至今，企业完全可根据具体需求，选择先进的学习平台帮助采集、比对数据，更高效地推进工作，让学习项目取得更好效果。
接下来，我们会继续探讨其他领域值得借鉴的跨界思维，给企业学习从业者带来更多迭代灵感，敬请关注！