如何使用考试 AI 智能评分
- 2021-11-30
学习分为四个层次——了解、理解、记忆、应用，其中记忆是对所学知识进行巩固、内化的过程，使知识在不同时间、不同地点仍然能够被准确复述。在课程中，通过 UMU 考试小节对所学知识进行重复性、间隔性的练习，可以有效将短时记忆转化为长期记忆。
UMU 考试小节支持单选题、多选题和开放式问题。开放式问题的评分方式有两种：自动评分和手动评分。当设置为自动评分时，系统会严格按照讲师设置的标准答案进行评分，只有当学员的答案与标准答案完全一致时才可得分。
然而对于描述类、论述类的开放式问题，只有参考答案，没有标准答案，学员的回答其实只需覆盖“得分点”就可得分，不必与参考答案完全一致。这时手动评分对讲师来说意味着巨大的负担和压力，且时间消耗多、反馈效率低、评分准确度难以保证。
为了帮助讲师减轻手动评分的负担、提升开放式问题的评分准确度和反馈效率，UMU 考试小节最新推出AI 智能评分功能。利用自然语言理解（NLU）和知识图谱（KG）技术，AI 可以自动理解学员的答案、识别近似说法，根据学员是否在语义层面命中了关键词，进行智能判断和评分。讲师只需设定一些关键词，即“得分点”，作为 AI 智能评分时的依据即可，大大减轻了评分负担和压力，提高了反馈和评分效率，使学员能够获得即时反馈、缩短练习 - 反馈周期、增加练习和模拟的机会。通过强大的 AI 技术赋能，讲师可以节省出更多宝贵的时间和精力，投入到课程设计和打磨中。
下面我们来具体了解一下讲师如何使用 AI 智能评分功能：
1.开启 AI 智能评分功能
进入考试小节，选择开放式问题，开启 AI 智能评分。
2.设置用于 AI 智能评分的关键词
如何有效设置关键词
关键词即得分点，AI 会根据学员是否在语义层面命中了关键词，智能进行评分，所以 AI 评分的准确性很大程度上取决于关键词的合理、准确设置。建议您参考以下方法设置关键词及同义词：
针对每个得分点设置关键词，关键词精炼、不重复
选择含义清晰、说法相对固定、没有歧义的关键词
当关键词是专业术语或有特殊含义的词汇时，AI 可能难以识别其同义词，建议您手动补充同义词
对于常见的关键词，也可以通过手动补充同义词，帮助 AI 更好地识别和准确评分
根据学员的真实作答补充同义词。通过让一些学员先答，获得真实使用的同义词，之后补充在同义词中
下面举例说明：
开放式问题：如何进行有效沟通？
参考答案：
首先要注意沟通是双向的，不要单方面输出，要学会聆听。其次要坦诚、透明，有什么说什么，不要故意隐瞒。此外沟通过程中要保持尊重，认真理解对方的想法。最后可以用一些肢体语言来表达自己的态度，比如真挚的眼神、身体略向前倾、面带笑容等。
关键词设置：
提炼出 3 个得分点，第一个得分点用双向和聆听都可以，可以将其中一个设置为同义词，也可以为它们分别补充一些同义词，如“双向沟通”、“学会聆听”，帮助 AI 更好地识别
第二个得分点是坦诚、透明，可以设置关键词为“坦诚透明”，并添加“坦诚”、“透明”为同义词
第三个得分点可将关键词设置为肢体语言，而不是“真挚眼神”、“身体前倾”等，因为这些是举例，并不是恰当的关键词
设置关键词的具体操作
开启 AI 智能评分后，点击关键词输入框，输入关键词。点击下面的同义词输入框，输入此关键词的同义词。
关键词为必填。点击关键词输入框的“+”或者敲击回车，继续输入下一个关键词。最多可设置 20 个关键词。
同义词为选填，点击同义词输入框的“+”或者敲击回车，继续输入下一个同义词。每个关键词最多可设置 10 个同义词。
3.查看 AI 智能评分结果
学员提交考试后，自动进行 AI 智能评分。在考试小节的基本信息页面，讲师可以看到 AI 智能评分结果。
在学员管理页面，讲师可以修改评分，讲师手动评分后，就不再显示 AI 智能评分。
4.调整 AI 智能评分关键词
当有学员提交考试后，讲师可以参考已提交学员的答案，修改和补充 AI 智能评分的关键词和同义词，有助于 AI 后续评分更准确。但是只会影响尚未提交考试的学员，已提交考试的学员评分结果不变。点击编辑，直接调整关键词和同义词即可。
学员端的体验变化：讲师开启 AI 智能评分功能，学员在提交考试后，客观题系统自动评分，开放式问题需等待 AI 进行智能评分，一分钟内即可获得评分结果。
