Quizlet旨在使学生更好地学习，并且重要的是，我们的工具不仅要有趣，有趣，而且要有效。 其中很大一部分是帮助学生专注于需要最多工作的术语，但是另一个重要的挑战是选择正确的问题格式来研究这些术语。 我们的大多数学习系统使用单个问题格式，而测试使用随机组合。 但是Learn是我们的第一个学习系统，它自适应地使用多种问题格式，试图为每个术语选择最佳的格式。 那么我们如何决定使用哪种问题格式？
认知科学研究可以为这一决定提供依据。 测试效果表明，主动检索练习是一种有效的学习方法，因此我们希望选择促进检索练习并阻止被动重读的问题格式。 此外，检索工作量假设指出，困难的问题比容易的问题要好，但前提是仍然可以正确回答。 这表明，根据理想难度的想法，我们应该针对最佳难度级别。 我们已经订购了针对此最佳难度的术语，但是我们也可以优化针对这些术语提出的问题的格式。
新的Quizlet Learn于2017年春季发布，那年夏天，我们测试了对使用不同问题类型的方式的一些更改。 在取消识别并汇总了所得到的学习课程之后，我们进行了一些分析，以帮助我们改进在Learn中选择类型的方式。 请继续阅读以了解更多信息！
启动“ 学习”后，它支持五种问题格式：
- 输入响应：出现提示时，输入答案。 我们要求输入的答案或多或少地与正确答案完全匹配，但是在适当的时候有一些规则可以宽大一些，例如大写和标点符号。
- 自分级抽认卡：具有正面和背面的虚拟抽认卡。 另外，我们要求学生诚实地评估他们是否能够在使用“知道”和“不知道”按钮翻转卡片之前回忆起背面。
- 对/错：给定一对物品，答案：它们在一起吗？ 对或错。
- 多项选择：在提示中选择4个选项中的哪个。
- 没有以上任何一项的多项选择：与多项选择类似，但有一个额外的“以上皆非”选项
这些格式可以分为两类：提示的回忆和识别问题。 提示的回忆问题具有一个“提示”（或“提示”），该提示对应于必须从记忆中纯粹回忆出的预期答案。 键入响应和自我评分的抽认卡都是提示性回忆问题的示例。
我们认为其他问题格式是识别问题。 系统会给学生一个提示，以及可能与该提示相对应的选项。 学生必须在错误的备选方案中识别正确的答案，或者确定不存在正确的答案。 无论哪种情况，此任务都比单纯从内存中调用答案要容易。
这些问题格式之间有什么区别？ 他们可能使一个比另一个更好的选择呢？ 我们评估了几种差异化因素，以评估每种格式的整体有效性。
可猜测性
对于具有固定数量选项的问题，完全可以偶然地猜出正确答案。 虽然这可能会提高学生的考试成绩，但对于学习而言并不理想。 如果某人可以在不真正知道答案的情况下猜出正确答案，那么他们就不会获得主动回忆的学习益处。 此外，关于学生实际知道哪些术语的信号还不够好，帮助他们专注于他们不知道的术语会更加困难。
我们的多项选择题有四分之一的机会被猜中，以上都不是的多项选择有五分之一的机会，对/错的几率为二分之一。 提示的回忆问题无法猜测，至少不是纯粹出于偶然。 如果学生能够将答案缩小到几个选项并在这些选项中正确猜测，他们仍然会想起正确的答案，但也会想起另一个错误的答案。 不能真正猜出自分级的抽认卡，但有可能某人会很容易对自己进行识别，即使他们不完全知道答案，也将其标记为“已知”。
困难
困难是决定什么是一个好问题的最大因素之一，而不仅仅是可猜测性。 多项选择题和对错题都允许消除过程。 例如，在多项选择题中，如果您知道三个选项不正确，则第四个必须正确。 这使您可以选择正确的答案，而无需实际知道真正的答案是什么。 像猜测一样，我们希望这会减少学习收益。
影响难度的一个更细微的差异是回忆与识别。 这是两种根本不同类型的记忆任务，召回通常比识别困难。 通过比较用户以前从未学习过的术语正确回答问题的频率，我们可以相对公正地了解问题格式的难度。 与要求纯粹回忆的格式相比，允许识别的格式得到正确回答的频率要高得多。 请注意，即使最困难的问题格式也能在60％的时间里首次尝试时都能正确回答，并且由于我们只希望学生猜测他们不知道答案的问题，所以这种差异比我们从猜测中所期望的要大单独。
学习利益
我们关心的主要问题是每个问题向学生学习多少。 毕竟，这就是学习的重点。 学习收益与困难密切相关； 较困难的问题往往具有较高的学习收益。 如果您想尽可能有效地学习，则应该远离舒适区，并通过更困难的问题来挑战自己。 这个想法被称为理想难度。
这表明较难的回忆性问题应该比识别性问题更有益。 尽管在大多数情况下这似乎是正确的，但在某些情况下可能很难回答问题。 正确记忆的答案比错误记忆的问题具有更多的学习益处（Pavlik，Anderson 2005）。 我们希望将目标对准一个很难找到正确答案的最佳地点，但又要如此困难，以至于让学生误以为多数。 这意味着当材料不熟悉时，我们应该从更容易的问题形式开始，并随着学生开始学习它而发展为更困难的问题形式，这种技术被称为指导衰落。
时间
学习是学习的主要好处，但我们也必须考虑费用。 学习需要花费其他时间的时间。 因为我们知道用户的学习时间有限，所以我们真正想要最大化的是每分钟的学习量 。 提出两个快速的问题可能比提出一个较慢但更有效的问题要好。
好玩
不可避免地，学习需要挑战性，但这并不意味着学习不能充满乐趣和动力。 如果一个问题如此令人沮丧，以至于学生想要放弃并停止学习，那么不管它如何有效地帮助他们学习，都做得不好。 我们需要选择具有挑战性的问题格式，但学生实际上要使用。
我们可以估算问题有多有趣的一种方法是比较用户在使用每种格式时多早停止学习的频率。 为了衡量这一点，我们进行了测试以评估三种识别问题类型。 默认情况下，当我们的算法要求识别问题时，我们会在“是/否”，“多项选择”和“以上均无”的多项选择之间随机选择。 我们将该行为与仅使用每种问题类型的三种变体进行了比较。 然后，我们测量了完成或放弃学习之前每个小组在学习中取得了多少进展。 当我们看到某些问题类型对应于完成更多的习题时，我们将其解释为意味着学生发现该问题类型更有趣，更有动力。
尚不清楚是否所有情况都存在一个最佳问题类型，但是在提示的回忆和识别类别中，不同格式存在明显的优缺点。
提示召回
为了确保学生充分学习他们正在学习的材料，我们希望确保他们能够正确回答回忆问题。 学习要求在完成之前，每个单词都要用回忆性问题正确回答，无论是打字还是自评卡片。 键入问题需要您练习键入术语，这可能有助于学习。 但是，它们可能需要更长的时间，尤其是答案很长的时候。 自分级的抽认卡需要更多的纪律才能有效使用，但可以更快，并且可以与任何学习材料一起使用，即使这是不切实际或不可能的。 考虑到这一点，我们更新了“ 学习”以使用键入的问题作为主要提示的回忆问题格式，但如果答案似乎太长而无法实际键入，或者答案没有文字，请退回自分级抽认卡全部（在图片或图表位置的情况下）。
承认
我们从识别问题开始，这是一种使学生更容易接受提示的回忆问题的方法。 最初， Learn将在多项选择，以上各项都不选择和是非题之间随机选择。 但是，在进行了一些测试和评估之后，我们发现了对/错和“以上皆非”选项的一些缺点，这使我们删除了这些缺点，转而支持标准的多项选择。
没有上述任何一项的多项选择：包含“以上皆无”选项使多项选择问题变得更加困难，并且在正确回答了这些问题之后，我们的用户更有可能能够正确回答提示的回忆性问题。 但是，有许多缺点。 如果正确答案是“以上皆非”，则可以选择正确答案而无需实际知道正确答案是什么，并且像猜测一样，我们认为这对学习没有太大帮助。 此外，它们需要更长的时间回答，并且当我们更广泛地使用它们时，学生更有可能早点停止学习，大概是因为他们发现这种格式令人沮丧。 总体而言，成本大于收益，因此我们选择在多项选择题中放弃“以上皆非”选项。
对/错：对/错问题的主要优点是它们可以快速回答。 但是，从其他方面来看，它们是一个糟糕的问题格式。 只有两个选项，可猜测性极高，如果正确答案为“假”，则可以在不知道实际答案的情况下使问题正确，这与“以上都不是”选项本质上是相同的问题。 在这种情况下，也很难给出清晰的反馈，因为我们不仅需要传达正确答案为“假”的信息，还需要传达与提示正确对应的信息。 最后，对/错格式会导致更高的研究放弃率，这可能是因为它比选择题少了很多而且有趣。
为给定场景选择正确的问题类型是一种平衡的行为。 我们必须考虑问题类型的难度，我们认为学生在给定时间了解该术语的程度，问题类型的有趣程度和参与度以及完成该过程要花费多少时间。 根据上述详细的研究和评估，我们已决定从多项选择题开始，逐步发展到提示性回忆题（打字或自行评分的抽认卡）上，但是将来可能会有所改变。
由于理想的问题格式可能取决于学生在给定时间对术语的了解程度，因此我们希望在下一个实验中根据对学生对集合的知识的估计，更灵活地在多项选择和提示回忆问题之间进行选择。 我们希望，这种更具个性化的行为将比我们当前根据提示的回忆选择做出的固定的多项选择更加有效地帮助用户学习。
如果您有兴趣帮助我们继续提高学习水平，请参加Quizlet ！
致谢：感谢Theresa Pittappilly，Jeff Chan，Jen Liu，Eric Bomgardner，Turadg Aleahmad，Karen Sun，Amalia Nelson和Dan Crowley编辑了这篇文章。
