高等教育需要开放评估平台小小书 XXshu

高等教育中使用了多种评估平台。这些包括发布者作业系统（例如Pearson Mastering，Sapling Learning，McGraw Hill Connect等），标准化考试（例如ACT，GRE，SAT等），测验系统（例如iClicker，Quizlet，Kahoot！等）。）和学习管理系统（LMS）测验系统（例如Canvas，Moodle，Desire2Learn，Blackboard，Sakai等）。每个测验系统处理评估经验的不同部分：形成性评估，总结性评估，考试准备或课堂评估。这些系统的问题是专有的 （在平台内使用受限制的版权所有）， 本地产生的 （由讲师出于必要而创建，可能没有明确的许可）或公开的 （这是最不常见的类别，包括问题拥有创用CC许可）。目前，高等教育评估的现状是零散的和孤立无援的。

评估空间零散的一个潜在原因是创建高质量的问题，并且很难很好地共享问题。请考虑以下情形：

场景1 –讲师为他们正在开发的新课程创建作业问题和考试题。他们会根据他们的教学风格和内容重点提出高质量的问题。他们可能会与同一课程的其他教师共享这些问题，但通常会通过电子邮件在Word文档或Excel电子表格中共享这些问题。这些问题的影响相对较小，因为只有少数课程正在使用这些问题。此外，随着时间的流逝，随着每个连续课程的数据被收集并用于改善问题，只能逐步改善问题。这些问题可能未明确标记为学习成果，因此，如果课程网站上出现其他教员，则他们将必须确定评估项目的学习目标，并且将没有该项目的任何历史学生数据，从头开始改进过程。

方案2 –一组讲师从他们的大学获得内部资助，以开发针对该主题的开放项目库。他们花费数月的时间编写，重写，测试，检查和改进评估项目。最后，他们将数百个项目放置在评估项目库中并托管在某个地方（可能是专有系统或大学赞助的网站）。该项目库将包含经过同行评审的高质量问题，但是这些问题的影响仍然很小。该项目库的可发现性很低，即使教师找到了该项目库，问题通常也没有得到适当的标记（与学习目标甚至是子学习目标挂钩），并且之前没有汇总的学生数据可用于该项目。或者这些项目是汇总性的，在这种情况下，它们根本无法共享！这种类型的练习对提出问题的大学很有帮助（提高知名度和意识），但可能不会超出此范围。此外，如果教授类似课程的讲师找到了项目库，那么从项目库中提取他们需要的问题将不是一件容易的事。可能需要手动筛选问题，并手工挑选他们认为适合其课程的问题。

这两种情况显示了尝试有效创建和共享评估项目所带来的困难。这些问题总结如下：

问题的格式不同
通常不会将问题标记为问题本身内的学习目标（或作为问题的元数据）
没有提供以前关于这些项目的学生成绩数据
查找问题（分散的Word文档，Excel电子表格和项目库）并非易事。
从这些来源复制，编辑或重用问题并不容易（需要手动过滤和复制粘贴）
根据特定标准（例如学习目标）过滤问题并不容易

我敢肯定，还有更多我错过的问题。请随时在下面的评论中鸣叫。接下来，一个潜在的解决方案。

我相信开放式评估平台是解决这些问题的可能方法。以下是开放评估平台的主要组成部分：

该平台必须允许问题的开放许可，这使教师可以轻松使用，重用，共享，修改和保留他们在平台中遇到的问题
该平台必须允许根据难度，学习目标和课程对问题进行过滤和排序
该平台必须使用各种问题格式（Word，Excel，Quizzing和Testing Interoperability格式等）轻松导入和导出问题。
该平台必须具有两个不同的社区：（1）一个面向公众的形成性问题库，以及（2）一个仅限教师的汇总性问题库。汇总问题库不会面向公众，这将使教师（可以访问汇总问题）可以更有效地协作并以安全的方式共享资源。面向公众的问题可以用于形成性评估和其他自查问题。
平台必须跟踪汇总的项目级学生数据。这意味着，随着越来越多的学生使用该问题，可以更快地改善问题（假设多个课程同时使用这些问题）。这也可能使用项目响应理论参数或经典测试理论指标为问题提供难度估计。
平台必须支持多种项目类型（例如，多项选择，自由回复，论文，多项选择，填空等）
平台必须具有评估项目质量指标，以评估平台中问题的质量。这是该平台最重要的资格之一。

皮德努斯简介

为了使之成为现实，我和一些同事试图构建这个开放的评估平台（是的，这是一项艰巨的任务）。我们称其为Prendus ，并取得了很多进展。我们支持QTI。我们支持学习工具互操作性（LTI）。我们允许创建，编辑，上传，下载和修改问题。我们跟踪学生与问题互动的情况（用于项目级统计）。我们构建了一个功能，以便学生可以在课堂上创建和复习其他学生的问题。我们有数千名学生使用该系统。我们在平台上创建了数千个问题。尽管我们取得了成功，但我们的赠款资金还是用光了，尽管我们的收入超过$ 0，但我们没有可持续的商业模式。由于缺乏资金，我们无法完成该项目。尽管暂时解散，但我们仍然非常相信开放评估平台的优点和远见。

其他可能性

另一个小组已尝试构建与此类似的系统。他们的系统称为Peerwise 。它允许学生创建问题，然后查看其他学生生成的问题。该平台是免费的，并且已在全球范围内实施（我目前没有任何使用统计信息，但它在数千个班级中发挥着作用）。不幸的是，平台没有社区共享方面（问题被锁定在创建过程中），这实际上阻止了该系统作为开放评估平台支持共享和发现。

Quizlet 是另一个接近开放评估平台的测验系统。 Quizlet允许学生创建抽认卡，共享抽认卡，发现其他学生创建的抽认卡，以及根据他们创建或找到的抽认卡创建测验。但是，没有教师专用的汇总存储库（教师无法安全地发现或共享汇总的评估项目），没有质量控制（没有提供用于判断问题质量的度量标准），并且无法以简单的方式导入或导出问题。

最终值得一提的系统是Proola 。 Proola的目标是“在开发经过同行评审，开放，在线，学习评估的过程中，将教育工作者和测量专家联系起来。”这听起来很接近开放评估平台。 Proola是一项相对较新的工作，因此只有时间才能证明它是否可持续，并在平台周围创建社区。

再试一次

因为我真正相信开放式评估平台的愿景和收益，所以我从另一个角度再次着手解决这个问题。我最初尝试开发开放评估平台的一个问题是在开发平台时发现了短期业务模型。不幸的是，建立一个众包的评估平台是一个巨大的项目，在我没钱之前，我无法获得最低限度的可销售产品。

这次，我从一个主题开始，而不是许多主题：JavaScript。对编码技能的需求很高，这使其成为初始内容领域的理想人选。我们正在构建一个评估平台，其中包含基本JavaScript领域内所有概念的数百个JavaScript问题。

我们的代码都是开源的。我们的问题都是CC0（限制性最小的创作共用许可）；并且我们计划从许可为CC0的平台上提供对匿名数据的访问。我们围绕JavaScript问题的开发提供激励措施，以支持平台的进一步发展。您可以在JavaScriptPractice.com上关注我们的进度。我们最近发布了我们产品的Alpha版本，我们希望收到您的反馈。

如果您知道我在这篇文章中错过的任何开放式评估平台（或相对接近的内容），请给我留言，因为我很乐意将其检出。