MOOC是2011年末从美国硅谷发端起来的在线学习浪潮。这股浪潮不仅开启了学生参与在线课堂的新纪元，也开拓了一个新的科学研究领域——MOOC研究。科学家们系统借助来自MOOC的海量数据和在课程中加入实验的机会探究关于“学习”的一切。
在最近一期的《科学》杂志上，哈佛大学教育学院的贾斯汀·雷奇（Justin Reich）发表了评论文章，强调随着MOOC的推广深化，对MOOC进行的研究也需要开始必要的转变。怎样提高学习效果，怎样的课程设置更有效率？要弄清这些问题，MOOC研究者需要设计更完善的研究体系。
（玛雅蓝/编译）在edX首席执行官阿南特·阿格瓦尔（Anant Agarwal）看来，大型开放式网络课程（Massive Open Online Courses，简称MOOC）应当成为“学习的粒子加速器”[1]。近几年，随着MOOC越来越受到人们的关注，围绕“学习”展开的新的研究方向也随之起步。然而，这些研究的结果对教学几乎没有什么启发——大数据并不会因为“大”就能回答我们感兴趣的问题。
要让对MOOC研究切实推动与学习有关的科学发展，研究人员、课程开发者和其他主导人员需要在3个方向上进行改进：从对参与度的研究转移到对学习本身的研究；从对个别课程的研究转向跨背景的对比研究，从事后分析（post hoc analysis）转向多学科实验设计。
是学习，还是只是点击？
目前能阐述什么教学措施能如何改善学习效果的MOOC研究少之又少。我们有TB级的海量数据告诉我们学生在线上点选了什么，但对于学生的大脑发生了什么变化，我们几乎一无所知。
以在线学习平台Udacity、可汗学院（Khan Academy）、谷歌课程开发者（Google Course Builder）和edX分别进行的4个研究作为例子[2-5]，它们每个研究都评估了学生的行动和学习效果（比如测试得分或课程完成率）之间的相关性。这4项研究都采取相似的处理方式来衡量学生的行为，将海量数据归结成一个简单的、个体水平的汇总变量，诸如尝试解答习题的数量（Udacity）、网站访问时长（可汗学院）、每周任务完成量（谷歌）或事件日志上每个学生的点击次数（edX）。在这些平台进行的研究中，学习者行为的复杂性被丢失了[6]。通过简单的对比或线性回归，这4项研究得出相同的结论：学习者的活跃程度与他们的学习成果呈正相关。
但我们并不需要上万亿事件日志来证明努力与成功相关。“学得更多”和“学得更好”之间的因果联系仍然不明确。除了告诫学生更积极地参与学习，它们并没有为课程设计提供什么实用的建议。新一代的MOOC研究需要采用更多样化的研究设计，更深入地探寻能促进学生学习的原因。
看视频不等于学习
早期MOOC研究只关注学生的参与度和课程完成率的原因之一在于大多数MOOC课程并不具备合适的考核框架来支持学习研究。在理想情况下，MOOC研究人员掌握的考核数据应该具备3个特征。
首先，考核应该在多个不同的时间进行。在MOOC课程中，课前测试至关重要。要知道，课程参与者的知识背景五花八门，既有新手，也有领域的专业人士[7]。其次，考核数据应该覆盖学习过程的多个方面，在量化测试中得到高分的学生经常通常在概念理解或专业思维方面停滞不前[8]。最后，课程包含的考核方式应该是已被研究证实有效的，以便与其他设置下的教学效果进行对比。
近期的一些MOOC研究已经达到了这些要求，它们帮助我们理解哪些学习者从MOOC中受益最多，哪些教学材料对学习最有帮助[9]。在自愿参与的在线学习中，区分“参与”和“学习”尤其至关重要[10]。想要纠正错误的观念，我们得跨过直觉和科学事实之间的鸿沟。
遗憾的是，学习者也许更喜欢看视频——它们用更简单的方式来展示课程材料。尽管学生能通过直接消除误解的媒介学习到更多，但他们对教学录像的评价更为积极，因为它们直观地描述了现象[11]。收集学生的参与度数据可能使追求参与度的课程开发人员创造出令人愉悦的媒体体验，但是，让学生目不转睛地观看视频，并不意味着他们能学到东西。
新一代的MOOC研究需要拨开浅表的参与度数据去探索学习者实际的学习过程，以对这个过程进行优化。图片来源：Science
重新思考数据共享
另一个问题在于学生的数据共享。保护学生隐私的规章制度、数据保护方面的考虑和垄断数据的趋势都阻止了数据的共享。研究人员虽然能够分析（同一门课程中）学生之间的差异，却无法对不同课程的差异进行对比。例如，奈斯特克（Nesterko）等人在研究中发现，课程中段的作业提交频率与MOOC完成率之间存在着的正相关[12]，但是他们研究的10门课程中不仅作业提交期限安排不同，在课程注册人数、课程内容和其他方面上也存在着差异。要对教学方法进行有意义的事后分析，来自数百门课程的数据必不可少。
但共享学习者数据并不是一件简单的事情。最近的一些研究对数据进行去个人特征处理，以保护学生隐私，发现如果要保证学生身份不外泄，所需的模糊处理会大大扭曲数据，导致它再也无法满足研究的各种需求[13]。要实现以科研为目的的MOOC数据共享，大量的政策需要做出调整，同时开发出社会科学数据共享方面新技术。
其中一项举措可以是将隐私保护与匿名数据分离，即允许研究人员共享身份数据，只是对科研人员的数据保护体系进行更严格的监管。技术方面的解决方案之一是差别隐私（differential privacy），即让机构以标准化的格式保存学生数据，这种格式允许研究人员查询数据库，但只输出一个统合的结果。
超越A/B测试
由于缺乏跨课程对比的数据，实验设计只能局限在评估具体教学方法的有效性。在最早的MOOC课程中，研究人员加入了A/B测试（译者注：A/B测试是指同一目标设置单变量的两个方案，对比测试两种方案的实施效果）和其他实验性设计[14][15]。其中最常见的实验干预是领域普适的内置测试。举个例子，一项研究在MOOC讨论区中设置勋章系统，在讨论区表现活跃的学生能够得到虚拟的勋章[16]。学生们被随机分组，在勋章设置不同的论坛学习，其中一些论坛激发了更多的论坛活动。
这项实验是在一门机器学习课程中进行的，但它也可以在美国文学或生物课程中开展。这些具有领域普适性的实验在MOOC研究中得到了广泛的应用。然而，这种普适性也有局限：这些研究无法推动学科学习的科学向前发展，也无法得到最优化的学习顺序，找出最好的解惑方式。
在设计优良的课程中激发学习者的动机无疑是件好事，但如果一门MOOC课程的整体教学手段是错的，那么内置实验只会增加学习者所做的无用功。基于具体学科设计的教学研究能够探索MOOC中该学科的学习机制，它们也许是有效进行普适学科研究的先决条件。
为了对教学措施进行评估，授课教师费舍尔（Fisher）在教“版权”这门课时将学生分配到两个课程中，一个课程基于美国的判例法设计，另一个则主要研究全球版权问题[17]。他采用期末考试评分、学生调查、助教反馈来评估课程效果，并得出研究结论：相比研究全球性的问题，对单一版权制度进行深入探索对学生的帮助更大。这个结论对法律方面的在线教育提供了可行的措施。
随着MOOC研究走向成熟，特定领域和领域普适的研究都很重要，但特定领域的研究可能需要付出更多的努力。内置实验更容易融入学术界结构，而专注特定领域的研究则需要一个跨学科的团队，包括内容专家、评估专家和教学设计人员，但这方面的人才持续短缺[18]。更复杂的MOOC研究需要来自教育机构的支持才能开展，包括大学和资助机构。
提高研究门槛
对最早的一批MOOC课程来说，能让数百万的人得到基本的课程材料无疑是一个成就；而对最早的一批MOOC研究人员来说，能纯化数据用于分析也是个成就。在早期阶段，朝阻力最小的方向探索是一个很明智的做法，但这样也可能使研究产生“惯性”，冒着一条路走到黑的风险。
对于MOOC这样一个年轻的研究领域来说，使用参与度数据、使用来自个别课程的数据、使用简单的内置测试都是合理的实验设计策略。但是，如果要让这个领域继续发展，研究人员需要克服那些被早期研究回避掉的问题。这些问题不能光靠研究人员个人来解决。要改善MOOC研究，需要大学、投资机构、期刊编辑、会议组织者和课程开发人员的共同努力。
大学应该优先考虑那些为解决某领域教学的基本问题而设计的课程。期刊编辑和会议组织者应该优先发布跨机构的、探讨学习效果的研究，而非只关注参与度指标；应重点关注设计研究和实验设计，而非只着眼于事后分析。投资机构应该遵循以上的优先原则，为有潜力改变教育开放科学的创业机构提供支持。（来源：果壳网 编辑：Calo）
参考文献：- P. Stokes, Inside Higher Ed (2013); bit.ly/13deToN.
- E. D. Collins, “SJSU plus augmented online learning envi- ronment: Pilot project report” (The Research & Planning Group for California Community Colleges, Sacramento, CA, 2013).
- R. Murphy, L. Gallagher, A. Krumm, J. Mislevy, A. Hafter, “Research on the use of Khan Academy in schools” (SRI Education, Menlo Park, CA, 2014).
- J. Wilkowski, A. Deutsch, D. M. Russell, in Proceedings of the ACM Conference on Learning@Scale 2014, Atlanta, GA, 4 and 5 March 2014 (ACM, New York, 2014), pp. 3–10.
- J. Reich et al., “HeroesX: The Ancient Greek Hero: Spring 2013 Course Report” (Working paper no. 3, Harvard– HarvardX, Cambridge, MA, 2014).
- R. S. Siegler, K. Crowley, Am. Psychol. 46, 606 (1991).
- E. J. Emanuel, Nature 503, 342 (2013).
- A. Van Heuvelen, Am. J. Phys. 59, 891 (1991).
- K. Colvin et al, IRRODL 15, no. 4 (2014).
- S. D’Mello, B. Lehman, R. Pekrun, A. Graesser, Learn. Instr. 29, 153 (2014).
- D. A. Muller et al., Sci. Educ. 92, 278 (2008).
- S. Nesterko et al., in Proceedings of the ACM Conference on Learning@Scale 2014, Atlanta, GA, 4 and 5 March 2014 (ACM, New York, 2014), pp. 193–194.
- J. P. Daries et al., Commun. ACM 57, 56 (2014).
- R. F. Kizilcec, E. Schneider, G. Cohen, D. McFarland, eLearn- ing Pap. 37, 13 (2014).
- D. Coetzee, A. Fox, M. A. Hearst, B. Hartmann, in Proceedings of the 17th ACM Conference on Computer Supported Cooperative Work and Social Computing, Baltimore, MD, 15 to 19 February 2014 (ACM, New York, 2014), pp. 1176–1187 .
- A. Anderson, D. Huttenlocher, J. Kleinberg, J. Leskovec, in Proceedings of the 2014 International World Wide Web Conference, Seoul, Korea, 7 to 11 April 2014 (ACM, New York, 2014), pp. 687–698.
- W. W. Fisher, “HLS1X: CopyrightX” (Working paper no. 5, Harvard–HarvardX, Cambridge, MA, 2014).
- G. Siemens, J. Learn. Analyt. 1, 3 (2014)
|
发表于 2015-1-7 07:44:40
