基于自动推荐机制的同伴互评系统设计_曹阳.pdf

电脑与电信基于自动推荐机制的同伴互评系统设计曹 阳 朱 慧摘 要：针对现有的同伴互评系统在互评流程控制及互评匹配策略方面存在的问题，提出了一种基于自动推荐机制的同伴互评系统设计方法。以“导、练、做、评”为互评流程设计理念，通过挖掘学习者的评价特征，实现了同伴互评任务的自动推荐机制，构建了一种智能化的互评模式，并详细阐述了系统的功能与结构设计。根据系统运行环境，设计了阿里云服务下的系统部署方案，具有成本低、性能好、运行稳定等优势。（三江学院 计算机科学与工程学院，江苏 南京 210012）关键词：同伴互评；互评训练；自动推荐；云服务中图分类号：G434 文献标识码：A 文章编号：1008-6009（2022）11-0001-04针对上述研究中存在的问题，本研究设计了基于自动推荐的同伴互评系统，将个性化推荐技术应用于同伴互评任务分配中，通过在正式互评前引入互评引导及训练环节，基于训练结果分析学习者特征，实现互评任务的自动推荐，构建了“导、练、做、评”四环节的互评流程，从而提高互评结果的信效度，促进学习者在互评过程中进行学习交流。一些研究者通过对国内典型在线课程平台进行调查研究，总结出越来越多的课程都将同伴互评作为一种重2要的评价方式。然而，大部分课程平台虽然支持同伴互3评机制，但是仍停留在“为了评价而评价”的层面，仅实现了评阅人的随机分配、给出评定成绩及评语等最基本的功能，在实施过程中不易保证评价结果的高信效度，更难以促进学习者进行学习交流与借鉴，获得满意的互评体验和学习效果。因此，众多研究者以优化同伴互评流程、提高学生学习效果为目标，积极开展同伴互评系统建构与实践方面的探索。吴名星、杨庆分别基于具体课程研究了同伴互评系统的设计方法，并进行实践4,5验证，取得了一定成效，但在系统实现中仍采用随机分配评阅人作为互评任务的分发策略，评价结果的信效度难以显著提升。柏宏权、韦伟等采用公开互评的方式6,7构建了作业互评系统，扩大了学习者的交流范围，但这种开放式的评价方式缺少系统化约束，对学习者的主动性有较高的要求。胜楚倩设计了一种基于群体感知的在线同伴互评系统，将学习者进行分组，采用组内评价与组间评价结合的方式，使学习者更有针对性地进行同8伴互评，提高了学习者互评的积极性，但在实现中未能给出明确的学习者分组策略。因此，现有的同伴互评系统在设计与实现时，对互评任务如何分配仍处于初步探索阶段，对如何引导学习者开展高效的互评活动，还缺少系统化的控制流程。2“导、练、做、评”的互评流程设计1 引言同伴互评是协作学习的一种方式，指学习者相互之间对学习作品或成果进行水平、质量及价值的评定。同伴互评不仅有助于提升学习者的学习动机，增强学习体验，而且能够有效应对在线学习环境下大规模学习测评1的需求，对于提升在线学习效果具有重要意义。同伴互评能否有效开展很大程度上取决于学习者的9评价技能与评价意愿。因此，在正式互评之前，应当使学习者明确互评环节的重要性，接受必要的互评训练，然后再完成作业并开展同伴互评。互评结束后，应当及时给予学习者相关的评价反馈，进而帮助学习者不断改进自己的评判方式，提高评价水平。基于上述思想，将系统互评流程设计为“导、练、做、评”四个环节，形成一个同伴互评的闭环模式，如图1所示。作者简介：曹阳(1982)，男，江苏徐州人，工学硕士，副教授，研究方向为大数据处理、现代教育技术。基金项目：江苏省高校哲学社会科学研究项目“智能+时代下在线开放课程同伴互评策略设计与应用研究”，项目编号：2019SJA0496;“十四五”江苏省重点学科建设项目“信息与通信工程”，项目编号：苏教研函20222号。1DOI:10.15966/ki.dnydx.2022.11.020电脑与电信3 评阅人自动推荐机制设计在互评训练中，学习者对预设的互评范例进行评价，并给出评分。互评训练完成后，将某个学习者的评价结果用评分向量S=s,s,.,s 表示，其中n为互12n评训练中的题目数量，s 表示该学习者对第n个题目答n案的评分。根据学习者的评分向量，两两分析学习者的特征相似度，采用皮尔逊相关系数进行计算，具体方法如下：评阅人的匹配及推荐是保证评价结果具有较高信效度的关键问题。在互评训练及正式互评过程中，学习者的每一次评阅结果都能够反映出其自身的认知水平、学习风格及专业能力，即能够在一定程度上描述学习者的评价特征。在本系统中，根据学习者评价特征的相似度，对学习者进行分组，采用组内与组间互评相结合的策略进行评阅人与作业的匹配，设计后续同伴互评环节中的评阅人自动推荐机制，具体流程如图3所示。式中x,y分别表示两个不同的学习者在互评训练中的评分向量，x,y为两个学习者各自的评分均值。计算出的sim(x,y)值越接近1，表示相关性越强，即学习者在训练中表现出的学习认知较为接近。通过计算特征相似度完成对学习者的分组后，采用组内推荐和组间推荐组合的方式生成同伴互评推荐列表。组内推荐是将学习者的作业推荐给其同组的学习者进行评阅，同一组的学习者具有相似的做题思路及判断能力，能各环节的具体含义与实施过程如下：(1)导：引导学习者明确互评的评价标准和参与互评的价值意义。通过发布公告向学习者说明参与同伴互评的必要性，提供互评操作流程说明以及评价量规供学习者学习，从而使学习者尽快了解互评的具体要求。(2)练：要求学习者在正式互评前参加互评训练。互评训练是在正式互评之前，为了提高学习者的评阅能力，针对训练题目所开展的模拟评价过程。在本系统设计的互评训练环节中，学习者无需自己完成训练题目，只需要对教师预设的训练范例进行评价。(3)做：督促学习者按时完成需要互评的作业练习。通过系统公告和发送邮件的方式，提醒学习者及时完成练习；只有按时完成作业的学习者，才具有参与互评的资格，未完成者的作业记为零分，不会被推荐到下一个互评环节。(4)评：组织学习者按照评价量规完成互评任务。根据互评训练产生的数据进行相似度计算，对学习者进行分组，采用组内与组间互评相结合的策略实现评阅人与作业的自动匹配。学习者接收系统分配的任务后开展互评，并在评价结束后收到被评者的反馈。根据“导、练、做、评”的设计理念，设计系统互评流程如图2所示。首先引导学习者学习评价标准，然后根据评价标准或评分范例进行互评训练。在接受互评训练后，学习者完成作业，并根据系统自动推荐的评阅任务开展互评。教师在互评结束后发布本次作业的评价结果，并反馈给学习者。图2 基于“导、练、做、评”理念的同伴互评流程图3 评阅人自动推荐机制sim(x,y)=(x-x)(y-y)i=1iin2(x-x)i=1i2(y-y)i=1inn（1）(3)系统管理：主要包含对用户基本信息的维护、用户访问权限的管理、系统模块维护以及生成用户所需的各种统计分析报表。基于Yii2框架，将同伴互评系统设计为五层结构，如图5所示。LNMP（Linux+Nginx+MySQL+PHP）是PHP应用部署的经典环境，即Linux系统下的Nginx+MySQL+PHP网站服务器架构。本文设计的同伴互评系统在LNMP环境下，通过集成Yii2框架构建部署环境。基于自动推荐机制的同伴互评系统是一个典型的Web应用系统，从开源社区、开发效率、系统性能、部署环境等角度对当前主流的Web开发技术平台进行分析比较，选定PHPYii2框架作为本系统的开发平台。Yii2是一个完全开源、基于组件、纯面向对象的高性能PHP框架，支持Web2.0的全部特性，适用于开发大型Web应用。Yii2框架实现了“模型-视图-控制器”（Module-View-Controller，MVC）设计模式并基于该模式组织代码；在数据访问层采用活动记录集（Active Record）实现MVC中的模型层与数据库的交互，支持对关系型数据库和 NoSQL 数据库的访问。4.1 系统功能模块设计4 系统功能与结构设计基于自动推荐机制的同伴互评系统的用户包含学习者、教师、管理员三类角色。管理员负责对系统中所有功能模块及数据信息进行管理维护；学习者及教师协同完成基于“导、练、做、评”理念的同伴互评流程。据此设计系统的功能模块如图4所示。各模块具体功能如下：(1)基础数据管理：系统基础数据指支持同伴互评流程顺利开展所需的业务数据，包括课程、公告、评价标准、互评训练、课程作业等。课程数据由管理员创建并进行维护，公告、评价标准、互评训练、作业等由教师创建及维护。够使学习者的作业得到相对准确的评分。组间推荐是指把学习者的作业推荐给不同组的学习者进行评阅。不同组的学习者具有不同的认知理解和思维方式，通过互评活动能够彼此学习对方的解题思路，拓展自身的知识面。因此，在开展同伴互评时，每份作业都会被推荐给若干个学习者进行评阅。推荐的评阅人名单中包括与被评阅人同组的学习者，以及不同组的学习者。(2)作业互评：它是系统的主要业务模块，包含互评训练、提交作业、自动推荐、互评实施和计算成绩五个子模块，实现了基于“导、练、做、评”理念的同伴互评流程。4.2 基于Yii2框架的系统结构设计各层的详细设计与作用如下：(1)数据层：采用MySQL数据库实现数据的存储。数据库中存储课程信息、训练信息、作业信息、公告信息、用户信息等系统基础数据，同时存储系统业务运行后产生的互评训练结果、作业完成结果、评阅人推荐结果、同伴互评结果等。(2)数据访问层：负责数据的读取与存储，为系统上层提供数据服务。Yii2框架中定义了一个活动记录类yiidbActiveRecord，用以访问和操作数据库中的数据。只需要创建一个继承ActiveRecord的子类，并重写各种方法即可实现与MySQL数据库的交互。(3)实体层：对应MVC结构中的模型，创建表示业务数据、规则和逻辑的对象。Yii2框架中定义了一个模型类的超类yiibaseModel，通过继承Model类或它的子类来实现模型类的定义。在同伴互评系统中，课程、公告、训练题、作业题、评价结果等核心实体对象均在这一层创建。(4)业务逻辑层：对应MVC结构中的控制器。Yii2使用yiiwebController作为控制器的基类，负责处理表示层传递的请求和生成响应。在控制器中，“操作”是执行终端用户请求的基础单元。同伴互评流程中互评训练、提交作业、自动推荐等主要功能均通过定义“操作”来实现。(5)表示层：对应MVC结构中的视图，负责展现系统与用户之间的交互。Yii2框架中定义了一个应用组件View，用于管理视图。在网页应用中，视图文件为包含HTML和PHP代码的PHP脚本。系统中互评训练、完成作业、互评实施的执行结果均通过视图来展示。5 基于云服务的系统部署设计在同伴互评流程中，当学习者规模较大时，需要服务器提供足够的算力保证评阅人自动推荐机制运行的实时性，因此采用传统的Web应用部署方式，存在着硬件资源需要不断扩展及运维成本高等问题。依托云服务器进行系统部署能够有效降低开发成本、提升运维效率，相对于传统的Web服务平台具有成本低廉、可扩展性更图4 系统功能模块设计电脑与电信32图1 系统互评流程设计理念电脑与电信3 评阅人自动推荐机制设计在互评训练中，学习者对预设的互评范例进行评价，并给出评分。互评训练完成后，将某个学习者的评价结果用评分向量S=s,s,.,s 表示，其中n为互12n评训练中的题目数量，s 表示该学习者对第n个题目答n案的评分。根据学习者的评分向量，两两分析学习者的特征相似度，采用皮尔逊相关系数进行计算，具体方法如下：评阅人的匹配及推荐是保证评价结果具有较高信效度的关键问题。在互评训练及正式互评过程中，学习者的每一次评阅结果都能够反映出其自身的认知水平、学习风格及专业能力，即能够在一定程度上描述学习者的评价特征。在本系统中，根据学习者评价特征的相似度，对学习者进行分组，采用组内与组间互评相结合的策略进行评阅人与作业的匹配，设计后续同伴互评环节中的评阅人自动推荐机制，具体流程如图3所示。式中x,y分别表示两个不同的学习者在互评训练中的评分向量，x,y为两个学习者各自的评分均值。计算出的sim(x,y)值越接近1，表示相关性越强，即学习