线上评教给老师打1分的学生是怎样的?

很多大学会采用线上评教系统，学生们对教师的评价会影响大学的课程建设和教师的选拔津贴，它十分重要，应当保证它是可靠有效的。

然而，不少学生在评教时并不认真，例如在相同、相似的题上作答不一致，或所有问题都选相同选项，这严重威胁了评教工具的信效度，进而会影响学校决策。其中，单一作答模式（monotonic response patterns, MRPs）的危害尤其大。

今天介绍的研究旨在使用事后分析的方法，探究哪些因素会导致学生在第二语言（英语）必修课程评教时不认真作答。我们先找到了一些可能的影响因素——性别、入学年限、课程得分等。这些因素不是学生是否对课程、老师满意的直接原因，但又影响着评教分数。

除了这三个变量，以往研究还发现，低年级的学生倾向于给低分（Feldman, 1978; Goldberg & Callahan, 1991; Kim et al., 2011; Marsh & Roche, 2000），评教的效度也比高年级的低（McKeachie, 1997）。

此外，学业成绩也会影响评教分数：成绩好的学生更可能参加评教，给出的分数也更高（Feldman, 1976;Tatro, 1995; Worthington, 2002）。

而且，课程分数还会对学生的作答模式产生影响，例如导致MRPs的增多或减少（Hong, 2006）。因此，研究者选取性别、入学年限、课程得分、老师性别、组内评教人数、组内男女比例等六个变量作为这项研究的自变量。

基于已有信息，研究者想进一步探究以下问题：

1） 在对大型英语分组课程（multiple-section Practical English course）进行评教时，MRPs的出现频率是多少？

2） 不同课程分组（section）间，MRPs出现的频率是否有差异？

3） 个体特征（性别、入学年限、课程成绩）、群体特征（小组性别比例、参与调查人数、老师性别）会影响MRPs的出现频率和具体类型吗？

研究者从某大学英语课上230个分组的期末评教数据中，随机选取了55组，共计1206人。

其中，男生705名（58.5%），女生501名（41.5%）；大一、大二、大三、大四年级的学生人数分别为253、935、13、5，其中，大一新生占21%，非大一新生的占比是 89%；所有学生的课程成绩均在0至4.5分之间，M=3.53，SD=0.84。

55个分组中，有40组（73%）是男老师，每组参与评教的平均人数为21.93。

评教问卷共13题，除第6、第10题外，每题含6个选项（1=非常不同意、……、5=非常同意，6=无法回答）；第6题含5个选项（1=非常慢、……、5=非常快）；第10题含5个选项（1=太少、……、5=太多）。

研究者首先验证了评教问卷的单维性。本次评教Cronbach‘s α = 0.98。用Rasch模型对问卷进行分析，发现也支持单维性假设。

进一步地，研究者将评教时选择同一选项的问卷数据标记为MRPs作答，对每个受测者的MRP作答概率μij进行转换（见公式1），得到转换后的作答概率ηij。

以ηij为因变量，以性别、入学年限、课程得分、老师性别、组内评教人数、组内男女比例为自变量（其中性别、入学年限、课程得分是个体水平的变量，老师性别、组内评教人数、组内男女比例是群体水平的变量），中心化处理原始数据后建立多层回归模型。

分析结果表明，评教时，大一新生更容易表现出MRPs（β = 0.354, p = 0.018, OR = 1.425, 95% CI=[1.064, 1.909]）；个体所在班级内参与评教的人数越少，越容易表现出MRPs（β = -0.030, p = 0.020, OR = 0.970, 95% CI=[0.946, 0.995]）。

在1206名参与评教的学生中，表现出MRPs作答模式，即单一作答模式的有484人（40.13%），其中，211人连续选择了选项3，123人连续选择了选项5。

针对所有表现出MRPs的数据进行分析即上述表现出MRPs作答模式的484人，分别计算不同类型MRPs转换后的作答概率，包括连续选1型MRPs的转换后作答概率η1，ij，同理得到η2，ij—η5，ij。

再次进行多层回归模型分析，自变量与先前的分析相同，因变量分别为η1，ij、η2，ij、η3，ij、η4，ij、η5，ij。发现上述自变量并不能预测MRPs作答者连续选2、4、5的倾向性。

但是，课程得分低的MRPs作答者更倾向于连续选1（β = -0.515, p = 0.001）。相较高年级学生，大一年级的MRPs作答者更倾向于连续选3（β = 0.444, p = 0.014, OR = 1.558, 95% CI=[1.094, 2.214]）。

从问卷题目、选项内容以及学生得分上看，连续选1或5会存在冲突。

连续选1的受测者认为课程节奏太慢、作业太少，但总体来说对课程并不满意，这看似合理，但回归分析表明，课程得分低的人更容易这样作答，所以应当把这类作答视作不认真作答。

连续选5的受测者整体而言对课程非常满意，但认为课程节奏太快、作业太多，这些回答在内容上并不一致，显然是不认真作答。

此外，虽然连续选3从内容上看并不矛盾，但由于选项6（无法回答）的存在，研究者推断这部分学生是为了减少认知资源的投入而选择的3，也可被归为不认真作答。

例如，选项6题目内容为：“课程的速度是多少？”此题明显有违常理，所以显然是不认真作答。然而，理论上不太能把连续选2或4的数据视作不认真作答。

基于本研究的发现，研究者提出，大学可开设评教介绍课程，给新生讲解评教的重要意义；

可将评教地点设在机房，避免受测者分心；

还可更新线上评教系统，当学生连续选择同一选项达一定数量时，提醒学生，并允许其更改答案；

此外，还可以采用多项CR指标事后鉴别不认真作答者。

今后的研究者有必要访谈不认真作答者，进一步探明其作答时的心理过程。