摘 要 学生评教是当前高校教学质量保障体系建设中应用最广泛的制度之一。通过收集国内某所“一流大学”建设高校2013—2017年所有课程的评教结果,构建长面板数据样本库,运用固定效应模型控制课程与教师的异质性并处理序列相关问题,刻画前期授课的评教得分对教师当期授课表现的影响规律,从而评估“以评促教”机制的效果。在此基础上,通过对该校教师的半结构化访谈,全面地了解教师对学生评教结果的态度。研究发现,前期开课得到差评会导致教师显著改善当期授课的教学表现,并且依据差评严重程度的不同,教师表现的改善幅度在教学的不同方面呈现差异。 关键词 学生评教;教学质量;计量模型;评教反馈 一、引言 由选课学生对教师的教学表现进行评价或打分的学生评教制度,诞生于哈佛大学,是美国大学最为认可的教学质量评价的基本制度之一,被引入我国的时间相对较晚,但目前已在各高校中广泛实施。学生评教可以为学生提供表达自身需求、参与教学质量保障的机会,也可以为教师改进教学表现提供依据,还可以为高校教学管理部门提供便于操作的教学质量监控手段,因此在高校教学质量保障体系的建设中具有重要意义。 学生评教在引入我国的过程中遭受了较多的争议与质疑。李硕豪等对国内高校学生评教相关研究进行了全面回顾,发现争议主要聚焦于学生评教的有效性及其影响因素。支持者认为学生评教是“以学生为中心”教育理念的体现,从这一角度说学生是合理的评价主体。并且,学生评教的结果大体上是可信的和稳定的。对于教学表现较为突出和较差的教师来说,专家评教与学生评教结果基本一致。相对地,质疑者认为学生评教受到学生对评教的态度,心理偏差以及教师的利益导向等影响,导致评教结果不能反映教师真实的教学质量。宋歌对高校学生的评教结果进行分析,发现部分学生对评教指标进行趋同评价,使得评教结果的区分度较低,损害了评教的有效性。进而,多位学者基于评教结果的有效性和区分度对评教指标体系的构建进行了探讨。 虽然以往研究对学生评教作为一种教学评估手段的科学性进行了广泛探讨,但是,对于我国高校中正在推行的学生评教制度是否能够对教师的教学表现产生影响却鲜有研究。国外相关研究较多关注评教体系对于教师发展的影响。Robinson等学者指出该体系可以通过刺激教师的专业发展,从而间接影响学生的学习成效。Delvaux等通过问卷调查发现,有用的反馈可以增加评教体系对教师发展的正向作用。然而,由于各国评教的特点和侧重不同,已有研究结果较难外推我国学生评教制度的情况。此外,值得注意的是,周继良等对我国现行高校学生评教制度的文本进行分析并指出教学质量保障是学生评教的本质要义。对这一研究问题的探讨是论证学生评教的推广是否有可能达到“以评促教”这一根本目的的关键,同时,也有助于识别学生评教在实行过程中需要进一步改善的问题,因此具有重要意义。 本研究通过对国内某所“一流大学”建设高校历年学生评教结果进行分析,构建长面板数据样本库,运用固定效应模型,纵向比较同一门课程评分的变化情况,并结合对高校教师的半结构化访谈,考察学生评教结果对高校教师教学行为的作用及其影响机制。 二、理论框架 学生评教的结果对于教师来说是一种信息提供。经济学与教育学交叉领域的研究,基于人们对激励做出反应,在信息对行为可能产生的动机方面进行了广泛探讨,为进一步利用信息的提供引导有利行为提供了理论基础。评教结果的反馈或公示本质上与其他领域的信息提供的效果属于同一问题,基于Kolstad的分析框架,本研究认为以下两个机制可能导致教师在获知学生对自己教学表现的评价后有可能产生改变自身教学行为的激励。 第一种是外部动机(external motivation),即与金钱和利益相关的激励(pecuniary incentive)。如果较高的评分可能吸引更多的学生选课或者好的评分本身可以使得教师在绩效考核和晋升中占据优势,那么,教师将产生不断提高所得评分的动机。改善自身的教学表现将是实现这一目标的可行途径之一。Andrabi, Das & Khwaja的研究显示,向公众提供辖区内学校教育质量报告的地区相比于其他地区,学校的教学质量显著增长,以期能够接收到更多更好的学生,从而获得更大的利益。然而,Jacob & Levitt 指出,在教育领域如果过于依赖外部动机的作用可能会导致教师欺骗或者直接操纵学生行为从而得到表面上看起来更好的评分结果。 第二种是内部动机(intrinsic motivation),即与金钱或利益无关的激励(non-pecuniary incentive)。心理学中对这一概念进行了严格的界定:行为产生的效用必须源自于个体内在的激励。如果教师发现学生对自己的评价低于预期或者自己的教学表现在学生的评价中不及同行,那么,教师将产生不断提高自己教学表现以期望得到学生认可的动机。教学评分的改善将是这一激励下的结果。已有研究发现,医疗质量评分的结果对医生行为影响中,内部动机的作用远大于外部动机。然而,在学生评教领域,对内部动机影响的大小的探讨尚未发现。 上述两种动机在不同评教制度下分别对教师行为所起的作用大小也将不同。目前,国内各高校对评教结果的反馈以及是否计入教师考评等做法不尽相同。在本研究所选取的高校中,绩效考核的主要参考指标为教师承担的课时总数,评教得分并不与考评或晋升直接挂钩。每位教师都能在教务系统中查询到自己所得的教学评分以及所在开课院系的平均得分。因此,本研究认为该校学生评教结果对教师所产生的外部动机的作用效果相对较弱,所考察的评教结果对教学行为的影响将主要来自于内部动机。 三、研究方法与设计 (一)研究对象 本研究以国内某所“一流大学”建设高校的评教结果与代表教师为研究对象。该校要求学生对当前学期所选课程的每位授课教师进行匿名评教。课程评教在网上进行,学校每学期在课程进入期末考试之前统一发放问卷,在一定程度上避免了教师为获得好的评分结果故意给学生虚高成绩进行诱导的可能。 学生需要在指定方面对教师的教学表现进行打分,每个方面的分数取值均在0~5之间,分值越大代表教师某方面的表现越优秀。教师最终得分为以上几方面得分的加权平均。课程类型根据是否包含实验室操作分为实验课程与非实验课程。由于这两类课程的教学组织形式不同,因而评价维度略有差别。对于非实验课程来说,评价维度包括教学目标、教学组织、教学内容、教学方法、教学能力、教学理念、与课外指导。对于实验课程来说,评价维度包括教学内容、教学方法、教学能力、与教学态度。 评教结束后,教师与学生都可通过教务系统查询到最终评教结果,以及每个学院所开课程评教结果的总体分布情况(平均得分、上四分位数、中位数以及下四分位数)。 (二)数据与样本 本研究从该校的本科教务系统中获取2013—2014学年第一学期至2017—2018学年第一学期期间开设的所有课程的基本信息以及评教结果(不包括暑假学期)。由于打分对象理论上为课程而非教师,如果教师在一学期中同时承担几门课程的授课任务,那么将会得到多个评分结果。此外,如果出现多位老师共同承担同一门课程的情况,学生需要对该课程中每位老师的表现进行评价。因此,在本研究所建立的数据库中,基本观察单位为“课程-教师”。为探讨获得教学评分之后教学表现的变化,研究关联了每对“课程-教师”最近一次(前期)开课的评教分数与当期的评教结果,从而构建了一个长面板数据库。研究共获得含全部完整信息的记录13,796条,涉及5,890组“课程-教师”对。此外,本研究还从该校文、理、医科三大学科中各选择了三位老师进行访谈,从而定性地了解教师对学生评教结果的具体态度。 (三)统计分析方法 针对定量设计部分,本研究采用固定效应模型对样本数据进行拟合,以控制每对“课程-教师”不随时间变化的异质性对评教效果估计的影响。本研究将通过最近一次开课评教得分的变化从而识别学生评价对教师教学表现的影响。 研究的结果变量为当期评教的评分。陈磊等对学生评教与专家跟踪听课结果进行比较,发现对于获得差评的教师来说,学生与专家评价是基本一致的。因此,本研究的主要解释变量为前期得到差评的指示变量:如果前期开课的平均得分小于或等于所属开课学院前期所有课程评分的上四分位数(中位数或下四分位数),那么前期差评这一变量的取值为1,否则为0。不同的临界点分别对应轻、中、重度差评。 在此基础上,模型还纳入了一些随时间变化的课程与教师的特征变量:开课校区,考试形式(闭卷/开卷/论文/其他),是否为精品课程,是否为教学名师,每周上课次数,上课时间(仅上午/下午/晚上,或多时段),教师职称(初级/中级/高级),以及教学竞争程度。之前的研究发现这些因素为影响评教结果的非教学因素,因此在模型中加以控制。此外,为衡量课程授课期间来源于其他课程的竞争程度的大小,针对每门课程的开课学期,研究计算了由相同院系开设的在同一工作日和时段授课的课程个数,从而获得教学竞争程度这一变量。 考虑每对“课程-教师”多次开课的评教结果之间可能具有较强相关性,因此进一步对模型中可能存在的一阶自相关进行了修正。修正后,由于无法关联对应的前期评教得分的滞后期,每对“课程-教师”会损失研究时段中最早的开课记录。因此,对回归分析有所贡献的信息来源于7,816(=13,796-5,980)条记录。本研究的所有回归分析通过Stata软件进行。 四、研究结果 (一)评教结果的整体情况分析 表1呈现了非实验课程与实验课程所得评分的样本统计结果。从2015—2016学年第二学期起,该校进一步公开了各方面的评分明细,因而含有评分明细值的样本量相对较小。在研究期间,实验课程的平均得分低于非实验课程的得分,且方差较大。但在评分明细公开后,实验课程各方面得分的方差反而小于非实验课程。 (二)教学行为对前期差评的综合反应 研究首先关注差评对本次教学平均评分的影响。表2呈现了固定效应模型对前期差评影响的估计结果。研究结果显示,前一次开课获得差评对当前教学表现各方面的综合影响是正向且显著的。对给定“课程-教师”而言,如果上一次开课时的评分低于或等于所属开课院系所有课程的上四分位数,那么当前学期的平均评分会增加0.116~0.514分,与平均值相比,相当于2.5%~12.2%的增长。如果使用更低的相对评教得分来定义差评,则前期授课得到差评对当前教学表现的影响会更大。此外,实验课程对教学评价的反应更为敏感。 (三)前期差评对教学表现各方面的影响差异 研究进一步探讨前期开课得到差评对当期教学各项评分明细的影响,估计结果见表3。对于非实验课程来说,上次开课得到差评将导致教师当期授课的各个方面都有所改进,前期差评对当期教学表现的影响是正向且显著的,并随差评程度的增加而增大。对于实验课程来说,得到轻度差评时(低于或等于所属学院所有课程得分的上四分位数),教师会显著改善授课内容的安排;但当前期得到中度或重度差评时,教师则会在各个方面对自己的教学表现进行改进。 此外,研究结果还显示教师对前期差评的反应在教学的不同维度上的体现存在差异。对于非实验课程而言,得到轻度差评会使得教师在课外指导方面进行相对更大幅度的改进;得到中度差评后,教师会相对更多地对教学组织、方法、能力和课外辅导方面进行改善;得到重度差评后,教师则会更多地改进教学方法。对于实验课程而言,无论前期授课差评的程度如何,教师在教学态度方面的改进幅度始终最大。 (四)教师对学生评教结果的态度 通过访谈发现,该校绝大多数老师都知晓可以在教务系统中查询到自己的授课评分,也在系统中对自己的评分进行过查询,但是有一部分教师并不知道院系平均评分的公示。绝大部分教师认同学生评教制度存在的必要性。小部分老师由于“从事教学多年,对自己教学表现自信,从不会低于院系平均”以及认为“学生评教虽然有一定的参考价值,但是结果可能较为片面,不能代表真实的教学水平”,因而并不关注所得教学评分的具体结果。 受访教师中有30%会将自己的评分结果与院系平均相比较。所有受访老师均认为如果发现自己的评教得分低于院系平均,会反思并改进自己的教学行为。即使是对学生评教的有效性有所质疑的老师也表示“如果自己的评教结果和院系平均情况相比明显偏低,那肯定要反思自己的教学,一定是哪里出了问题。”在教学行为的改进方面,受访教师一致认为改变教学态度所花费的时间精力最小,改善教学方法、组织与内容所需投入的精力最大。 五、结论与建议 (一)结论与讨论 本研究通过收集一所“一流大学”建设高校近五年所有课程的评教结果,构建长面板数据库,运用固定效应模型,研究了前期授课得到差评对当期教学表现的影响。并通过对该校教师的半结构化访谈,全面地了解了教师对学生评教结果的态度。研究结果显示,在研究对象高校,教师得到差评后会显著改善当期教学的表现,且依据差评严重程度的不同,改善幅度在教学的不同方面呈现差异。尽管一部分教师对学生评教的有效性持质疑观点,但是,绝大部分教师认同学生评教制度存在的必要性,这与周倾楚对京津翼十所高校教师进行调研的结果相一致。并且,受访教师一致认为获得差评将使他们反思自身的教学过程并针对问题加以改进。总体而言,研究所得结论与国外同类研究相一致,均认为评教结果会对教师行为产生显著影响。所不同的是,本研究并非关注整个评教体系,而是侧重考察学生评教制度对教师教学行为带来的影响。 由于该校的学生评教结果并未与教师考评直接挂钩,因此,研究结果所展现的学生评教对教师教学行为的影响主要由内在动机所推动。在外部动机较弱的情况下,学生评教也能达到促进教师教学行为的结果是令人欣慰的。首先,更早实行评教机制的国外学者已发现,如果过多依赖于外部激励提升教学质量,在不完善的教学质量评价体系下,可能会导致教师引导学生,从而获得不真实的评教结果。不仅会损害评教的有效性,也妨碍了“以评促教”作用的发挥。 其次,从分析结果来看,内在动机所驱动的教学表现的进步可能是多方面的。对于非实验课程来说,在得到教学表现相对同行较差的信号后,教师并不总是选择改善较为容易提高的方面。相反,教学表现的改变体现在多方面,尤其在得到严重差评后,教师在教学方法上的改进幅度最大,其次是在教学能力上,这两个方面贯穿于整个教学周期,对这两个方面的改进都需要投入较多的时间和较大的精力,也是受访教师认为最困难改进的方面。 研究中也发现了一些可能存在的问题。相对于其他方面而言,非实验课程教师在得到差评后,对教学内容与教学目标方面的改善相对较少,而这两者正是“创造有意义的学习经历”(creating significant learning experiences)的主体之一。对于实验课程而言,在得到重度差评信号后,教师改善幅度最大的是教学态度,相对而言,这是一个较为容易改变且可以较快提升教学评分的方面,但却未必是教学表现不尽如人意或学生学习过程中获得感较少的主要原因。 (二)建议 基于以上分析,研究对象高校的学生评教经验对当前高校教学质量保障体系建设提供了以下经验与教训。 第一,加强评教结果的反馈有助于完全地发挥学生评教的作用。目前不少高校虽然每学期都按常规进行评教工作,但评教的结果仅留存于教学管理部门,并没有得到很好的利用,未能够转化为促进教师教学表现的动力。研究对象高校的经验显示,在有限范围内增加评教信息的公示力度,使得教师知晓自身的教学评分与院系平均是否存在差距,有利于推动教师的内在动机充分发挥作用,从而提升教学表现。 第二,评教结果的反馈需要更加丰富才能更有效地帮助教师寻找到需要改进的方面。即使是在有评教公示制度的高校中,公示内容也仅关注各学院所开课程平均得分的分布情况,较少提供同行授课的评分明细信息。这为教师寻找自身教学问题带来了一定的困难,也使得教师难以判断已做出的改善是否能够达到预期效果。教师通常只能通过自我诊断或对时间精力投入产出的权衡来决定在哪些方面改善教学行为。然而,这些方面未必是得到差评的主要原因。因而,在访谈中有教师提出希望能看到学生的文字评论而非仅仅是评分,这将为他们的教学表现提供更多信息,也对学生评教的模式提出了新的需求。 第三,通过改善学生评教的有效性及完善其评价指标体系,增加教师对评分结果的关注,从而最大化“以评促教”的效果。对学生评教有效性的质疑是受访教师不关注评教结果的最主要原因,一部分教师认为现有的评教未包含他们所关注的部分,且学生对待评教工作可能较为敷衍,在一定程度上影响了参考评教结果的意义。陈富等对高校学生的调研发现,当学生知道评价结果将有利于教学实践的改进时,70%以上的学生在评教时会更加认真。因而,研究认为向学生强调评教结果对教师改进教学的参考作用不仅将有助于增加学生评教的有效性,也将使教师对评教结果更为关注。 此外,基于学生评教结果对教师行为引导作用的认识,本研究认为评教指标体系的完善将给予高校教师的教学行为更正确的指引。例如,在评教中更多地纳入“以学评教”的思想来设计评价的指标体系,将有可能引导对评教结果有反应的教师更多地关注学生的学习行为、学习表现以及学习收获,以达到提升教学质量的目的。 综上,本研究发现在外部动机较弱的情况下,学生评教制度依旧可使得前期开课获得差评的教师改善教学行为。为最大化“以评促教”的效果,本研究认为在有限范围内增加高校评教制度的反馈与公示,改善学生评教的有效性与完善其指标体系,将有利于对教师的教学行为改进提供正确引导,从而使得学生评教真正成为教学质量保障的一个长效机制。 作 者 钱梦岑,复旦大学公共卫生学院讲师,上海 200032 原文刊载于《中国高教研究》第10期第81-86页 |