“以学生评教为例,其结果以往呈负偏态高狭峰分布,分数偏高且无区分度。”武昌首义学院教学质量监测与评估中心刘媛媛主任与麦可思研究交流时说。她认为问题在于学校宣传不到位,学生对评教的意义和对自身学习的帮助了解不够,加上评教指标设置不合理、教师对学生管理的严厉程度、学生考试成绩等因素都会造成随意打分的现象。
找准问题 分出高低
为走出学生评教结果分不出层次的困境,刘媛媛主任介绍,“学校主要从优化指标体系、加强评教宣传、合理设置评教时间等方面入手。”
学校自2019年起修订学生评教体系,落实“学生中心”原则,从课程教学学科体系为主的指标体系,例如教师教学态度、教学方法、教学手段、教学内容、教学效果等,转变为以学生学习体验的满意度评价为核心,从学生的学习感受、体验出发,将“金课”标准“两性一度”、课程思政内容嵌入指标体系,用学生能理解的语言表述评价指标,避免“读不懂”“不理解”造成的随意评分。
为加强评教宣传,各二级学院成立了以教学院长、学生书记为组长的领导小组,评教前大力宣传动员。同时,学校建立了500余人的学生信息员队伍,在学校教学质量监测与评估中心的指导下,学生信息员组织班会,深入学生内部宣传评教。评教时间是影响学生评教心理的微妙因素。为避免学生因“考得不理想”对任课教师“恶意评分”,学校将短学时课程评教安排在第十周,常规课程则在期末考试之前评价。 除了学生评教外,同行、专家督导、领导等不同主体评教也存在情感因素等打“关系分”“印象分”的现象。“学校引入了麦可思教学质量管理平台后,各主体评价都利用平台开展,大大方便了使用。”刘媛媛主任表示。在平台使用初期,同行评价也呈现出评价层次不分明、区分度差的情况。对此,学校对同行评价按优秀、良好、合格、不合格四个等级进行了要求,评价优秀教师原则上不超过10%,“良好”不超过30%,并将区分度是否达标作为教学单位年度考核的一项评价指标,有效解决了同行评价区分度不高的情况。
“职称较高的教师教学水平较高,年轻教师的教学水平理应较低”是一些领导或专家督导的刻板印象。学校为化解该问题除了合理优化评价指标体系外,主要以职能部门分工不同去指派听课任务,例如校企合作办公室分配校企合作教师质量评价任务、教师发展中心分配青年教师质量评价任务、党委相关部门领导干部重点分配思政课听课任务等。 “学校各级评价主体广泛利用质量管理平台开展课堂教学,平台推出了同行、督导评价高分、低分撰写原因的功能,我们认为这项功能非常好,计划推广应用到学生期末评价之中,进一步提升评价结果的含金量。”刘媛媛主任表示。
专家坐镇 分层指导
要充分发挥专家督导评价作用,除了破除刻板印象和按需分配评价主题外,学校还建立了层次分明、任务明确的质量监控队伍。该队伍分为学校、学院和学生三个层面。在学校层面,学校建立了50余人专兼结合的教育教学评估专家队伍,主要开展专项评估、重点对象教学质量评价、督导队伍建设等。校级督导评教的主要对象为申报质量奖的教师、上一年教学质量排名靠后的教师、青年教师、企业教师、新开课和开新课的教师。
在学院层面,各二级学院组建了院级督导队伍,重点跟进学校层面未涉及的听课对象,组织同学科大类不同教学单位的教师进行交叉互听,以及根据本单位教学工作重点针对性评价。每个教学单位配有质量管理员1名,协助管理院级督导队伍,处理日常事务,跟踪评价数据信息,以及撰写教学质量月报、院级评价报告等工作。具体到学生层面,学校利用学生信息员覆盖所有教学班级。学生信息员负责宣传评教知识,开展专项评估,以及反馈及处理教学信息等。
全面覆盖的教师教学评价体系在学校参与合格评估中也发挥了作用。刘媛媛主任介绍道,教评数据支撑了合格评估的若干指标点,包括教学中心地位(主要体现在领导干部听课情况)、实践教学(主要体现在实践教学类课程评教结果)、质量控制(各类教学环节质量评价结果)和校内外评价(学生评教、教师评学情况)等指标。
分类评价 改进有道
教评数据作为合格评估等迎评迎检的客观证据外,其最大的作用还在于善加利用以改进教学质量。从学校教学质量监测与评估中心角度出发,教学管理平台生成的三级教学质量报告作用显著,刘媛媛主任表示,“质量报告的内容可以根据不同的需求自行选择不同内容配比。”通过纵向对比,学校可以从学校、学院、教师个人三个层面分析逐年趋势变化;二级学院的横向对比可以看出教学单位在全校教学质量评价中所处的水平。具体到教师个人,不仅可以呈现其本人在本单位、本校所处的水平,还能够显示该教师教学期间的变化过程以及在课程组内部所处的位置,“结合评价指标的得分统计和分析,各级层面都能有效地利用数据进行教学反思和持续改进。”
在对教师教学的具体评价上,学校参考大量的评教数据,对不同类型教师制定了不同的评价标准。例如,学校在职称评审、工资进阶等方面都应用了评教成绩,申请职称评审的教师连续三年评教成绩不得排在本单位后10%;工资进阶选择教学型的教师,评教成绩必须在本单位前50%方能申请。同时,评学成绩用于优良学风班级评选等。 对于教学改进极具作用的过程性评价同样是学校关注的重点,刘媛媛主任表示,“目前学校要求教师结合教学督导、领导同行的评价意见,在教案的‘教学反思与持续改进意见’阐述思考结果,实时改进教学。”教学管理平台提供了支持学生随堂评价的即评即改功能,不过学校已有的学习软件也能满足,为便于教师使用习惯未做指定,学校未来计划探索质量管理平台与已有数据互通共享,以实现综合分析。
自2019年开始,学校坚持试行教学质量月报制度,每月定期梳理平台中的各类评价结果、利用简报反馈各类专项检查发现的问题和建议。通过平台实现了教师课堂教学实时反馈、教学质量校院两级简报月反馈、学期末教学质量3级报告和教师评学两级报告学期反馈三个层级的质量反馈机制。
学校重视应用型教师教学质量评价研究,教学质量监测与评估中心申报《基于多元统计分析方法的教师教学质量综合评价体系研究与实践》课题,基于平台提供的信息化数据基础,应用多种统计分析方法,通过质性研究和量化研究相结合的方法,系统性、综合性、科学化的构应用型教师教学质量评价体系,切实解决教学管理、教师发展、质量监控中的痛点问题。