当前位置:首页-他山之石-他山之石
如何做好在校生全程评测

如何做好在校生全程评测?

教育部评估中心 2023-03-26 15:04 发表于北京

以下文章来源于麦可思研究 ,作者专注高等教育

麦可思研究.

分享就业蓝皮书研究成果,大学生学习及就业、教师教学行为分析,高校质量保障、教学评价、专业(群)建设、招生宣传、人事招聘等实践案例,以及高教资讯等。

图片




2020年10月,中共中央国务院印发《深化新时代教育评价改革总体方案》,其中提到要“强化过程评价,探索增值评价”,在评价的组织实施过程中要“探索开展学生各年级学习情况全过程纵向评价、德智体美劳全要素横向评价。完善评价结果运用,综合发挥导向、鉴定、诊断、调控和改进作用。”如何做到全过程、全要素的评价?在校生的评价应该怎样实施?评价结果应该如何分析和应用?本文的论述角度或可为管理者提供参考。





    过程评价、增值评价,以及在校生全过程、全要素横纵结合的综合评价是新时代教育评价改革方案中对学生评价的主要要求,也是现阶段和未来教育评价改革的重要方向。高校在拿到这一“命题作文”时,首先要思考:在学生评价中,何为过程性评价?何为增值评价?



破题:明确相关定义及概念


    过程性评价这一概念在高教领域比较常见。相对于结果性评价而言,这类评价从关注教育目标转向关注教育过程,强调教育的建构性与反馈的及时指导性,关注教师与学生的互动及反馈,这一特性能够促使学生在学习成果不断发生重组与建构的过程中,减少现存成果与目标成果之间的差异,从而提升学习效率和学习效果。


    增值评价这一概念在目前国内基础教育领域的研究较广泛,但在高教领域的研究与应用都还处于初期的探索阶段。其概念由泰勒(Terry Taylor)、迈克·柯兰(Charles McClain)在1985年提出,后来“增值”的范畴被美国高教著名评估专家阿斯汀重新定义,其主要关注学生从进入大学到毕业离开大学期间所发生的变化,主张高等教育机构真正的质量体现在大学对学生认知和情感发展的影响程度,学生大学期间学习和发展的变化越大,那么学校对学生发展的影响也就越大,因而学校的质量就越高。根据阿斯汀提出的院校影响力理论以及I-E-O(投入—环境—产出)模型,增值评价的价值主要体现在,其可直观反馈学习成果的增值情况,展现高校培养的“净效应”。此外,增值评价可帮助高校挖掘影响学习成果增值的因素,找到影响机制,打开培养“黑箱”,寻找改进教育教学质量的抓手。


    在明确了政策文件中提到的学生评价相关的重要概念及价值后,高校就需要依据评价改革要求设计并执行在校生全过程的跟踪评价,其过程中一般会出现评价指标体系不够系统全面、评价样本不具有代表性、调查问卷设计不合理、诊断问题不够深入与精准、操作过程费时耗力等问题。如何克服这些困难,是实施在校生全过程监测的重要议题。



顶层设计:体现全过程全要素


    如何通过在校生监测实现全过程、全要素的综合评价?顶层设计十分重要。根据对过程评价、增值评价内涵的理解以及“学生中心、产出导向、持续改进”的教育理念,系统全面的在校生评价指标体系需要涵盖三大范畴的内容——学习成果、学生行为、培养过程。


    首先,学习成果是学生通过在校几年的培养,在品德、素养、能力、知识等方面的提升情况,这也是直接体现学生增值的主要指标,包括直接评价和间接评价两个部分,其中学习成绩、各种竞赛获奖、体测情况等属于客观数据,是学生学习成果的直接评价结果;学生自评的各项能力素养的增值情况属于间接评价的学习成果,这些均是反映学生培养结果的指标。其次,对学生的学习成果有着最直接影响的因素是学生本身在校的各种行为,考虑到德智体美劳全要素的发展,在校行为需要包括学习行为和各种活动的参与。学习行为一般指学生在第一课堂的学习情况,活动参与一般指第二课堂、社会实践等方面的参与情况。最后,就是院校具体的培养环节,要考虑哪些可以影响或者促使学生更多的学习投入和活动参与,比如课程、教师教学、指导与服务、实践活动,以及校园环境和各方面的软硬支持条件等。


 

    学习成果、学生行为、培养过程这三部分内容自下而上是院校培养的影响机制,即培养过程影响学生的行为,学生的行为从而影响他最终成果的达成及获取。当然,如果根据学生参与理论,培养过程也会直接作用于学生的学习成果。反过来,自上而下就是一个发现问题、反馈改进的过程。比如某项知识或能力的增值出现问题,首先考察学生的学习投入或某项活动参与出现不足,而影响学生行为出现问题的主要原因是培养过程,比如课程难度不足、教学方法不当、师生互动不够等,这就打开了培养过程的“黑箱”,真正找到改进的抓手。



评价实施:合理选择样本并设计问卷


    确定好评价的指标体系后,需要设计好相应的问卷和评价开展形式。


    一般情况下,学校在做学生调查时会通过学生座谈会、学生代表信息反馈等形式进行,通过这种方式回收的样本量一般较少,样本代表性较差,存在选择性偏差,而且面对面的访谈也会影响评价结果的真实性。所以在校生评价应该采取全样本调查,并对答题和未答题的样本进行自我选择性样本偏差检验(Self-selection Bias),排除存在自我选择性样本偏差的情况,从而使评价数据具有较强的统计代表性。


    此外,在设计问卷时,也要充分考虑问题的逻辑关系、答题路径及答题意愿,从而确保调查结果的质量。



数据分析:深入挖掘培养环节问题

某应用型大学不同类型在校生各项通用能力增值情况(课程内容)

image.png




    评价结束后,需要回收数据、清理数据,并对评价结果进行分析。如何从众多指标数据结果中挖掘培养环节的主要问题,是这一阶段需要重点考虑的困难点。某所应用型大学在2019—2020学年实施了全校的在校生调查,根据增值评价理论进行深入分析,运用分类分析的方式,发现“课程内容是否理实结合”会影响学生各项通用能力的增值,也就是认为课程内容体现理实结合的学生其通用能力的增值优于认为课程内容没有体现理实结合的学生;此外,还发现“师生交流的频率”也会影响学生各项通用能力的增值,也就是与教师高频交流的学生其各项通用能力的增值优于低频交流的学生。进一步分析还可定位到各个学院或专业层面,信息工程学院、生命科学与技术学院、机械工程学院的学生与任课教师课下高频交流的比例相对其他学院较低。通过上述的深入分析,能够挖掘院校及专业在教育教学环节中的问题,从而找到改进的方向。




注:师生互动高频交流是指学生“每周至少一次”或“每月至少一次”与任课教师进行课下交流。师生互动低频交流是指学生“每学期至少一次”或“每年至少一次”与任课教师进行课下交流。




某应用型大学不同类型在校生各项通用能力增值情况(师生交流)


image.png

 某应用型大学各学院学生与任课教师课下高频交流的比例(%)

image.png

 


结果应用:支持内外部评估工作


    在校生评价的结果一方面可以帮助学校了解学生的学习成果增值、学习情况、对院校教育教学的反馈,也可服务于学校内部的院系考核。另一方面,在校生评价数据也可支持院校外部的评估、认证以及项目验收等工作。目前本科院校层面的合格评估、审核评估,专业层面的专业认证,以及“双一流”建设、“双高计划”等均对在校生评价提出了相关要求。


    例如,本科审核评估中要求学校列举在校生对学习和成长的满意度,高职院校中的“双高计划”要求学校在建设期内以年度为单位列举在校生满意度等指标结果。


    全过程、全要素的在校生监测需要学校做好顶层设计,综合考虑评价内容,系统设计评价指标、评价方式,合理应用评价结果,体现质量评价工作“以评促建、以评促改、以评促强”的根本思想。希望本文可以为高校管理者开展在校生监测提供一些参考。


主要参考文献:

[1]刘海燕.美国高等教育增值评价模式的兴起与应用[J].高等教育研究,2012(5).

[2]张俊超,李梦云.过程性学习评价如何影响大学生学习投入及学习效果——基于“H大学本科生学习与发展调查”的数据分析[J].高等工程教育研究,2015(6).


    
官方微信    掌上校园