试题库质量控制和评价技术研究

来源:用户上传      作者: 任占营　牛金成

　　摘要：就试题库建设过程中的命题原则、试题设计方法、试题质量控制、试题评价等关键问题进行了详细的分析和研究，提出了一系列具有可行和可操作性的措施，并以《计算机操作系统》试题库为例进行实践，对试题库建设质量控制和评价具有一定借鉴意义。
　　关键词：试题库；质量控制；评价技术
　　
　　面对21世纪社会对人材的高素质要求，大学课程教育也面临着新的挑战和机遇。突飞猛进的计算机技术也为改善各门课程教学手段、方法及考试方法提供了有利的工具。全国高校都在利用现代化教学手段对教学各方面进行大胆的改革和探索。作为大学课程教育的重要环节――考试方法已经成为教学改革的重点，也成为提高教学效率的重要突破口。科学建立试题库，自动抽题组卷，实现考教分离成为解决这个问题根本途径和有效手段。它可以促进教师根据人才培养目标的要求，严格按照教学大纲授课，改善教学质量；可以科学检查学生对本课程的基本知识、基本理论和基本技能掌握程度，很大程度激发学生的学习兴趣；可以为同一门课程教学质量评价提供有利条件，能更好的激发教师的教学热忱，增强爱岗敬业的热情。
　　
　　一、试题设计的原则和方法
　　
　　1.试题设计原则
　　 （1）目的性原则：《计算机操作系统》将全部试题作为一个整体，应该符合考试的目的要求，即通过解答或完成这些题目，应该能够测出预定需要测定的知识和能力水平。试题内容、形式、难度等均应服从于考试的目的；（2）科学性原则：《计算机操作系统》的试题表述要科学准确。客观性试题的答案应该确切唯一，研究型、讨论型题目研讨方向应该清晰，即学生可以使用不同的方法，但要解决的应该是同一个问题；非探讨性问题所给条件要做到既不多余也不欠缺；（3）考试与教学要求相一致原则：《计算机操作系统》的结业考试，作为目标性检测考试，其考核内容及试题难度应该与教学大纲要求为准，教学的重点和难点也是考试的重点。不能怕学生“押题”而回避教学重点。考题设计的形式和难度要求可以在教学大纲范围之内根据学生的学习情况稍微变动；（4）知识与能力并重原则：《计算机操作系统》作为计算机类专业的专业基础课程，是学生将来从事计算机行业必备的基础知识。不仅要考核学生对知识的掌握程度，更应该考核学生对所学知识的理解程度和应用能力。在试题设计时不能忽略能力的测试，否则无法有效实现教学目标。
　　
　　2.试题设计方法
　　 《计算机操作系统》试题库中包含单项选择题、多项选择题、填空题、判断题、简答题、算法分析题等六种题型。在试题设计之前先根据教学目标和教学大纲以及考试目的，设计不同难度要求的试题，供以后抽题组卷时选用。（1）选择题的编写应注意：每一选择题的选择项数应保持一致，单选题以4 项，多选题可设4 项；选择支的位置安排要具有逻辑性，正确支的位置要具有随机性和相对均衡性；正确支与干扰支要具有相似性，干扰支与题干的联系要与正确支与题干的联系同样密切，不能生搬硬凑，人为臆造。（2）填空题的编写应注意：填充的内容应该是关键字词，并要求与上下文有密切联系；一道填空题中不宜有过多、过长的空白，而且空白处所能填充的内容应该是惟一的；如果填充的内容是计算的结果，当为概念、法则等常规运算时，则计算不宜复杂。若是根据某些性质进行计算，则所用性质应该是重要的或简单的，不宜过分要求解题技巧，不能将综合题变成填空题。（3）判断题的编写应注意：每个题面最好只包含一个重要概念，尽量避免两个或多个概念同时出现；试题措辞必须含义清晰，语句简练，避免用较长的复合语句命题；尽量不用否定式语句，尤其不要用双重否定语句故意制造难点；不要用“可能”、“有时”、“通常”等“特加限定词”。（4）算法题的编写人们比较熟悉，这里只强调以下三点：为考核学生对概念、法则的理解而编写的计算题，主要是考查学生对方法而不是对技巧的掌握，因此计算量不要过大，数字不要复杂；要注意一题多解，如果一个题目有多种解法，且几种解法的难度差异较大，则可注明要求学生使用的解题方法，以避免学生回避所要考核的知识点；尽量少出为计算而计算的题目，要把计算和实际应用结合起来。
　　
　　二、试题质量评价指标
　　
　　1.试题难度
　　试题的记分方法分两种，客观性题目在评分时，只有得分和不得分两种情况，称为二分法，而主观性题目学生可能得到不超过题目分值的任何分数，称为非二分法。两种记分方法对应的难度计算方法也不相同，他们的计算方法这里不详细列出[4]。从计算公式可以知道， 难度值P 的最小值为0，表示该题不难；难度值P 的最大值为1 ，表示该题很难，无人做对。难度过大或过小， 都不能区分学生的学习水平。一般情况下，难度在0.3 以下为容易题，0.3~0.6 的为中等题，0.6 以上的为难题。由于难度与区分度有关， 难度越接近0.5，区分度越高。例如，在期末考试中，为了期望平均成绩为70~75 分，适当调整易、中、难题的比例，设计分值比为5:4:1，且三种试题的平均难度分别为0.19、0.35、0.16，这样可期望平均难度为0.295。试题的难度与考试的性质有关，一般说来，作为教学检查性题目，其难度不宜过大，以0.2～0.4 为宜，而作为选拔性考试的题目，其难度在0.4～0.6 比较适合。
　　
　　2.区分度
　　区分度是反映试题对学生实际学习水平区分能力的指标。区分度好的试题，学习好的学生得分高，学习差的学生得分低；而区分度低的试题，从得分上不能判断出学生学习的实际情况。一般以试题得分与试卷得分的相关系数作为区分度。相关程度越高，区分度越好。正式考试试题的区分度应该在0.3 以上，好的试题应该达到0.4 以上。对于试题区分度因为区分度与标准差成正比， 所以要使区分度达到0.3 以上的良好水平，成绩标准差应大于12 分，但这会使不及格的人数增多。一般期末考试成绩标准差应控制在10 分，平均区分度以0.25 为宜。
　　
　　3.信度
　　在教学评价中，考试结果的可靠性称为信度，就是同一个测验对同一组被试先后实施两次， 其测验结果的一致性的程度， 所以信度是反映考试结果稳定性的一个指标。目标参考性测验信度的估计， 目标参考性试验由许多所要考查的目标组成， 而每个目标又由许多测题组成。在估计这种测验的信度时，可将每个目标的测题视为一个测题组，用信度的测试方法，如再测法、复分法、分半法等来估计每个测题组的信度， 然后用各测题组的复本信度系数来表示整个测验的信度。在估计测题的信度时采用内在一致性信度。信度的最大值规定为1.0 ，一般标准化考试要求信度达到0.90。考试的理想结果是学生的考试分数与其真实水平(“理想分数”) 完全相同，这时考试的信度最大。
　　
　　4.效度
　　效度是指一次考试在多大程度上测量了需要测量的东西。计算效度一般采用“效标分数”法，即把学生有关考试成绩和有经验而且了解学生的教师对学生的评定等作为效度的标准(效标) ，把考试分数和效标分数之间的相关系数作为考试的效度值。如果测试的结果与学生平时学习情况基本一致，这样的考试有较高的效度。测试过程中，效度的最大值为1，表示测试结果符合测试目的，最小值为0， 一般测试的效度应在0.4～0.7 之间为宜。
　　
　　三、试卷质量统计分析与评价
　　
　　试卷质量统计分析与评价是考试管理中一项重要工作，也是我们评价考试质量的最重要、最有效的方法。它能够为改进考试设计工作，使之更符合考生实际提供重要信息；也能够为改进命题工作提供大量信息，提高试题和试卷的编制质量；也是完善题库，提高题库试题质量的重要途径。试卷质量统计分析与评价主要包括：考试成绩分布的统计估计、考试的信度分析、考试的效度分析、试题的难度分、试题的区分度分析等[2,3]。正态性检验是试卷统计分析与评价中一个不可缺少的指标。学生学习成绩的分布在外界条件相同情况下，因受智力影响较大，通常呈正态分布。当考试成绩分布呈正态分布时，测试效果符合自然分布规律，因此，认为试卷编制得比较成功，试题质量较好。测试学生总体学习成绩分布可以对试题质量进行粗略的评价。
　　
　　一份好的试卷，应该是难度适中，区分度好，能客观反映学生的实际水平，具有较高的信度和效度，并且经考试后，学生的成绩呈现正态分布。当然，试卷质量的优劣只有通过试卷分析后才明朗化。因此，考试后应及时对试卷和成绩进行分析，删去劣等题，一般题作修改后可成为优良题，把优良题存入试题库，从而不断完善试题库。从题库中抽取试题时不能一味地追求试卷质量指标，要统筹兼顾，合理安排，适当保留一些虽是劣等题但内容很重要的题目。总之，在试题库的建设中我们应综合地考虑各方面的因素，合理地选择数量适当、难易程度合适、信度与效度适中的题目，以保证试题管理系统的可靠性、使用性以及准确性，促进计算机辅助教学能更加广泛地应用。
　　作者单位：华北科技学院教务处
　　
　　参考文献：
　　[1]任占营，杜其军等.《计算机操作系统》试题库系统的设计与实现[J].防灾科技学院学报，2007，9（2）：92-94.
　　[2]赵珂.试卷质量指标分析[J].新疆教育学院学报，2001，17（4）：134-136.
　　[3]胡旭昶.试题库相关参数及其具体实现[J].宁波大学学报（理工版），2004，17（1）：101-104.

转载注明来源:https://www.xzbu.com/2/view-384343.htm