摘要:本文对传统试题属性指标进行了分析,提出了一种优化改进的指标体系,根据试卷的各项约束条件,确定了计算机自动组卷的目标函数和数学模型。

关键词:组卷策略;试卷模式;目标函数;组卷数学模型

1 绪论

目前教育教学中,考试是评价学生学习情况的重要手段。要想真实准确地反映出学生的学习情况和个体差异,一份客观和标准化的试卷是基础条件。所以组建“客观和标准化”的试卷是考试的核心环节,提高考试质量,试题质量是关键。试题质量又依赖于组卷工作的科学性。组卷工作的科学性主要体现在代表性和针对性。代表性是指试题取样能足够反映考试内容。针对性是指试题本身编制要合理,对不同的考试对象能有不同的体现。因此,建立计算机管理的标准化试题库,研究高效组卷策略,对提高考试的科学性,提高考试质量具有极为重要的作用。

2 组卷的基本原则

计算机自动组卷是按照教师和教学的要求,由计算机自动从试题库中选择试题,组成一份多项条件分布要求的试卷。组卷的基本原则主要体现在:

(1)确定考试的知识点覆盖面。考试知识点可以由用户决定,既可以按章节,也可以按题型。试卷的各章节所占的分数比例一般应该与教学所用的时间成正比,但是用户也可根据需要改变分数的比例。

(2)试题值的难度值的问题。试卷中试题的难度比例、考查深度要符合考试大纲的要求,试题的难度应适中,并且能根据不同的时间、不同的考试对象动态的改变。

(3)组成的试卷应该能够区分出不同水平的学生的能力。即全卷的区分度不应该太低,不然不同考生的分数都趋近于一致,达不到考试的目的。每道试题的区分度事先由有经验的教师确定,并根据考生的考试成绩不断调整。

(4)试卷的编排要合理。试卷的题类比例、题型比例应当根据考试的目的、类型不同而不同。

组卷工作是一项复杂的智力劳动,组卷者首先要研究考试大纲和命题计划,明确考试的目的、对象、性质;试题的形式、数目;试题数量和分数在各部分中的分配比例,考查的重点和其它要求。其次,根据命题计划编制试题,给出答案。并对组出的试卷进行审查、修改和筛选等。

3 试题的指标体系结构

试题都是存放在试题库中,而试题本身含有固定的属性,试题各项属性指标的确定直接影响到组卷系统的准确性和工作效率。试题库中的内容将直接用于试卷之中,所以试题库结构的设计是组卷问题的重要内容。试题的属性指标定量地描述了每一道试题的内在属性、外部特征以及它在考试测试中的功能,是计算机进行抽题组卷的基础。

传统的组卷策略中,试题属性指标主要有有六项:题号、题型、章节(知识点)、难度、区分度、时间、分数。组卷的指标体系是指试题的各种参数,是建立试题库管理系统,实现计算机自动组卷的关键。试题本身含有一些固有的特性参数,这些固有的特性参数都需要用相应的指标来刻画并用以指导组卷的选题。

抽题组卷时,常常需要进行试题分析。试题分析包括定性分析与定量分析。定性分析是指对试题的科学性的分析,如试题是否是预定的教学内容,试题测量的是否是预定的教学目标等。定量分析是指对试题的难度与区分度的分析。试题的难度、区分度都是试题的重要质量指标,但它们不是试题自身的性质,而是试题针对参加统计的这组学生反映出的特性,因此,它们的数值总是和某批学生有关,难度和区分度的确定也比较困难。所以实际建立题库的时候,常常让有经验的老师给试题的难度和区分度确定一个初始值,然后根据每年考试的结果,依据一定的算法进行修正。

试题的难度值是指全体被试对该题的失分率,针对不同的考试目的、不同阶段的考试,试题的命题难度应该相应地不同,用符号D表示。其计算公式为:

其中,D是题目的难度值, 为全体被试在该题上得分的平均数,W为该题的满分值。

从公式可知, 越大,D越小,当=W,D=0; 越小,D值越大,当=0时,D=1。D的取值范围O≤P≤1。

也就是说,被试得分越多,试题的难度值越小,试题越容易;被试得分越少,试题的难度值越大,试题越难。当所有被试都答对了时,试题的难度值为0,试题最容易;当所有被试都不会答时,试题的难度值为1,试题最难;当难度值为0.5时,试题为中等难度。

当测验用于最大程度地区分考生时,难度恒定在0.50左右最为合适。例如全国高等学校入学考试其难度规定为3:5:2,即较容易的题目占30%,中等难度的题目占50%,较难的题目占20%,整个试卷的平均难度大约为0.50。

试题的区分度也叫题目的鉴别力,也是区分不同层次的学生水平能力的指标,它是由被试在该题上的得分与被试的实际能力水平之间的关系来确定的,可衡量题目对不同水平被试的心理特质的区分程度。严格来说,区分度应该通过测试后才得到,但对每题进行实测存在技术困难,而且实测的信度难以保证,因此,笔者认为,在实际使用时,若已经利用难度值作为学生水平能力的指标,通常也可以忽略区分度。

综上所述,另外根据笔者的实践测试,对试题属性指标体系进行优化,组卷的参数范围可参考如下表:

4 试卷模式

组卷就从试题库中抽取试题,实现根据用户组卷要求生成的组卷模式。组卷模式是一些分数分布,组卷的过程就是从试题库中选择合适的试题去实现这些分数的分布。每一个分布可以看作是一个需要实现的约束,这多个分布则可以看作是多个约束,所以组卷的过程就是一个实现多个约束的过程。组卷的约束条件基本上有以下几个方面:

4.1章节(知识点)-分数约束

包括各章节在总试卷中所占的分值比例,如果更加细化地来分,还可以对试题在章节的基础上进行知识点的确定,通过对章节的约束来实现,这样,此处约束就能够更好地实现试卷对学生的评判效果。

根据考试科目不同章节分数也不同,用C表示章节,对于一套试卷X=(X1,X2,…,Xm),m为试卷X总题数,Xj为第j道试题,m(j)为试题Xj的分数,c(j)为试题Xj所在章节。设ci为试卷的第i章节的分数,n为章节数,则章节-分数约束为:

4.2题型-分数约束

题型约束是指试卷中包含的试题类型,即以何种类型的试题组卷测试。用TP表示试题类型,设题型-分数约束为:

计算方法与上述章节(知识点)-分数约束类似。

4.3难度-分数约束

对于一套试卷X=(X1,X2,…,Xm),m为试卷X总题数,Xj为第j道试题,m(j)为试题Xj 的分数,d(j)为试题Xj的难度级别。用D表示难度,设di为试卷的第i个难度级别的分数,n为难度级别的个数,则难度-分数约束为:

本系统中难度级别划分为三个等级,D={易,中,难},n=3。

4.4总时间

设考试总时间为T0,完成试卷X所需预计时间为T(X),预留检查时间为a*T(X),则完成试卷X所需实际时间为:

其中,m为试卷X的总题数,tj(X)为试卷X的第j道题的预估计时间。

4.5 总分数

设试卷期望总分数为M0,实际组成试卷X的总分数为M0(X)。则

其中,m为试卷X的总题数,mj(X) 为试卷X的第j道题的分值。

5 组卷目标的确定

5.1偏差的计算

设难度、章节(知识点)、题型、总时间、总分数的期望值分别为D、C、TP、T、M,对试卷X的预估计值分别为D(X)、C(X)、TP(X)、T(X)、M(X),偏差分别表示为error(D,X)、error(C,X)、error(TP,X)、error(T,X)、error(M,X),则偏差越小X越接近期望值,所以:

5.2 目标函数

组卷的目标就是从一个试题库I={x1,x2,…xn}中,寻找一个子集X={x1,x2,…xm },使得这个子集X满足上面所描述的成卷模式中的各个约束分布。其中,n是试题库的总题量,m为一套试卷中的总题量。使试卷中每一道试题,都包含有题号、题型-分数、难度-分数、章节(知识点)-分数的四维向量(a1,a2,a3,a4),则一份有m道试题的试卷,就决定了一个n×4的矩阵S,数学模型如下:

而目标函数就是要使实际得到的试卷中的各指标分布与理论要求分布的分值偏差最小。这里采用对各分布的所有偏差加权求和,取该和的最小的方法来定义组卷问题的目标函数。在一般考试试卷中,每种类型的题目数量和分值是固定值,所以就不存在总时间和总分数的偏差时,因此,总偏差――也就是目标函数值就被简化成:

其中,wl,w2,w3分别为难度、章节(知识点)、题型指标的权重,且

考虑到测试的保密性,防止猜题,就要保证试题选中率,使得每道试题在连续的n份试卷中不能重复出现。因此,增加一个约束来控制选中率。设试卷X中任意试题x上一次在试卷B1(x)中出现,本次组卷中试卷的选中编号为B2(x)。则对选中率的要求可以表示为:

B2(x)-B1(x)>n

上面的约束条件和目标函数就是建立的实现成卷算法的数学模型。

6 结束语

传统的试卷编制,一般是需要教师收集资料,制作题库,然后再选择适合的题目,这项工作需要花花费教师大量的时间和精力,效率低下,而且难以做到出题客观。如果用计算机对试题库进行分析筛选,自动选题,不但提高了工作效率,而且若采用了优秀高效的选题策略,加上一种快速的组卷算法(笔者开发的组卷系统中采用了改进的遗传算法),可以使选题更加客观,从而可以使考试更加标准化,才能更有效地评价学生的学习成绩、促进学生的学习,同时也是教学完善教学方法、提高教学质量的重要手段。

参考文献

[1]宋兆鸿,刘世表,张才美.现代教育测量[M].北京:教育科学出版社,1986.

[2]杨青.基于遗传算法的试题库自动组卷问题的研究[J].济南大学学报(自然科学版),2004,18(3):228-231.

[3]王力发,杨丽敏.教育统计与测量[M].哈尔滨:哈尔滨工程大学出版社,1994.

[4]余胜泉.通用试题库组卷策略算法[J].GCCC99论文集,108-116.

[5]吴美娟,黄烟波,刘中宇.基于改进遗传算法的智能组卷系统研究[J].计算机应用与软件,2007,24(12):191-193.

[6]王小平,曹立明.遗传算法――理论、应用与软件实现[M].西安:西安交通大学出版社,2002.