国家开放大学试题库质量要素分析与技术模型
刘玉侠胡星
【摘要】开放大学题库建设是预约考试的基石，其质量关系着预约考试的整体质量，关系着整体教学改革的成败，关系着开放大学人才培养的质量。本文在分析开放大学题库建设质量影响因素的基础上，提出题库质量的建设要素主要包括目标的吻合度、结构的适配*、策略的绩效*、内容的时效*诸方面，并结合实践发展需求搭建题库建设技术模型，重点阐述模型命题、等值入库、动态联动、曝光预警四个关键技术设计。
【关键词】开放大学；题库南量；技术模型
【中图分类号】g420【文献标识码】a【文章编号】1009—458ｘ（2012）12—0075—05
题库建设是现代信息技术和高效考试的深度融合的一种体现。随着社会各行业考试的迅速发展，题库建设的技术和理论趋于成熟。2012年7月31日国家开放大学在*大会堂揭牌成立的国家开放大学是在广播电视大学基础上建立的，是教育部直属的以现代信息技术为支撑，学历与非学历教育并举，面向社会成员实施远程开放教育的新型高等学校。国家开放大学的建设需要信息技术与远程教育的深度融合，其题库建设更是凸显这一特*。借鉴已有题库研究成果，构建适合远距离学习、随时预约、分布全国甚至世界的大规模考试的题库是国家开放大学建设的燃眉之急。那么，如何确保题库建设的质量就成为其中一个必须要面临的问题。
一、发展现状
（一）文献研究
纵观中外各种各类题库建设，按考试*质可分为两大类，一种是社会中介服务机构承担的题库建设，如英国的剑桥测评（cambridgeassessment）、美国的act考试服务机构；另一种是教育机构（包括部委、高校）自建的题库，如*教育部考试中心负责高考及自考的题库建设、各高校开发的课程题库建设。从功能上讲，题库主要分为两大类：一种是单功能试题库，主要用于单一用途的考试题库，如驾驶员执照考试、计算机职业能力水平考试、四六级英语考试、课程学业考试等；另一种是多功能试题库，主要用于两种或两种以上用途的综合*考试题库，如国家开放大学的题库。为了深入了解国内外研究现状，笔者通过文件检索在ki知识网络平台上检索“题库”两个关键字，选择2000至2012年度，得到849篇文章；输入关键字为“题库建设”，检索出99篇文章，有效文章为95篇，其中关于“题库建设意义和作用”的文章有50篇，关于“题库设计”的文章有18篇，关于“题库技术”的文章有16篇，关于题库建设实证分析的文章有6篇。由此可见，题库建设步入快速
发展的阶段。
在题库建设理论方面，目前主要存在两大理论，即经典测量理论和项目反应理论。大部分试题库建设主要依据经典测量理论，而项目反应理论由于其数学模型的复杂导致其在题库建设应用中存在诸多困难。在题库设计方面，在设计双向细目表、命题方案、命题表等基本建设程序上已达成共识，唯一不同的是设计标准。需要综合考虑的因素目前主要有考核知识点、教学要求、考核目标、题型、题量、分数、答题时间、难度、区分度等。在组卷策略方面，目前主要存在有随机组卷、遗传法组卷等，有基于moodle平台、irt模型、ole技术、技术的组卷模式。在题库类型方面，有题库和卷库之分，大部分题库仍然是卷库，而不是真正意义上的智能题库。
根据文献检索和分析，题库建设存在以下问题和难点。第一，题库设计标准不统一。无论在题型、题量、设计要素、试题属*、系统指标等诸方面，没有统一的依据和标准，仁者见仁，智者见智。第二，组卷策略难以实现真正意义上的智能组卷。受制于题库设计和题库技术的制约，在制定组卷策略时往往是由计算机预先组成试卷，在正式测试时难以实现随考随组卷的智能组卷。第三，组成试卷难以实现预定的设计目标。受制于组卷策略的不完善，组成的试卷往往存在对规定内容覆盖率偏低、试题内容重复、整体编排不符合思维规律等问题；同时，题库中存在部分试题长年闲置造成浪费的现象。第四，在题库使用过程存在题库试题曝光率偏高。题库建设需要很大的财力、精力和时间，一般题库建成后要使用很多年，如果题库中试题储存量不够大，试题使用频率就会增加，试题曝光率就会偏高。
（二）广播电视大学题库建设
国家开放大学“在广播电视大学基础上组建，面向全体社会成员，强调优质教育资源的集聚、整合和共享，强调以现代信息技术为支撑，探索现代信息技术与教育的深度融合。”广播电视大学题库建设自1999年“开放教育人才培养试点”以来，经历了三个发展阶段：一是探索阶段（1999—2003年），启动了终结*考试机考系统的研发，并组建终结*考试试题库；二是试点阶段（2004-2006年），启动了“基于网络的课程考核改革试点”，完成了形成*测评系统的研发，并于2005、2006年分批进行试点，2007年3月10日*电大形成*测评系统通过了由教育部主持的科学技术成果鉴定（鉴字[教sh2007]第005号）；三是推广阶段（2007-至今），基于网络考核改革试点课程门数由2005年最初启动的6门，截止2012年秋季已经推广到了161门课程，其中有93门课程终结*考试都建设了题库。
（三）国家开放大学题库建设
教育部《关于同意在*广播电视大学基础上建立国家开放大学的批复（教发函
[2012]103号）》中明确提出：国家开放大学是教育部直属的，以现代信息技术为支撑，主要面向*开展远程开放教育的新型高等学校。国家开放大学区别于一般意义上的普通高等学校，虽然是在广播电视大学的基础上建立的，但在办学宗旨、目标和任务等诸方面也是区别于广播电视大学的。[1]《国家开放大学建设方案》将评价模式改革作为四大改革重点之一，并指出“以数字化学习资源为支撑，大力推进数字化试题库建设，支持随学随考，为学习者提供方便、快捷的个*化学习评价服务。”《国家中长期教育改革和发展规划纲要》中也对考试改革提出要求：完善国家考试科目试题库，探索有的科目一年多次考试的办法，探
索实行社会化考试。可见，题库建设已成为国家开放大学建设的必经之路。
国家开放大学题库应是一个集自测、形成*测评、终结*考试为一体的多功能试题库，具有用途广、标准多元、组卷策略复杂的特*。首先，在用途上，国家开放大学试题库区别于普通试题库，适用于自测、形成*测评、终结*考试三种用途；随着课程教学改革的需求，该题库也有可能用于学业能力水平鉴定及同等能力水平鉴定等。其次，在建设标准上，国家开放大学试题库建设标准更加凸显多元*，主张和鼓励根据课程*质和*学习特点选择多样化的测评方式，如100%形成*考核、100%终结*考试等。第三，在组卷策略上，国家开放大学试题库的组卷策略更为繁杂，组卷难度更高，一方面单次测评不能按照普通题库建设对试卷难度、覆盖率等要求制定组卷策略，另一方面又必须保证多次测评的总合符合普通题库建设对试卷难度、覆盖率等的要求。
二、质量要素
教育部考试中心柳博认为：“在题库系统中，试题是组成题库的基本元素，管理系统是题库的支撑体系，安全保密是题库的重要保障。”[2]他认为题库试题的质量标准为：试题内容的科学*，考试标准的准确*，参数设置的合理*，难度控制的稳定*，试题描述的规范*，引用素材的公平*。江西师范大学漆书青等教授在“八五”课题研究中提出博采经典测量理论和项目反应理论之长以提高题库质量的理念，主要是从四个方面来进行：第一，更新测验编制指导思想，突出对及格水平的准确考核；第二，采用项目反应理论参数定义，建立内容与题型结构合理的较大题库；第三，编制“一般”与“优化”两步组卷程序，力争计算机系统更具有广泛适应*；第四，探索优良教学方法，保证理论构想的完满实现。[3]笔者认为，题库建设包括目标、试题、试卷、组卷策略四大要素，题库质量应包括目标质量、试题质量、试卷质量和组卷策略质量。在结合上述观点的基础上，着眼于国家开放大学题库建设的实践效用，笔者提出题库质量的建设要素主要包括目标的吻合度、结构的适配*、组卷的有效*、试题的时效*四个方面。
（一）目标的吻合度，这是目标质量的要求
任何一次考试都有一定的测评目标，而测评目标又是一定的教学目标的转化，两者必须保持高度吻合，否则就会影响考试的信度。这一转化过程体现为双向细目表，即教学与测评两个维度的转化关系表。国家开放大学课程考核双向细目表相比一般课程细目表较为复杂，它呈现的不仅仅是教学内容与终结*考试的关系，更多的是呈现教学内容与自测、形成*测评和终结*考试三种方式的关系以及三种测评方式的内在关系。国家开放大学的考核目标更侧重于推进教学改革、督促学生学习、激发学习兴趣，最终实现以测导学、以评督学的功效，这样三种测评方式所选择的题型、题量、内容、难度等诸方面可能具有较大差异。
（二）结构的适配*，这是题库质量的要求
题库在形式上是由大量单个试题组成，在内容结构上应布局合理、前后呼应、属*齐备，它具体呈现为命题表。考虑组卷的高效，命题表应以学科最小知识点为单位进行命题，并明确标出各知识点命制试题的类型、题量、分数等。在总体布局上需要综合考虑教学大纲的教学要求，合理分布各章节知识点的命题比重，既要保证整体覆盖率，又要做到重点突出；在命制每道试题过程中，应严格按照双向细目标和命题表的要求进行命题，做到前后呼应；在处
理知识点之间试题关系过程中，要明确标出试题的互斥、包容、关联等属*，做到属*齐备。
（三）组卷的有效*，这是试卷质量的要求
国家开放大学构建题库的根本目的是满足随学随考的预约考试，这必然要求组卷策略是随机抽取的智能组卷。目前的组卷方法一般都是通过计算机预先在机器内随机组卷后，再分发进行测试，其主要弊端是限制题库的整体使用效益，制约题库更新频率。当题库更新或修改试题后，须重新预先组卷，造成数据处理浪费，不利于支持动态的题库内容更新机制。另外，组卷策略还要综合考虑试题曝光次数、试卷内容重复率、题库内容的休眠秩序等诸多因素，合理调配不同测评周期的使用量，提高题库使用的整体绩效。
（四）试题的时效*，这是试题质量的要求
首先，题库建设成一般至少要使用5-10年，甚至更长时间，由于教学内容是随着社会发展稳步更新的，特别是法律类课程更是具有很强的时事*，这就要求题库内容必须建立有动态的更新机制。其次，学生在答题过程中，会使用很多生活素材，很可能比题库中的试题素材更好，将那些优秀的素材吸纳进题库中也是保持题库内容时效*的重要方面。第三，题库在使用过程必然会出现沉积试题，对于使用频率极低的试题需要不断淘汰，否则，占用题库使用比例过大，会造成题库整体使用效率的降低。
三、技术模型
国家开放大学题库质量必须以技术为保证。在题库建设前期，需认真研读教学大纲的要求和目标，正确把握总体教学标准；根据教学大纲命制双向细目表，将教学内容和语言转化为测评内容和语言；根据测评目标，设计和布局题库结构，制定命题表。在题库建设中期，只须命制试题，从试题的内容、考核能力、难度、区分度、分数、时限、相互关系等诸多方面进行严格控制。在题库建设后期，需要定期或不定期地对题库使用情况进行统计分析，做好试题的修改、撤销和增加工作。由此可见，国家开放大学题库质量是一个联动的整体，题库建设中任何一个因素都可能影响题库建设的整体质量。
根据国家开放大学质量保证需求，笔者设计了一个质量保证技术模型图（见图1），笔者认为，题库建设全过程应为一个螺旋式上升的过程，而不是一个封闭的循环，建设后期并非题库建设的终点，而是另一个周期的起点。借助于模型命题、等值入库、动态联动、曝光预警四个主要技术关键点实现题库建设质量保证的总体控制。通过模型命题控制试题考核目标与教学目标的一致*，借助于等值入库保证所有试题的科学有效*，动态联动可以实现题库内试题内容的不断更新和充实，曝光预警则可以及时处理长期休眠的试题，保证题库的整体成效。在诸多影响因素中，笔者选取了设计模型命题、等值入库、动态联动、曝光预警四个技术关键点进行详细阐述。
（一）模型命题
国家开放大学考试需求量大、频率高，必须保证足够数量的试题。四川师范大学王建忠等采用组合优化方法研究了考试系统题库量与随机试题量的关系，得出的结论是：考试系统中题库量达到3000道，随机抽取100道试题组成试卷的重复率适当。[4]如何命制足够
量的试题？笔者认为，模型命题比较便于把握，对于客观题而言，应细化到最小知识点进行命题。对于情景式考核知识点，无论是客观题或主观题，采取固定命题模型，变换不同情景的方式进行命题。即按照双向细目表的要求，首先命制出适合命题要求的标准试题模型，再通过变动有关数据或条件来命制出诸多互斥*试题，这种做法在整体考核目标和难度上都能均衡控制，同时还控制了试卷的重复率。模型命题设计图（见图2），对于同一知识点规定标准试题包含指导语、题干、选项、*四个项目，指导语保持不变，通过改变题干中相应的情景、数据、人物、地点等因素，相应调整*，实现试题的改变，从而命制诸多等值试题。
（二）等值入库
对于大规模题量的命题，在试题入库环节需要进行等值处理。常见的做法是用锚试题作比较进行入库，即首先建立标准试题，再将新命制的试题进行测试，与标准锚题等值的试题归为一类进行入库，这样不断地扩大题库量。这种方法对题库建设的时间要求很长，况且每次测试时要求寻找同等水平的应试者，尽量避免直接在新应试考生中进行测试。开放大学题库在起步之初需求量很大，时间要求很紧，为了做到等值入库，我们严格将教学大纲与命题紧密结合起来，试卷难度结构依据教学大纲规定的教学难点所占比例进行调整，试卷分数结构依据教学大纲规定的重点掌握、掌握、了解的知识点比例进行设定和抽取，试卷的策略以双向细目表为主要参照依据。等值入库设计图（见图3），由教学大纲设定的教学要求一般按照重点掌握、掌握和了解三个层级进行划分，这三个层级的分数比例可以作为试卷分数比例对等设置，其知识点数量比例可以作为题库题量分布比例，其教学难度的分布比例可以作为试卷难易结构的比例。
（三）动态联动
试题库不是一次*建成不变的，需要不断地更新。题库的动态联动机制主要有三方面内涵：第一，试题素材联动。在题库使用过程中，定期或不定期进行学生*素材检索，由主持教师认真分析筛选出优秀的素材，进一步丰富和填充试题素材，也可以增加一些新素材的试题，这样题库会保持与时俱进的试题内容。第二，试题参数联动。在题库建设初期，所有试题的参数都是命题人员根据经验而定的预估值，在试题使用达到一定次数后，可通过计算机自动调整和更动试题参数，为下一次试卷抽取提供尽可能可靠的参数依据。第三，试题内容联动。在试题预估值和实测值之间设定一个差值，当这个差值达到一定数值后，说明试题命题人员对该题把握不当，需要命题人员更改试题。动态关联设计图（见图4），试题素材通过组合试题、入库、使用和实测后，一方面借助于实测统计数据可以比对试题入库的参数，如果实测参数与预估参数基本等同，即可调整参数，如果实测参数与预估参数差距很大，需要重新修改试题；另一方面，一道试题正式使用后，特别是主观*试题，学生在答题过程中会提供诸多新鲜的素材，通过收集考生的试题素材，可以重新命制试题，进而不断丰富和补充同类试题，实现试题内容上的及时更新。
（四）曝光预警
试题曝光次数是直接反映试题使用率的重要参数。在题库系统中，通过系统设置曝光期限值来管理试题，主要有两个方面；一是曝光高限值。当试题的曝光次数达到一定值后要求更换试题，形成一个题库不断更新的良*运行机制；二是曝光低限值。当试题的曝光
次数在一定使用期限低于一定值时要求淘汰试题，这样有利于保持题库内容的新颖*和题库的使用效益，有利于预防库存中沉积试题。曝光预警设计图（见图5），试题曝光属*分为使用次数和使用时间，根据试题使用时间设定不同等级的试题使用次数，要求计算机自动提醒更新、保留、淘汰试题，由命题人员进行相应调整。譬如，在一个学期内，某一试题使用达到n次以上要求更新该试题；在一个学期内，某一试题使用不足n次，该试题可以继续保留在题库中以供下次抽取使用；在两年内，某一试题使用次数达不到10次，说明这一试题有可能超出教学大纲范围，需要进行淘汰，避免造成题库中储存大量无用试题。
[参考文献]
[1]*广播电视大学“探索开放大学建设模式”试点项目[j].远程
开放教育建设方案，2011，（6）.
[2]柳博.题库的类型与质量控制探析[j].*考试，2009，（10）.
[3]漆书青，戴海琦，丁树良，谢旭升.博采两种测量理论之长努力
提高自考题库质量[j].江西师范大学学报（哲学社会科学版），
1997，30（1）.
[4]王建忠等.考试系统中题库量与试题量的关系研究[j].计算机应
用研究，2010，（2）.
收稿日期：2012－08－25
作者简介：刘玉侠，助理研究员，硕士研究生，*广播电视大学考试中心测评分析部主任（100039）。
胡星，助理研究员，硕士研究生，*广播电视大学考试中心副主任（100039）。
GRE考试数学部分的题型解析与解题技巧介绍2
下面针对GRE数学样题中出现的一些新题型作一个简单分析：
一、出现了无选项计算题，即要求考生根据题目条件直接计算*，而不能从已有选项中排除。这意味着对于考生解题思路的要求更高了，对于有些比较复杂的题目如果采取这种形式，考生将无法从选项中获得提示。
例：Theaverage(arithmeticmean)ofthe11numbersinalistis14.Iftheaverageof9ofthenumbersinthelistis9，whatistheaverageoftheother2numbers?(11个数的算术平均数是14。若其中9个数的算术平均数为9，则剩下的2个数的平均数是多少?
本题考察的是考生对算术平均值这一概念的认识。如果N个数的算术平均是X，则这N个数之和为NX。只要掌握了这一点对于那些考察算术平均值的题目就应该迎刃而解了。从这里我们也可以看出在改革后的GRE数学中，对于一些统计学数值(比如算术平均、极差、标准方差、中数等)的理解要求提高了。
二、出现了多项选择题，要求考生把所有符合题意的*都选出来。
由于GRE数学本身考察的数学知识并没有变难，所以这种题型仅仅是增加了考生思维的复杂*，并要求考生更加细心。
例：IntriangleABC，themeasureofangleAis25andthemeasureofangleBisgreaterthan90.WhichofthefollowingcouldbethemeasureofangleC?
Indicateallpossiblevalues.
A.12B.15C.45 D.50E.70
本题考察的是三角形的基本*质：内角和等于180度。由题意可知角A角B之和大于115度，由此可以得出A、B、C、D为正确*。
三、出现了判断题，即要求考生判断某一等式或某一命题的对与错。
例：Thesymbol?representsoneofthefouroperationsofaddition,subtraction，multiplication，anddivision，and3?1=3.
Foreachofthefollowingequations，indicatewhethertheequationmustbetrue，mustbefalse，orcouldbeeithertrueorfalse.
Equation
MustBeTrue
MustBeFalse
CouldBeTrueorFalse
6?2=3
6?2=4
6?2=12
Clickonyourchoices.
Clickontheanswerbox，thentypeinanumber.Backspacetoerase.
GRE中出现的非常规数学符号可以看成ETS自己定义的一种运算。本题中，符号“?”代表的是加减乘除四种四则运算中的某一种，而且3?1=3，由这些已知条件可以推出?可以是，也可以不是。接下来就考察考生对于mustbetrue、couldbetrue这类逻辑判断语言的理解了。Mustbetrue意为必然正确，在任何时候都不可违背;Couldbetrue意为可以正确，即存在正确的可能。
因此第一个等式6?2=3在?代表除时错误，但在?代表加、减、乘时正确，因此第一式应为couldbetrueorfalse有可能对也可能错;
第二个等式6?2=4不论?代表或都不正确，因此第二式应为mustbefalse一定错误;
第三个等式6?2=12在?代表乘时正确，但在?代表加、减、除时错误，因此第三式同第一式一样，也是有可能对也有可能错。
科目一考试题库分析3
C1科目一题库共1311道题，看着挺多挺吓人，其实分解开很容易掌握。题库主要有四部分组成；道路交通安全法规和规章（505题）、交通信号（363题）、安全行车文明驾驶基础知识（304题）、机动车驾驶*作相关基本知识（139题）。
1、法规和安全文明方面的题需要理解掌握。
有些是硬*规定，有些是行为习惯，有些是行车规范，大致都是我们日常生活中要遇到的情况，这部分题是就是告诉我们遇到这类问题时的处理方法。能把书上这些内容静心通读两遍（大概也就半天左右的时间）再练习练习做题就能掌握，考试时这方面基本不会失分。
2、交通信号。
交通信号主要是对一些交通标志标线、信号灯及交警手势的认识。这些内容我们平时经常见到，或多或少都知道一部分没有什么难度。但是有些容易记混淆和含糊不清，这就需要我们多看多记。我们可以去网上找一些交通标志大全，把它下载到手机里面，清闲没事的时候、或是等人等公交的时候、无聊的时候、甚至上厕所的时候拿出来看一两遍大概也就五六分钟的时间，时间久了自然能记清记牢（此方法适用于任何考试）。
3、机动车驾驶*作。
主要考察对机动车的了解和*作情况，介绍了车内一些开关、灯光信号组的使用，这是学车必备的知识，即使不考试我们也需要掌握。内容很简单，基本上看一两遍就能记的差不多了也就花费半个小时左右时间吧。然后就是多做练习题，加深印象。
