外文翻译--对程序课程的一个可靠的考试系统的评估电子版本.doc

Good is good, but better carries it.精益求精，善益求善。外文翻译-对程序课程的一个可靠的考试系统的评估-对程序课程的一个可靠的考试系统的评估一、摘要本文是我们对程序课程的一个可靠的考试系统的经验描述。我们简要描述这个系统的结构和把这个系统的真实测试状态的评估的结果呈现出来。一些细节因素从网上的学生和测试者中学习在响应时间和他们亲身体验的影响下，他们所采用的方法和考试形式是否自然性。二、介绍像有经验的程序课程教师，我们发现了使用程序课程传统考试形式的缺点。学生学程序是通过实验课的练习，但最后评估他们能力和考试成绩的却是采用纸和笔代替电脑。判断学生在个人生涯中不会不使用这种模式制作程序我们考虑到这不是个正确的方法。在大学的计算机科学系，每年大约有1000名学生在不同的教育性程序下教12门基础程序课程。这篇文章论述了程序课程在教育上的新的看法，能提供给任何程序语言、不同类型的学生和教育程序。这个想法是基于广大学生围绕不同考试形式的个人成绩，最有用和有效的反馈选择考试方式使用的考试形式的可靠性的基础准则。我们相信能通过把方法的选择和经过估价附加的效率相结合来改善我们学习程序的质量。特别的，我们相信它能把考试过程呈现得更加完美。一些年来，我们在一些试验性课程对学生们进行了广泛的计算机辅助考试的测试实验对这种类型的考试的一个可靠的考试形式。然而，这种考试形式因为计算机必要环境的支持不充分并没有预想的那样更加广泛的流传。去年，所有的学生和测试教师都连接到了一个新开发的可靠的考试系统AES。这个过程，经过通信和分级被环境支持。这篇文章我们描述了这个考试系统和对这个考试系统和其他一些有关的考试内容相比较的最初评价。这个课程的问题覆盖了Ada程序和被第一年和第二年的学生评价。在去年我们对AES进行了评估。这个仪器用来评估存在的一系列问题在通过对231个学生3个月和4次考试解决。在第1部分我们描述为什么我们提议考试的种类为编程的路线是最适当的并且与一些相关系统比较。第2部分包括考试系统的一个简要的技术描述，包括它的结构设计。在第3部分我们描述怎么计算机系统，那在网上处理考试过程，必须由在每条特殊路线设定的规则增添。第4部分在第5部分包括我们的评估方法和由评估结果跟随。第6部分结束本文。1考试形式每个考试方法有使它更或较不适当对一个特殊路线设置的具体特征。在当前考试系统的发展之前在我们的部门学习了可能的考试形式的范围的一条典型的编程路线。当考试几个方式可以被考虑作为有效的手段为改进的学会(即在家任务、口试跟随设计任务的等等)时，没有结合需要对于一个summative评估的许多考试类型以导致学会的不充分反馈。与我们当前教的很大数量的学生结合，一个理想的考试设置的设计是一项真实地富挑战性任务。工作在Dawson-Howe旁边是带领计算机支持进入编程任务评估和管理的过程。对自动化的考试系统的需要变得恰当。在90年代后期期间以出现距离和生活长学会。例如，在英国的函授大学有企图到交换学生任务和他们的(随后)更正由稽查通过MS-Word文件。然而，可利用的报告(即工作在Price和Petre旁边)在一次网上地道考试集中管理舒适为路线任务和分级，而不是师范反馈。几位作者近年来报告关于自动评估系统，主要集中系统和学生的结果的技术现状的介绍根据分级。当我们分享这些研究小组的志向并且进行相似的研究时，我们的焦点在正式评估怎样学生察觉考试环境。另外我们学习了怎么他们是受因素的影响的具体到地道考试，怎么系统性能和稽查的网上行为在学生影响被察觉的装载和其他这样方面。例如：学生帐户老师帐户检查考试处理传讯统计AES设计被划分成多排,客户排、中间排(包括一个或更多次级排)和后端排。分成设计入排允许我们选择适当的技术为一个特定情况。多技术可能甚而用于提供同一项服务用不同的情况。例如：HTML页、JSP页和独立应用程序可能所有用于客户排。客户排中间排后端排2.AES的技术描述AES使用J2EE平台开发，这代表一个唯一标准为实施和部署复杂企业应用。通过一个开放过程,J2EE被设计符合大范围企业应用程序要求,包括发行具体机制例如传讯系统、可测量性和模块化。客户根据模型看法控制器(MVC)应用建筑学,在应用之内分离功能的三个分明形式。（1）模型在应用在数据代表数据的结构，并且有特殊用途的操作。（2）看法访问数据从模型并且指定怎么应该提出那数据。看法在AES包括提供看法功能的独立应用程序。（3）控制器翻译对模型的用户动作并且选择根据用户首选项的适当的看法。AES被设计作为一套松散接合的模块，内部紧耦合。编组功能入模块提供综合化在合作的类之间，分离偶尔地互相提到的类。模块设计支持设计目标软件将是可再用的，每个模块有定义了模块的功能要求并且提供地方最新组分也许联合的一个接口，每一三排在设计的一个具体角色。客户排负责对提出数据对用户，互动与用户和沟通与系统的其他排。在这种情况下客户排是系统的唯一的部分可看见对用户。AES客户排包括与其他排联络，通过明确定义的接口的主要一个独立应用程序。根据JMS的一种针对消息的方法(Java传讯系统)被选择照料通信在客户排和中间排之间。中间排负责对所有处理介入的企业JavaBeans，企业JavaBeans是延伸服务器执行有特殊用途的功能的软件元件。这些组分和他们的容器之间的接口在企业JavaBeans规格被定义。他们包含的容器提供服务给企业JavaBeans事例。例如控制交易，处理的安全穿线或者合并和处理坚持，在其他高级系统任务中的其他资源。后端排是系统信息基础设施。这排包括可能是有用的一个或更多关系数据库管理系统和潜在地其他信息财产，即中央大学路线结果管理系统(LADOK)。EIS排也强制执行安全并且提供可测量性，后端排提供映射现有数据和软件的层数。应用资源到AES里设计用一个实施中立方式，系统被分离入五不同功能层数中的每一以它自己的责任和它自己的API。这些层数横跨三不同排完全被分裂。例如，提供机制必要永久地保存对象状态。它提供基本的CRUD(创造读更新删除)服务并且应付对象对关系映射的问题。这导致一个更加灵活和更加可维护的系统，即层数可以改变没有作用对其他层数，只要API依然是恒定。3.次考试设定考试系统只是考试过程的一份，第二个部分是设定(规则)我们有为学生。我们尝试了几个设定在一定数量的岁月期间(使用一个原型为系统5-6年)。3.1第一个设定第一个版本允许学生使用计算机写节目而不是写在纸。我们发现这个方法是改善,因为我们没有必须读“难认”文本，并且递交的解答可能之后被测试。等级根据正确地解决的锻炼的数量，一个问题与这个集合-是所有仍然分级必须完成,在完成了之后检查，大多学生在解答等待送直到高峰期检查。3.2第二个设定我们的意图将有考试,学生在几分钟内应该有一个反应从稽查,并且等级被给了学生的地方。当他们离开检查。我们在几分钟内也打算提供学生以得到反应的可能性为每锻炼，因此他们可能改正一种几乎正确解答。我们今天使用的第二个设定，根据正确地解决的锻炼的数字和需要的时间解决他们。给一定数量的最后期限。如果学生想要高等级他或她在一个被预先指定的期限之内必须解决一定数量的锻炼。3.2.1当前考试过程跟随三步：1. 学生送一个考试要求锻炼到稽查。2. 稽查能退回以下结果之一。通过-解答是正确的，残缺不全-解答有错误，并且必须改正，使新的企图后是可能的，出故障-解答是不正确的，并且学生不允许继续在这锻炼工作。3. 每考试企图和结果对期终考试等级将贡献，并且学生是消息灵通的他/她的当前成绩。如果学生在一另外的锻炼递交一个新的考试请求他或她可以到达高级。这个考试过程被建立入我们的当前AES，但规则(期限等)可以为分开的路线被改变。这使系统灵活，期限和分级，在这个系统被测试那里的路线是三锻炼在每检查，并且不同的成绩的要求是，为等级5(优秀)学生必须完成：（1）锻炼正确在3个小时或（2）锻炼正确在2个小时，为等级4(非常好)学生必须完成（3）锻炼正确在3个小时或（4）锻炼正确在1.5小时，为等级3(通过)学生必须完成（5）锻炼正确在4个小时。在检查期间，上述设定与AES支持一起提供我们机会分级学生。解决了一锻炼他们到达了的学生是消息灵通的等级。如果他们满意对那个等级他们可以离开检查(许多学生在一个到二个小时以后离开，当他们有等级4或5)时。3.2.2学生问题在普通的计算机辅助的检查，一定数量的问题由学生递交，答复可能或者被分类如个人或如感兴趣为所有学生。稽查能决定他或她是否将寄发答复到整体小组学生或到一名具体学生。问题的数量似乎是相对地恒定的在检查(大约每5分钟的2-5个问题期间)。在检查的起点期间，多数问题被送，可以解释用事实学生询问具体事关于锻炼，并且那里是更多学生在的开头部分检查。在普通的计算机辅助的检查我们有很大数量的考试请求从学生。我们在表3.1能看我们有一相对地高频率在期间从30分钟到3个小时。在那以后，大多学生离开(他们比时间)的3不可能以后得到高级。在最后期限附近我们能看考试尝试经常出现，但不更经常。但是，考试请求增量导致更多工作为稽查。这可能导致在响应时间(等待时间的增量为学生)。3.2.34个评估方法当前系统的发展在夏天开始了2001年并且通过冬天2001/2002继续了。当我们开始测试这个系统我们想要作为测试例子一条路线与很大数量的学生。我们的一门基础课在编程每年有大约270名学生，因此是我们的第一个选择。大约180这些学生是产业管理工程学学生，并且休息是技术生物学生。我们的统计根据他们的第一次考试在这条路线，在2002年3月发生。我们在这条路线也使用再拿检查做一项新的研究与新的套问题。这个评估在2002年5月完成。在这二项研究，学生直接地在检查以后填装了查询表，最后的查询表有二份。第一个部分是主要问题，答复以大方的本体格式，第二个部分包括问题以被称的答复(等级到五，不同意-同意，更坏-改善)，第一个部分用于三个评估，更加广泛的查询表与二份为最后评估仅使用了(即为二最后检查)。附录显示最后的查询表，查询表的两个类型是匿名的，并且查询表被填装了，在分级为检查之后完成。当他们填装了查询表，学生已经接受了他们的等级，我们相信这在学生边提供可观性措施。我们为检查也使用记录文件从AES得到统计趋向关于等级、性别、反应时间为问题各自认同企图在其他中(参见第5部分)。3.2.45个评估结果不幸地几乎所有学生没有早先经验与纸基于编程的考试，因此回复不可能为与那个考试形式的比较使用。然而，我们使用反应详细学习其他问题(特别地零件与时间有关或注重因素)。首先，在请求送的学生(问题或认同企图)和时期为反应多频繁多久是；第二，多么恰当考试系统由学生接受；第三个问题是比较由等级在性别之间。查询表的反应速度是相当好，我们有四检查在评估期间以下反应速度，检查66个学生(75.7%)检查4:18答复105个学生(82.8%)检查3:50答复112个学生(67.8%)检查2:87答复1:76答复22名学生(81.8%)。前三张查询表做了在第一个考试场合为学生，并且第四你在再拿考试做了，所有学生是学生没有等级从更加早期的检查。4. 事件在考试期间事件、问题和考试请求的数量，延长了4个小时考试会议可以是看的一有趣公尺的。在查询表被表明的主要消极因素是时间压力或重音的感觉。17%大方的本体答复有与这个因素的一些连接。从一个技术观点我们对发现也感兴趣系统的容量是充分的。所以我们在每检查总结了互作用的数量发生。我们能看问题的数量是高在的开头部分考试，但我们有问题事件在整考试时间期间。考试请求的数量是相对时间，有几个请求在第一半小时，并且那前二个小时为稽查是繁忙的。请求率相当高，当我们到达期限为等级时(特别是4个小时极限)。从一个技术观点系统性能在上述装载之下是充分的，要学习重音的学生经验由于等待时间我们计算等待答复到问题和各自考试请求的认同的平均。我们也看极端价值，它结果那为最短的回答的时间是30秒和最长的6分钟的问题。对应数字为认同企图分别为1分钟和10分钟。互作用的第一个类型采取了2分钟和42秒和第二个类型3分钟和31秒平均为一特殊检查。5. 学生反应，从查询表，在这时间是等待一分钟或是可接受的，二为一个答复在问题和那等待一个结果在考试请求的几分钟是顺利。基于这个看法我们认为，等待时间不是一个贡献的因素到学生体验的重音。采纳由学生学生反应表明了巨大支持为这个考试形式，退回查询表的94.5%学生更喜欢这个考试形式对传统纸和铅笔检查。许多大方的本体答复提到了考试形式是紧挨一个现实情景并且是正面的关于可能性编写和测试(94个这样的评论的一个总数)。在检查，关于考试形式的定量问题增加到查询表，16、17名学生回答说这个形式是离一个现实情况较近与其他考试形式比较。多数学生认为自己匿名的关于稽查在检查期间。6. 3等级比较(男性女性)我们在第一次考试在路线做了比较等级在学生的男性末端女性小组之间。我们使用正常化的数字，因此我们可以直接地比较图，等级为女性学生低于等级在平均为男性学生。我们是否是对公尺的此感兴趣发现考试形式是性别中立的，当它结果我们不可能总结这个结论。然而，一可能解说是在采取路线之前编程了的大多学生是男性。区别的另一个方面在等级上的可能是我们有二个不同小组学生在这条路线小组以女性学生(技术生物)一个大比例在他们期间，读路线在他们第一年期间，并且另一个小组读路线第二年。学生在第二该年可能有更好的研究习性并且是更加老练的和有更加理论的知识。第三个方面是小组以女性学生一个更高的比率只有这条编程的路线如强制在整体教育规划。另一个小组学生在这条路线有更多路线在之后编程并且是可能被刺激学习和到达高级，这个问题是明显的点为进一步研究6个结论和持续的工作。本文总结了早经验与一个地道考试系统为编程的路线。考试系统和考试设置的当前正式评估提供我们以一定数量的洞察在系统的有效率作为一个工具为学会和为评估。当初始评价是正面的并且指向往这个考试方法的成功为学生的多数时，输入从学生开放新的方向为研究和新的想法关于怎样改进环境。工作的前途是一个新的自动校正系统的综合化入我们的网上和离线学生评估和暴露环境在学生，特别地已经有纸和铅笔检查经验的那些的多数。AbstractThispaperdescribesourexperiencewithanauthenticexaminationsystemforprogrammingcourses.Webrieflydescribethearchitectureofthesystem,andpresentresultsofevaluatingthesysteminrealexaminationsituations.Someofthefactorsstudiedindetailaretheon-lineinteractionsbetweenthestudentsandexaminers,theresponsetimesandtheireffectsonthepressureexperiencedbystudent,theacceptanceofthemethodamongthestudents,andwhethertheexaminationformisgender-neutral.IntroductionAsexperiencedteachersinprogrammingcourseswehavenoticedthedrawbacksinthetraditionalexaminationformusedinprogrammingcourses.Thestudentslearntoprogramvialaboratoryexercises,butthefinalevaluationoftheirabilitiesandthegradingoftheexaminationareinaformthatusespaperandpeninsteadofcomputers.Consideringthatthestudentwillneverusethismodeforproducingaprogramthroughtheprofessionallife,weconsiderthistobenotasuitablemethod.AttheDepartmentofComputerScienceatLink?pingUniversity12fundamentalprogrammingcoursesforapproximately1000studentsindifferenteducationalprogramsaretaughtannually.Thispaperdealswithanewpedagogicalviewintheseprogrammingcourses,whichcanbeappliedtoanyprogramminglanguage,typeofstudentandeducationalprogram.Theideaisbasedonextensivestudiesarounddifferentexaminationforms,whereindividualgrading,efficientandusefulfeedbackandtheauthenticityoftheexaminationformareusedasbasiccriteriaforthechoiceofexaminationmethod.Webelievethatthechoiceofmethodtogetherwiththeaddedefficiencyintheassessmentprocessimprovesthequalityofourstudyprogrammes.Inparticular,webelievethatitwillchangetheexaminationprocessfromasummativetoanormativeassessmentoccasion1.Foranumberofyearswehaveexperimentedwithtestingthestudentsviacomputer-aidedexaminationsinsomepilotcourses-anauthenticexaminationformforthistypeofcourse.However,thisexaminationformhasnotbecomemorewidespreadduetoinsufficientsupportforthecomputerenvironmentnecessaryforthiskindofexamination.Duringthepastyearanewauthenticexaminationsystem(AES)hasbeendeveloped,whereallthestudentsandtheexaminingteachersareconnectedtothesamesystem.Theprocess,includingcommunicationandgrading,issupportedbythisenvironment.Inthispaperwedescribetheexaminationsystemandourinitialevaluationsofthissysteminanumberofrelativelylargeexaminationsessions.Thecoursesinquestioncovered.DuringthepastyearwehaveevaluatedtheAES.Theinstrumentsusedfortheevaluationconsistedofquestionnairesfilledby231studentsoveraperiodof3monthsand4examinations.Thepaperisorganisedasfollows.Insection1wedescribewhythetypeofexaminationweproposeisthemostappropriateforprogrammingcoursesandcomparetosomerelatedsystems.Section2includesabrieftechnicaldescriptionoftheexaminationsystems,includingitsarchitecturaldesign.Insection3wedescribehowthecomputersystem,thatmanagestheexaminationprocesson-line,hastobeaugmentedbyrulessetupineachparticularcourse.Section4coversourevaluationmethodsandisfollowedbyevaluationresultsinsection5.Section6concludesthepaper.1ExaminationformsEveryexaminationmethodhasspecificcharacteristicsthatmakeitmoreorlessappropriatetoaparticularcoursesetting.H?kanOswaldssonstudiedtherangeofpossibleexaminationformsforatypicalprogrammingcoursepriortothedevelopmentofthecurrentexaminationsysteminourdepartment5.Whileseveralmodesofexaminationcanbeconsideredaseffectivemeansforenhancedlearning(e.g.homeassignments,oralexaminationsfollowingadesignassignment,etc),therearenotmanyexaminationtypesthatcombinetheneedforasummativeassessment,withadequatefeedbacktoinducelearning.Combinedwiththelargenumberofstudentsthatwearecurrentlyteaching,designofanidealexaminationsettingisatrulychallengingtask.TheworkbyDawson-Howeisanearlyattempttobringcomputersupportintotheprocessofprogrammingassignmentevaluationandadministration2.Theneedforautomatedexaminationsystemshasbecomemorepertinentduringthelate90'swiththeadventofdistanceandlifelonglearning.Forexample,attheOpenUniversityinUKtherehavebeenattemptstoexchangestudentassignments,andtheir(subsequent)correctionandassessmentbyexaminersviaMSWorddocuments8.However,theavailablereports(e.g.theworkbyPriceandPetre)concentrateontheeaseofadministrationforcourseassignmentandgrading,ratherthanthepedagogicalfeedbackinanon-lineauthenticexamination.Inrecentyearsseveralauthorsreportonautomaticassessmentsystems,mostlyconcentratingonpresentationofthetechnicalaspectsofthesystemandtheresultsofthestudentsintermsofgrading4,5,7,8.Whilewesharetheaspirationoftheseresearchteamsandconductsimilarstudies,ourfocushasbeenontheformalevaluationofhowthestudentsperceivedtheexaminationenvironment.Inadditionwehavestudiedhowtheywereaffectedbyfactorsspecifictoauthenticexaminations,howthesystemperformanceandtheexaminers'on-linebehaviouraffectstheperceivedloadonthestudent,andothersuchaspects.StudentaccountsTeacheraccountsExamsExaminationProcessingMessagingStatisticsTheAESdesignisdividedintomultipletiers:theClienttier,theMiddletier(consistingofoneormoresub-tiers),andtheBackendtier(seefigure2.1).Partitioningthedesignintotiersallowsustochoosetheappropriatetechnologyforagivensituation.Multipletechnologiescanevenbeusedtoprovidethesameserviceindifferentsituations.Forexample,HTMLpages,JSPpages,andstand-aloneapplicationscanallbeusedintheclienttier.EnterpriseBeansMessageDrivenBeansClientTierMiddleTierBackendTier2TechnicaldescriptionoftheAESAEShasbeendevelopedusingtheJ2EEplatform.Thisrepresentsasinglestandardforimplementinganddeployingcomplexenterpriseapplications.Havingbeendesignedthroughanopenprocess,J2EEmeetsawiderangeofenterpriseapplicationrequirements,includingdistribution-specificmechanismssuchasmessagingsystem,scalabilityandmodularity.（1）TheclientsarebasedontheModel-View-Controller(MVC)applicationarchitecture,whichseparatesthreedistinctformsoffunctionalitywithintheapplication:（2）TheModelrepresentsthestructureofthedataintheapplication,aswellasapplication-specificoperationondata.（3）TheViewaccessesdatafromthemodelandspecifieshowthatdatashouldbepresented.ViewsintheAESconsistofstand-aloneapplicationsthatprovideviewfunctionality.（4）TheControllertranslatesuseractionsonthemodelandselectstheappropriateviewbasedonuserpreferences.TheAESisdesignedasasetoflooselycoupledmodules,whicharetightlycoupledinternally.Groupingfunctionalityintomodulesprovidesintegrationbetweenclassesthatcooperate,yetdecouplesclassesthatrefertoeachotheroccasionally.Modulardesignsupportsthedesigngoalthatsoftwarewillbereusable.Eachmodulehasaninterfacethatdefinesthemodule'sfunctionalrequirementsandprovidesaplacewherelatercomponentsmaybeintegrated.TheAESincludesmodulesfor:Eachofthethreetiersplaysaspecificroleinthedesign.TheClienttierisresponsibleforpresentingdatatotheuser,interactingwiththeuser,andcommunicatingwiththeothertiersofthesystem.InthiscasetheClienttieristheonlypartofthesystemvisibletotheuser.TheAESClienttierconsistsmainlyofastand-aloneapplicationthatcommunicateswiththeothertiersthroughwell-definedinterfaces.Amessage-orientedapproachbasedonJMS(JavaMessagingSystem)hasbeenchosentotakecareofthecommunicationbetweentheClienttierandtheMiddletier.TheMiddletierisresponsibleforanyprocessinginvolvingEnterpriseJavaBeans.EnterpriseJavaBeansaresoftwarecomponentsthatextendserverstoperformapplicationspecificfunctionality.TheinterfacebetweenthesecomponentsandtheircontainersisdefinedintheEnterpriseJavaBeansspecification.ThecontainersprovideservicestotheEnterpriseJavaBeansinstancestheycontain,suchascontrollingtransactions,managingsecurity,threadorotherresourcepooling,andhandlingpersistence,amongotherhigh-levelsystemtasks.TheBackendtieristhesysteminformationinfrastructure.Thistierincludesoneormorerelationaldatabasemanagementsystemsandpotentiallyotherinformationassetsthatcouldbeuseful,e.g.thecentraluniversitycourseresultsadministrationsystem(LADOK).TheEIStieralsoenforcessecurityandoffersscalability.TheBackendtierprovidesalayerofsoftwarethatmapsexistingdataandapplicationresourcesintothedesignofAESinanimplementation-neutralway.Thesystemisseparatedintofivedifferentfunctionallayers,eachwithitsownresponsibilitiesanditsownAPI.Theselayersarephysicallysplitacrossthethreedifferenttiers.Thepersistencelayer,forexample,providesthemechanismsnecessarytopermanentlysaveobjectstate.ItprovidesbasicCRUD(create,read,update,delete)servicesandalsodealswiththeobject-to-relationalmappingissues.Thisleadstoamoreflexibleandmaintainablesystem,e.g.layerscanbechangedwithnoeffectonotherlayers,aslongastheAPIremainsconstant.Examinationset-upTheexaminationsystemisonlyonepartoftheexaminationprocess.Thesecondpartistheset-up(therules)wehaveforthestudents.Wehavetriedafewset-upsoveranumberofyears(usingaprototypeforthesystemfor5-6years).Thefirstset-upThefirstversionallowedthestudentstowritetheprogramsusingacomputerinsteadofwritingonpaper.Wefoundthismet