教育科学研究的设计.ppt

教育科学研究的设计,教育科学研究设计,教育科学研究设计的内容 研究取样的设计 操作设计,教育科学研究设计的内容,教育科学研究设计的概念 基本任务：其一，选择、确定收集和分析研究数据的方式方法，保证研究采用的方式方法是合理的、可靠的和经济的；其二，构思、制定实现研究目的的操作程序和控制方案，保证研究是有效的、客观的和明确的。研究设计的核心内容是保证回答研究的问题和达到研究目的。,研究方式方法是合理的指针对一定的假设或研究内容，采用的方式方法能够满足检验、论证和解释研究内容所需要的功能和潜在条件 研究方式方法是可靠的指研究所采用的方式方法式是可以信赖的，可以重复的，即使换了他人来做同样的工作也能得到基本相同的结果。 研究方式方法是经济的指对经费、人力、物力、时间的整体考虑和精打细算，既要力所能及，又要以较少的投入争取最大的效益。,保证研究是有效的首先指研究所使用的变量之间存在着真实的确定的关系，这种关系可能是因果关系，也可能是相关关系。例如，教学方法和学习成绩、社会责任感和学习能力；其二是这种关系的想象和构思是科学的，源于理论的支持、实践的启发以及灵感的萌动，对关系中的变量进行适当的操作化定义，能够有效控制和检验。其三是对于这种关系的统计意义，采用的数学推论工具是否适宜和数据的质量是否达到需要的标准，以及样本容量是否合适；其四是研究结果的适用范围，教育科学研究必须保证有一定的适用范围，如果仅是对某一个人适用，对于教育科学研究来说其意义不大。,保证研究是客观的指研究的程序和控制必须要保证研究变量之间的影响能以真实关系发生变化，不能是虚构的、或随心所欲的，收集的数据是反映真实关系的、准确的。例如，以教学方法与学习成绩作为两个研究变量，学生的学习成绩除了受教学方法的影响外，还可能会因为请了专门家教进行个别辅导、受到某种社会或物质鼓励产生学习动机等多方面的影响，所以，必须设计相应的操作程序和控制方案保证反映的是教学方法与学习成绩的真实关系。保证研究是明确的指设计要使得研究所反映的关系能以比较突出和鲜明的形式表现出来，或者说，使得产生最大的反映关系量，同时，研究结果不能含糊不清或似是而非，而是以明白无误的、有说服力的、可靠的数据或材料表述出来。,教育科学研究设计的一般定义,.为实现以较少的人力、物力和时间获取客观、明确、可靠的研究结论，依据确定的研究项目，对研究方式方法、研究操作程序和控制方案进行周密、科学、完整地构思、确定、规划和表述。在这个定义中，前一部分是设计的目的，后一部分指研究设计的工作内容。,研究设计的功能,任何一项研究，人们总是想使有关的资源得到合理的分配和有效利用，并追求最大效益。研究设计如同一份工作蓝图，能够提供研究者符合逻辑的推理流程，突出研究工作的重点，指引研究者明确、顺利、经济地完成研究任务。研究设计不仅是一项规划，也是一种策略。事先严密的研究设计，有助于使研究具有一定的效度和信度。效度是指研究结果在回答课题提出的问题方面的正确程度，及研究结果反映事物间存在的因果关系或特征的真实程度。信度是指研究所得结果的可靠、精确与稳定程度。效度与信度的高低是研究自身价值高低的反映。没有效度、信度的研究是没有实际价值的研究，没有价值的研究是无意义的。任何具有高水平的研究工作依赖研究的客观性、系统性和科学性，涉及理论构思与科学方法、周密规划与严谨实施等诸多问题，不能是随意性的，需要进行研究设计。同时，研究设计本身是否科学、合理和完善，直接关系到研究的进程、代价，研究结论的可靠性、科学性等，所以，在进行教育科学研究之前，严密、审慎地做好研究设计工作是十分必要的。一个好的教育科学研究设计，对研究工作具有一定的保证作用，如同事物有了好的开头和发现了一条顺利达到目的的科学“捷径”，能够收到事半功倍的效果。,对前人研究工作的借鉴,研究设计作为一种策略考虑，首先要查阅有关的文献，分析、借鉴前人的研究工作，作为新研究或更深层次研究的条件，并对这样一些问题做出选择和决策：1） 在自然科学和社会科学研究中能否找到类似方法可借鉴？例如，是否有解决类似或相同问题的研究？即将研究的问题与其他领域的问题有哪些成分相似?2）过去的研究在解决此类问题上使用了哪些方法？ 这些方法的效果如何?例如，哪些可以借用、哪些可以修改、或替代?哪些部分需要增加或删掉？研究步骤能否减少? 研究中的变量能不能剔除或替换?3）可否从其它方面进行研究? 问题能否重新形式化? 如何变化才能更有效地达到目标？例如，哪些部分可以重新安排、推倒或重新组合? 时间顺序可否从新安排?能不能再增加一些条件、假设？有没有办法获得更高水平的资料，使资料与未知事实更接近，是否遗漏了一些资料?4）是否与他人讨论过，征求过他人的意见。,研究目标的设计,设计研究目标的依据是研究假设（或者说，研究的理论构思）。研究假设是一种理论构思，为验证假设，需要把它进一步转化分解成可以验证、可以操作和系统化的若干目标内容，即设计一定的研究目标。任何性质的研究假设（一定的假设）都可以化分成若干个相应的研究目标，不同的研究目标，所采用的研究类型也不同。例如，“进行两种不同的分数教学方法的教学对比实验”和“使用问卷方式调查学生对劳动技术课的态度”两项研究，由于其研究目标不同，因而在研究变量与指标、被试选择等方面也自然随之不同。同样，对于相关性的研究假设和因果性的研究假设，因其性质不同，需要设计不同的研究目标，用不同的研究方式加以验证。,一个好的研究目标设计，能够满足专门价值、研究实力、研究条件和研究兴趣四个方面的要求。专门价值是指它对假设证明的科学性、有效性、简明性和可重复性。研究实力涵盖三方面的内容：研究者的知识结构，包括知识的核心与边缘，可扩展的方向和可深化的层次；研究者的思维特征，包括思维品质特征和思维路线特征（演绎与归纳，积累与推测等）；科研的经验，包括运用各种研究方法的熟练程度和相关的经历。研究条件是实现研究目标所需要的人力物力的大致估计和简单的筹划。研究兴趣指研究者在理智选择的基础上，按兴趣进行第二次选择，属于一种情感上的选择。研究活动是一种较之其它实践活动更为需要发挥主体能动性、创造性的活动，选择了感兴趣的内容，必然能够使整个研究活动成为一种追求满足的过程，激发人的创造性思维。,研究目标直接关系到被试的选取、研究变量的确定，收集资料的具体方法与方式等的采用。例如，“使用新语文教学方法能提高学生写作成绩15个百分点”这样一个假设，其研究目标可以设计为“按照对比实验方法进行新旧教学方法的教学、纪录和测量”和“用统计方法分析测量数据，并用统计结论说明两种教学的效果”两项内容。根据研究目标可以界定、确认研究对象、研究变量，并选取相应的、具体的资料收集方式与方法等内容。因此，设计研究目标是选择假设证明方式和操作环节的前提条件。科学研究经验表明，假设最好以书面的、可以操作的形式对其进行陈述，而研究目标则必须是可以操作、可以检验（或测量）、可以重复的，并用书面形式简要说明。这样做的优点是：使研究者在思想上更明确，学术上更严密，并且帮助合作者或科研助手完整、深刻地了解研究课题，日后经过修改还可作为研究报告的前言。,研究方法的设计,教育科学研究方法可以按照方法中使用的手段分为四种基本类型，分别是：思辨、实证、数学方法、符号表述4类基本方法。在教育科学研究中，可供选择的搜集事实与数据的具体方法是多种多样的。,例如，实验室实验法、现场实验法、访谈法、观察法、问卷法、测验法、文献法等，每种方法又可以有不同的设计方式，或分成许多不同的类型，例如，实验法有真实验设计与准实验设计不同方式之分；观察法有时间取样和事件取样等不同的类型之分。各种具体的教育科学研究方法都有其优点、局限性和其特定的适用条件，同时，其各自的搜集事实资料与数据的形式、类型、设计方式也不尽相同。在研究方法设计时，应根据研究的目标，研究对象的特点(例如儿童与成人之间)、研究的主客观条件（如研究者的科研方法素养、研究的时间、人力、经费），各种方法的优缺点与适用条件，选用最适当的研究方法去解决研究课题所提出的具体问题。由于同一研究课题往往可以用多种方法搜集数据，而每种方法又有其优点与不足，因此，提倡在教育科学研究设计中，采用多种方法的综合运用，以相互取长补短，提高研究的整体信度、效度。在确定研究方法时，需要对以下四个方面的问题综合加以考虑：（1）研究被试的取样方法（明确研究的总体、样本的大小、取样的手段等）；（2）研究的控制方法（操纵、控制变量的方式，实验处理，仪器的配备和程序的安排等）；（3）收集研究资料的方法（确定测量指标、测定方法，设计量表，规定数据记录方式等）；（4）资料的统计分析方法（根据资料特征，选择数据量化处理和检验假设的方式）。,研究计划的设计,课题的表述 课题的意义 定义、限制和界定有关内容 相关文献的查阅和综述 假设 方法说明 时间表,课题的表述,题表述通常采用一个陈述性的表达，但也可以用疑问形式的表达。通过课题的表述，力图形成一个可操作的研究内容，以指导研究过程。它必须有足够的范围限制，以便得到一个确定的结论。外延大的表述可以统辖外延小的表述，课题领域并不是课题的表述，它们仅仅是可以从中选择课题的宽广的领域。做到这些并不困难，理论上的不同意见或学术观点的分歧总是普遍、客观存在的，根据理论或依据前人的研究成果都有助于发现某种陈述问题的方法，而且，个人的观察和经验通常也能够作为相关的基础。一个好的研究课题表述暗含着一个具体的答案或结论。,为说明表述课题的形式，提供一些例子：（1）上过幼儿园的儿童与没有上过幼儿园的儿童相比，在一年级可以取得更好的学习成绩。（2）学生参加中学竞技体育，会对其学习成绩造成不良影响。（3）种族隔离会对少数民族群体中儿童的自我形象带来不良后果吗?（4）意识到自己在参加实验，会刺激参加实验者的阅读成绩吗?这些课题的表述比信息的搜集包含更多的特定内容，它们提出一种答案或一个结论，并给研究活动提供一个聚焦点。,课题的意义,认真细致地归纳和表述研究的理论意义和应用价值，将有助于人们正确判断研究价值，使研究项目得到必要的支持。如果这一步做不好，就会给研究者留下一个没有意义的课题，只能去查找一些没有重要价值的资料数据。课题的意义主要表现在研究问题的科学价值上，所以应该在陈述科学性上下工夫，而不应该在表面上做文章、化精力。教育理论中有那么多空白，教育实践中又有那么多工作，应该尽可能避免在没有什么实际意义或理论意义的课题上，或对没有价值的尝试性或表面性研究上花费力量。,定义、限制和界定有关内容,给所有研究中的术语下定义，有助于研究，有些研究中的概念者应该用操作定义。例如“学习能力”这样一个概念比较抽象，不可能作为一种标准加以使用，如果用“10分钟内阅读完2万5千字的报告文学，并简述主要内容，错误率低于5%”作为“学习能力”的操作定义，由于使用可以观察到的行为内容进行定义，使研究更加明确和容易实施。,限制指的是研究者控制之外的可以对研究结论和应用到其他情境给予限制的某些条件。界定指的是对研究内容或范围等提出限定的界线。对研究内容和范围等提出限定的界限，同时指出其研究条件的限制，有助于对研究的理解。例如，对某一地区1012岁学生数学课程学习态度的研究，可以只涉及本区内一般家庭的五、六年级学生，当然，其研究对象或被试的选择范围就不应该扩展到其它地区（样本总体之外的范围）。由于行政管理上的原因，不能使用更多的班级做实验组，不能确定搜集资料手段的信度，不能进行随机取样和随机分组等限制都要予以说明。,相关文献的查阅和综述,总结概括公认的权威专著和以前的研究结果，能使研究者熟悉课题中哪些已知、哪些未知、哪些尚未检验。高效的研究是建立在过去的知识和研究经验基础上的，故这一步工作将有助于避免重复无用的研究，并向研究提供适当的、有意义的假设和建议。引用那些结论完全相同或相互之间存在矛盾的研究，有利于针对性地了解现有的理论、研究的背景和问题的现状。罗列一大串与课题有关的论文并不是都是有用的和适当的，只有那些相关的、确实有意义的和论述清楚的研究文献才应该在研究计划中引用。,在检索有关文献时，研究者应该注意这样一些重要内容：（1）与当前研究内容紧密相关的、已完成研究课题的报告；（2）研究设计情况（包括程序和资料搜集手段）；（3）选取的总体和使用的取样方法；（4）给予定义的变量；（5）可能影响研究结果的无关变量；（6）有可能加以避免的错误；（7）进一步研究的建议。阅读和分析已有的其它专业研究人员的文献综述，可以高效率地获得有益的观点和建议。但是，这类十分有用的集中介绍研究的综述性文章只能作为新的研究的基础或参考点，不能被用来替代自己的独立研究。一般来说，文献综述被划归为研究计划中的第四步，但是实际研究工作中，检索和阅读相关文献也经常是研究过程的首要步骤之一，存在交叉性。,假设,进行教育科学研究，通常要先形成一个恰当的假设，用来进一步明确课题的本质和启发研究的思路，并指导搜集资料的过程。一般意义上，好的假设具有这样的基本特征：（1）它应该是合理的、符合一定逻辑关系的；（2）它应该是与已知的事实或公理相一致的；（3）它应该用这样一种方式加以表达，即它可以被设计成某种方式进行检验，以判断其真伪性；（4）它应该尽可能用最简练的术语加以表达。研究假设是一种理性猜测或预感，或是对一个悬而未决的有意义的问题所作的尝试性回答，研究假设建立在前人研究或一定理论基础上，并容易进行它的证实或证伪工作。通常，研究的过程方法（即从资料搜集、资料分析到推出结果）也是一种证明假设的过程方法。,方法说明,通常，这一部分要重点说明两个内容：研究对象和研究程序。研究对象部分要简要说明研究的总体和研究者抽取样本的方法，确定总体中抽取的被试数量和取样方式。并对研究中的研究变量和设计的控制方法进行归纳和完善。根据研究的一般类型，常见的变量包括：年龄、年级、社会经济状况、性别、民族、智育（如果与平均数不同）、各科学业成绩水平等。程序部分主要包括采用的研究方法的种类、多少和研究安排。它详细说明做什么，如何做，需要哪些数据，运用哪些资料搜集手段和资料分析方法。这一部分的内容应尽量具体和详细，使阅读后能准确了解研究的具体内容和过程，不留疑点。,时间表,准备一个时间表，可以有效地预算研究的时间和内容。把项目划分为容易着手工作的部分，大致安排完成工作的时间，有利于系统安排工作，提高研究效率。研究项目的某些工作具有较严格的秩序性，要到其前面的工作完成后才能开始后续的工作。例如，在教育科学研究的进程中，有关文献综述部分通常在文献资料搜集过程之后完成并定稿。如果着手的研究项目十分复杂，可以用流程图或时间任务图来描述工作顺序。一些学术研究项目通常对完成研究报告有严格的时间限制和“死硬”的最后限期，因而，确定时间和目标的程序计划就显得甚为重要了。一些专门的研究项目和特定的专业研究课题，要求研究者及时向有关部门或学术权威提交阶段性报告。这种情况会增加研究者的工作量，但是也能帮助其进行阶段小节，并督促和帮助研究者有计划地进行工作。,研究取样的设计,取样的意义 取样的原则 取样的一般过程（程序） 取样的基本方法 样本大小的确定,取样的意义,依据取样理论，随机抽取的有代表性和足够多数量的样本，可以推论出总体的情况。取样设计的优势主要有四条：（1） 解决总体研究的困难。（2） 节省人力、时间、费用（3） 提高研究结果的准确性和深度。（4） 减少研究“污染”范围，保证以后研究的科学性。,取样的原则,取样的基本原则是随机性原则，所谓随机性原则，是指在进行抽样时，总体中每一个体是否被抽选的概率（即可能性）是完全均等的。由于随机抽样使每个个体有同等机会被抽取，因而有相当大的可能使样本保持和总体有相同的结构，或者说，具有最大的可能使总体的某些特征在样本中得以表现，从而保证由样本推论总体。此外，遵循随机性原则进行抽样，可以对抽样误差的范围进行预算或控制，使研究者能够客观地评价研究结果的精确度和按照所要求的精确度决定样本的容量大小。,取样的一般过程（程序）,完整的取样过程一般包括以下三个步骤：规定总体、选定抽样方法、确定样本容量并选取样本。,取样的基本方法,取样的方法很多，对不同的研究内容、研究条件，大都可以提供适合其需要的方法。本节介绍五种主要的随机取样方法：简单随机取样法、等距随机取样法、分层随机取样法、整群随机取样法、多段随机取样,样本大小的确定,样本容量的大小取决于许多因素，其中主要有以下三方面：1. 研究对象总体的性质。总体的大小及其分布的离散程序是决定样本大小的首要条件。一般来说，总体越大，相应需要的样本容量越大。总体的离散程度越大，相应需要的样本容量也越大。2. 研究目标、方法和研究者的经费、经验、时间、精力等主客观条件。例如，进行访谈法调查只能选取容量有限的研究样本。3. 研究结果的统计分析方法。一般情况下不小于30，这是根据样本分布的原理确定的。因素分析等多元统计方法，所需的样本容量一般为1020倍，最少不能少于5倍。若是为了检验误差和推论可能出现的错误的概率，需要用公式计算样本数目 (可参阅有关统计方面的书籍 ),操作设计,1.信度的概念 2.判定信度的方法 3.效度的概念 4.研究信度与研究效度的关系 5.研究变量的设计 6.研究指标的设计 7. 操作定义设计的基本方法 8.无关变量的两种影响,信度的概念,研究的信度是指研究所得事实、数据的一致性和稳定性程度。通常，研究的信度高低说明研究和研究结果是否可重复，是否具有前后一贯性，或研究的前后是否具有一致性以及研究能在多大程度上重复。所以，正确的教育科学研究的结果必定是稳定、一致的，否则便是不可信的。一个不可信的研究可比作一根“可伸缩的橡皮材料的尺子”，在重复研究时，会产生不同的研究结果。因此，研究结果的稳定性和一致性是保证研究科学性的重要先决条件。,研究的信度分为内在信度和外在信度。内在信度指在给定的相同条件下，资料收集、分析和解释能在多大程度上保持一致。例如，使用多个人收集的资料，内在信度的问题是：研究的材料收集人之间能达成一致吗？如果对学习者进行行为研究，使用课堂观察方法收集资料，内在信度的问题便是：两个或更多的观察者在看待同一学习者的表现时，能产生相同的看法和观点吗？观察者之间的协同程度如何？如果缺乏内在信度，资料仅是收集者个人意义上的一种看法，不能客观地反映真实发生的情况。外在信度涉及的是研究者能否在相同或相似的背景下重复同样的研究，如果能的话，那么结果是否总能够保持一致？如果研究者在相同方法、相同条件下可以多次得到与先前研究相同的结果，则该研究是可信的。如果反之，则说明外在信度差。,影响研究信度的随机因素主要有：被试方面的因素（有身心健康状况、动机、注意力、持久性、对待研究的态度等）、主试方面的因素（有不按规定程序实施研究、制造紧张气氛、给予特别关注、评判主观等）、研究设计方面的因素（有研究材料取样不当、问题陈述不清等）和研究实施方面的因素（有研究环境的各种难以控制的变化条件等），在教育科学研究中，提高研究的信度，就必须注意对上述各种因素的控制。要保证研究的信度，研究工具首先必须准确、可靠，即具有较高的信度。无论何种研究工具和仪器，如果其自身信度较低，就谈不上研究的信度的高低。当然，研究工具的信度高，并不一定能保证研究结果的信度高，因为研究结果的稳定性、一致性还会受到研究实施过程中各种因素的影响。,判定信度的方法,重复法采用相同条件、相同方法进行重复测量、重复研究（两次以上）的方法。考察研究能否被自己和他人重复进行？若能被重复进行，每次研究结果的一致性程度如何，能否取得相同结果？可以对研究过程、研究工具、研究结果的信度水平做出直观的判定。因此，它是判定研究信度的基本方法。相似法选择同质的、类似的或同类的研究活动，然后对这些活动的研究工作和研究结果进行分析比较，考察判断它们的一致性程度，以判定研究工具、研究过程和研究结果的可靠性的方法。实际上，由于种种原因，许多教育科学领域的具体研究活动没有被人们重复进行，在这种情况下，相似法（例如，将某一特定研究的结果与国内外同类研究的结果进行比较）被作为判定研究信度的一种常用方法。独立评判法这是对研究的操作者之间一致性的判定方法。让参与研究活动的多名研究者同时对某一研究工具或研究内容（例如，一组被试的行为、操作水平等各种表现）进行独立判断或评价，然后对评价结果的一致性程度进行分析比较，从而判定研究者之间是否一致性的方法。在观察法、问卷法、访谈法、测验法、实验法等研究方法进行的研究中，都可以使用此种方法评判观察者、评定者、或记分者之间的信度。,效度的概念,研究的信度和效度是教育科学研究设计中应该遵守的标准，也是评价研究设计乃至整个研究结果科学性水平和质量的标准。就整个研究而言，研究的效度是指研究在揭示所研究内容的本质或其规律方面的准确、客观、科学程度，或者说研究结果符合客观实际的程度。研究必须有效才有意义，所以，教育科学研究设计要以研究的效度为前提，并作为评价研究设计与结果的基本标准。,内部效度,研究的内部效度是指在研究的自变量与因变量之间存在一定关系的明确程度。如果自变量和因变量之间关系并不会由于其它变量的存在受到影响，从而变得模糊不清或复杂化，那么这项研究就具有内部效度。它所涉及的问题是：（1）所研究的两个或多个变量之间是否存在一定的关系？（2）是否确实是自变量的变化引起了因变量的变化？ 研究设计要对可能涉及的各种变量进行有效的控制与消除，使与研究目标无关的变量对研究结果的影响很小或没有影响，因而，研究变量之间（如自变量与因变量之间）的关系是确定的和真实的，意味着一项研究的内部效度高。,影响内部效度的因素,影响内部效度的因素归纳起来，主要有历史、研究被试、研究手段方法和程序、统计回归效应四方面因素。内部效度的条件研究的内部效度不会自动形成。内部效度的获得，主要是通过研究设计，认真细致地选择变量，切实控制好各种变量，保证研究变量之间的确定关系，消除与研究目标无关的变量对研究结果的影响。上述4种方面的因素，都是在研究中应特别注意控制的，最有效的途径是采用随机化程序。对于教育科学研究的各种具体情况（例如不同的研究活动），影响内部效度的因素种类、数量、作用大小会有一定的差别，应该根据具体情况加以分析、预估、识别、并采取适当措施予以控制或消除，以提高研究的内部效度。,外部效度,研究的外部效度是指研究结果能够一般化和普遍适用到样本来自的总体和到其它的总体中的程度，即研究结果和变量条件、时间和背景的代表性和普遍适用性。外部效度可以细分为总体效度和生态效度两类。总体效度指研究结果能够适应于研究样本来自的总体的程度与能力，或说对总体的普遍意义。要使研究结果适用于总体，就必须从总体中随机选取样本，使样本对总体具有代表性。如果研究所选样本有偏差或数量太小，不足以代表总体，其结果就难以对总体特征进行概括。生态效度是指研究结果可以被概括化和适应于其它研究条件和情景的程度和能力。要使研究结果能够适用于其它研究条件和情景（例如，自变量与因变量、研究程序、研究背景、研究时间和研究者等方面的不同），就必须特别设计研究条件与情景，保证对其它条件、情景有代表性。,一般认为，内部效度是外部效度的必要条件，但不是充分条件。内部效度低的研究结果就谈不上对其它情景的普遍意义；可是内部效度高的研究，其结果却不一定能够一般化到其它总体和背景中去。教育科学研究的重要意义是要发现教育活动的普遍规律，指导教育工作的开展。因此，提高研究结果的外部效度十分重要。一项研究的内部效度再高，如果其结果仅适应于特定的范围，特定的测量工具、特定研究程序和特定的研究条件等，那么，从获取一般知识和揭示普遍规律的角度来看，其价值、意义不大。因此，研究的外部效度与内部效度在重要性上毫不逊色。影响外部效度的因素主要有4个方面：研究被试方面、变量的定义和测试方面、研究手段和程序方面、实验者方面。外部效度的条件上述4方面因素，有时单独存在，有时同时存在若干方面的影响。要提高研究的外部效度，必须注意在研究中消除和控制上述各种影响因素。外部效度的要求是研究能够符合客观情况，适用于更大的总体。其中，关键的一环就是做好取样工作。取样工作不但包括被试的取样，而且也包括有代表性的研究背景（工作场所、学校、家庭、实验室）、研究工具、研究程序和时间等的选择。取样的背景与实际情景越接近，研究结果的可用性、适用性、推广性就越强。一般来说，随机取样，提高模拟现实情景的程度，采用多种相关的研究方法，变化研究条件寻求具有普遍意义的结论，是获得外部效度、提高研究结果可应用性的重要条件。,统计结论效度,统计结论效度是关于研究的数据分析处理程序的效度检验，或者说，它是检验研究结果的数据分析程序与方法的有效性的指标。统计结论效度的基本问题是研究误差、变异来源与如何适当地运用统计显著性检验，它不涉及系统性偏差的来源问题，而是研究误差变异情况和如何适当运用统计显著性检验的问题。例如，采用小样本的研究数据时，由于样本成份与测量数据都波动比较大，稳定性差，如果依赖统计显著性水平做出推论是不可靠的。在这种情况下，应该运用功效分析（power analysis），看看一定的样本范围、变异程度和水平上能够检验出多大的效应。这就是统计结论效度所考虑的问题。 影响统计效度的因素主要有方面：统计功效低、违反统计方法的使用条件、测量信度低。研究的统计结论效度主要取决于两个方面的条件：一是数据的质量，数据分析程序的效度是以数据的质量作为基础的，数据质量差的研究是谈不上统计结论效度的；二是统计检验方法，数据分析中所采用的各种统计方法，都有其明确的统计检验条件的要求，一项研究中统计检验条件不明确或者被违反，就会显著降低统计结论效度。,构思效度,研究的构思效度是指理论构思或假设的合理性、科学性，及其转换为研究目标的恰当程度和可操作性。它涉及建立研究方案和测量指标的理论构思（或观察指标的理论设想）及其操作化等方面的问题，即理论构思及其转换的有效性。为了使研究具有较高的构思效度，研究的理论构思首先要结构严谨、层次分明，形成某种“构思网络”，其次对研究内容做出严格的抽象与操作性定义（如针对研究构思的特点，给予明确的操作定义）。影响构思效度的因素主要有3方面：研究构思方面、研究手段和程序方面、实验者的主观期望和被试者对研究的猜测。,使研究具有较高的构思效度，应该满足以下4个条件：（1）理论构思要结构严谨、符合逻辑、层次分明，形成某种“构思网络”。例如，将儿童的自我意识发展分为自我认识、自我体验和自我控制三方面，而自我认识进一步细分为对生理自我的认识、对心理自我的认识和对社会自我的认识。这样的理论构思，就比较严谨、完整，有层次，并且形成一种“网络”，便于理解和研究。（2）清晰、准确的界定研究的环境条件和变量。例如，“小学五年级学生发散思维问题研究”这样一个课题，对研究被试的年龄段，生理智力发展，学习、生活、社会环境等需要明确界定范围，用文字和语言两种形式完整、准确地表述研究变量。（3）对研究变量做出准确、严格的操作定义，并选择对应、客观的观测指标。（4）避免采用单一方法或单一指标去代表或分析多维的、多层次的、多侧面的事物和活动，尽可能采用多种方法、多种指标，从不同角度分析研究相同的理论构思。教育科学研究常常包含着复杂的、多维度的理论构思，如何提高研究的构思效度是进行研究设计时需要加以特别重视的问题，也是提高教育科学研究水平的重要内容。,研究信度与研究效度的关系,信度和效度是任何一种教育科学研究的两个相互关联的重要标准。信度是研究结果所显示的一致性、稳定性程度，也是对研究结果一致性和稳定性的评价标准。一个具有信度的研究程序，不论其过程是由谁操作，或进行多少次同样的操作，其结果总是非常一致的。效度是一个研究程序的性质和功能，也是对研究结果正确性的评价标准，一个有效度的研究程序，不仅能够明确地回答研究的问题和解释研究结果，而且能够保证研究结果在一定规模的领域中推广。把两者的作用结合起来看，信度和效度是一项教育科学研究的活动和结果具有科学价值和意义的保证。研究的信度是研究的效度的一个必要的前提，没有信度，效度不可能单独存在，也就是说，一项研究不可能没有信度却具有效度。,信度对于效度是必要条件，但不是充分条件，有信度不保证一定有效度，一个可靠的研究程序并不证明内容一定有效，而一个有效度的研究一定是一个有信度的研究。有效度必定有信度，效度高信度必定也高，因为不可能存在唯有效度而没有信度的情况。信度是为效度服务的，因而效度是信度的目的；效度不能脱离信度单独存在，所以信度是效度的基础。它们的关系如图所示：,明确研究变量、拟定具体的研究指标、选择指标的测量水平，直接关系到研究的信度、内部效度和外部效度，需要在进行研究设计时予以认真、周密的考虑和采取相应的措施,研究变量的设计,选择、确定研究变量的工作，主要包括以下几个方面：第一，分析、确定研究的变量的性质和特点。例如，通过分析，确定研究变量之间是因果关系还是相关关系？它们分别是主体变量还是客体变量？是直接测量变量还是间接测量变量？等等。第二，辨明无关变量。明确研究变量的过程也是辨明无关变量的过程。对于无关变量，不仅要认真分析，考虑哪些无变量可能对研究结果无影响？哪些可能有影响？而且对那些有影响的，还需要考虑如何在研究过程中加以控制的措施。第三，确定研究变量的数目。不同的教育科学研究所含的变量数目是不同的，一般来说，问卷法、观察法、访谈法所探讨的变量数目比实验研究的多。但是，即使在实验研究中，也包含了多种变量和有关的因素。选择研究变量时，需要根据研究目标和研究条件，客观地确定研究变量的数目，并列出研究变量表。第四，考虑变量的测量水平。研究变量的测量可在不同水平进行。对于不同的研究变量，其测量水平可能是不同的。有的在多级水平上进行测量，有的却只能在某一水平上进行测量。考虑研究变量的测量水平，应该将研究变量的性质、可以选用的测量工具的性质、拟采用的分析数据的统计方法等结合作整体的考虑。,研究指标的设计,设计研究指标应当注意遵循下述原则：以理论假设为指导设计研究指标，收集有关数据与资料，目的在于检验研究提出的理论假设，因此，研究指标必须支持理论假设的内容。在研究中，应当重视理论对设计研究指标的指导作用，克服主观、随意罗列指标的作法。指标设计工作常采用演绎方法，由理论假设到研究目标，从研究目标到研究变量，再由研究变量到研究指标。研究指标设计的过程，实际上是一个由“研究假设研究目标研究变量研究指标”的分解过程。设计时，应首先明确理论构思与假设，然后确定研究目标，弄清所涉及的各种研究变量，最后根据这些变量的客观要求，来制定收集实际数据与资料的指标。并由此构成一个有内在逻辑联系的、完整的研究指标体系。,完整性在教育科学研究中，设计研究指标时，要注意使指标能全面、完整地反映理论假设与研究变量的主要维度。比如，用自陈问卷法了解被试自尊心的强弱，所选的几个指标（即项目）应当能较全面地代表研究对象在实际生活中自尊心的一般、典型、有代表性的表现情况。了解学习环境或状况，所设计项目应当能反映实际学习环境的各种状况。贯彻整性原则的方法是，注意从理论和实际两个方面分析研究变量的各个测量维度，检查所设计指标是否具有完备性、互斥性，保证既完备无残缺、没有遗漏，又不互相交叉、不互相重复。简明、可行性研究指标不是越多越好，更不是越复杂越好。复杂、繁多的研究指标，不但增加数据收集与分析的工作量，而且还可能影响研究完成的质量。在设计研究指标时，应尽可能删去一切不必要的多余指标，注意使研究指标简化。在实际研究过程中，所设计指标的可行性，是特别需要考虑的问题。有的研究指标虽然简单、明了，但被试由于种种原因可能不知道如何准确回答，或不愿意如实回答。在这种情况下如强求被试回答，所得结果可能是不真实的。在实际研究工作中，研究者可通过理论分析、自己或他人以前的有关研究、日常生活经验、预试等方法来制定所设计的研究指标的可行性。使用操作定义使用操作定义明确的表述研究指标，保证它能够被观察、测量和重复操作。,操作定义设计的基本方法,（1）方法与程序描述法。在教育科学研究中，特别是在实验研究研究中，研究者常常要采用一定方法或程序去引起拟研究现象或状态的发生。如通过一定方法或程序使被试产生挫折、紧张、焦虑状态。在这种情况下，设计操作定义的关键不是对挫折、紧张、焦虑等心理状态本身做出描述，而是要创造或找到一种能引起上述状态的特定方法或程序。也就是说，按照特定方法或程序去操作，就可以保证某种拟研究现象或状态的产生和存在。（2）动态特征描述法。动态特征描述法是通过描述客体或事物所具有的动态特征，来给变量下操作定义的一种方法。在教育科学研究中，作为主要研究对象的人，具有许许多多的动态特征，并通过行为客观地表现出来，因此，动态特征描述法在设计操作定义时应用得比较普通。在研究师生关系时，要回答“学生是喜爱命令型教师，还是喜欢非命令型教师”的问题，就需要用动态特征描述法给“命令型教师”与“非命令型教师”两个概念做出明确的操作定义，具体说明这两种类型的教师在实际教育工作中的各种行为表现。（3）静态特征描述法。静态特征描述法是通过描述客体或事物所具有的静态特征，来给“变量”下操作定义的一种方法。在教育科学研究中，研究者常采用静态特征描述法，通过描述客体或事物的静态构造性质、内在品质和特征等，来给变量下操作定义。该方法与动态特征描述法的区别在于，动态特征描述法主要描述客体或事物所具有的能动的、动态的行为表现，侧重过程，而静态特征描述法则主要描述客体或事物所已经具备的静态特征和内在性质，侧重结果。静态特征描述法适用于采用问卷、测验等方法进行的研究中，可以用来定义各种类型的变量。许多测验量表、研究问卷中的具体问题、项目的陈述，都是按照这种方法设计的。,无关变量的两种影响,无关变量可以引起“研究结果不准确、研究结果的不一致”，二者通称为研究误差。误差分为随机误差和系统误差。随机误差又叫可变误差，是由偶然、随机的无关变量引起的。因为，其方向和大小的变化完全是随机的、无规律的，所以，较难以控制。它可以造成对同一事物、现象或特征的多次测量与研究的结果不一致。随机误差同时影响研究结果的准确性和研究结果的一致性，所以，既影响研究的效度，又影响信度。系统误差又叫常定误差，是由常定的、有规律的无关变量引起的。它稳定地存在于每一次测量和研究结果之中，它可以造成对同一事物、现象或特征的多次测量与研究的结果虽然一致，但是却不准确，其方向和大小的变化是恒定而有规律的。系统误差只影响研究结果的准确性，但不影响研究结果的一致性，所以，只影响研究的效度，但不影响信度。,控制无关变量的方法,控制无关变量的方法，主要有三种：消除法恒定法平衡法。,