对Punti和Dingel对BIPOC学生跨文化发展清单有效性的批判的回应评论PuntiG.;DingelM.重新思考高等教育中的种族民族和跨文化能力评估教.docx

《对Punti和Dingel对BIPOC学生跨文化发展清单有效性的批判的回应评论PuntiG.;DingelM.重新思考高等教育中的种族民族和跨文化能力评估教.docx》由会员分享，可在线阅读，更多相关《对Punti和Dingel对BIPOC学生跨文化发展清单有效性的批判的回应评论PuntiG.;DingelM.重新思考高等教育中的种族民族和跨文化能力评估教.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、对Punti和Dingel对BIPOC学生跨文化开展清单有效性的批应。评论Punti, G.;Dingel, M.重新思考高等教育中的种族，民族和跨文化能力评估。教育科学抽象解决社会不平等和提高跨文化能力是21世纪的关键挑战。这项工作应以严谨的、有科学依据的研究、对该研究的准确解释以及 基于这种研究工作的完整性的政策和培训的实施为依据。跨文化开展清单（IDI）由于其心理测量的完整性，是一种用于在高等 教育中应对这些挑战的评估工具。IDI的心理测量完整性明确地位于教育和心理测试标准（2014年教育和心理测试标准）美国 教育研究协会AERA,美国心理学会APA和国家教育测量委员会NCME）。Pun

2、ti和Dingel断言，IDI对黑人，土著和有色人 种（BIPOC）大学生无效，因为它没有考虑到作为少数群体/族裔群体成员与种族主义和不平等的经历。令人不安的是，Punti 和Dingel的批评（1）是基于他们使用的与教育和心理测试标准不符的访谈方法，并且（2）忽视了支持IDI与BIPOC的跨文化 有效性的科学证据。关键字:断续器;跨文化开展清单;跨文化能力评估1 .引言Punti和Dingel （以下简称作者）批评跨文化开展清单（IDI）的有效性，特别是针对黑人，土著和有色人种（BIPOC）, 声称IDI不能推广到BIPOC,因为它没有考虑到作为少数群体/族裔群体成员与种族主义和不平等的经历

3、。在我的回答中，我将 说明（1） Punti和Dingel的访谈方法存在很大缺陷，他们的解释和结论是基于猜测和过度概括的；（2）作者的批评忽略了支持 IDI在218, 111名国际和国内多元化受访者中的跨文化有效性和可靠性的科学证据，以及对20, 015名受访者进行了额外的测 试，他们自称他们是少数民族成员，这说明了 IDI对BIPOC学生的有效性。2 .提交人的申诉Punti和Dingel声称，IDI尚未专门针对BIPOC进行验证，以考虑统计原理或访谈结果的三角测量。仅这一弱点就使人 对IDI结果产生了疑问，以及我们可以从这些结果中得出什么结论，对于BIPOC”1。我提供的证据说明，IDI的

4、验证是按照仪 器开发的心理测量标准进行的，并且在整个验证过程中以包括BIPOC观点和经验的方式使用了个人访谈和焦点小组访谈。作者还断言，“仔细阅读文献说明，IDI己经考虑到年龄，性别，教育和社会可取性，而不是种族，社会阶层或民族 我将回顾实证结果，这些发现说明IDI的验证证明了其在社会阶层/社会经济地位差异以及种族/民族差异方面的可推广性，而不 是个人作为少数民族的自我报告地位。Punti和Dingel进一步指出，“总而言之，IDI尚未在美国获得BIPOC的验证，这意味着BIPOC在种族不平等方面的经历 没有被纳入评估，这可能会导致以白人或欧洲为中心的偏见，淡化种族主义在这些个体日常生活中的作

5、用我将清楚地展示 在验证IDI时采用的众多心理测量协议，这些协议直接对抗白人或欧洲中心偏见。此外，作者认为，作为BIPOC的特征是与作 为少数民族相关的种族不平等和种族主义的经历。我将回顾心理测量学证据，这些证据说明IDI适用于在主流文化中经历过少数 民族的个人（20, 015名受访者），与主流文化受访者相比，作者在他们的批评中完全忽略了这一点。3.IDI验证的科学依据IDI的开发和验证基于美国教育研究协会，美国心理学协会和国家测量与教育委员会（以下简称标准）于2014年发布的 一套教育和心理测试标准2.这套标准是对抗偏见和支持心理测试开发和验证的黄金标准。如前所述，“标准的目的是为测试和 测

6、试实践的开发和评估提供标准，并为评估预期测试用途的测试分数解释的有效性提供指南”2。IDI己经过广泛而严格的验证协议，该协议与全球和国内不同社区的仪器开发标准一致，包括BIPOC3, 4, 5, 6, 7。 描述这些协议的已发布文章和技术报告可在上随时获得，该版本于2022年2月25日访问。由于篇幅 有限，我将重点介绍与IDI的有效性特别相关的验证协议和发现，以及BIPOC作为少数民族的经验，并提供社会经济地位/社会 阶层差异的测试结果。作者错误地声称，IDI尚未以考虑统计原理或访谈结果三角测量的方式专门针对BIP0C进行验证”1。这种说法有问题， 原因有很多。首先，20, 015名报告其身份

7、为少数民族的BIPOC受访者在较大的（218, 111名受访者）验证样本中都有代表。进行 了有针对性的验证测试，以使IDI对这些自我报告的少数民族受访者具有普遍性。还完成了按性别，年龄和教育水平/社会地位 对其他亚组进行的额外测试。还应当指出，150, 577名答卷人在教育部门，其余67, 534名答卷人在组织部门内，验证测试再 次包括两个子组，以及每个子组中的验证测试。其次，如下列图所示，定性个人访谈和焦点小组访谈被广泛用于验证IDI的适用性，并纳入BIPOC的不同经验和观点，这 些访谈协议与标准一致。第三，Punti和Dingel自己的访谈方法以及解释和结论的得出方式在标准中没有得到支持。

8、第四，作者错误地认为，他们的访谈方法代表了一种有效的方法，用于评估从简短访谈中提供的话语与受访者从IDI中确 定的开展取向之间的相似性或缺乏相似性。在本文的稍后局部，我将回到这个问题，即断言他们的访谈分析优先于IDI的科学衍 生的取向识别的谬误。4.作者访谈方法中不准确，无法与BIPOC 一起批评IDI的有效性Punti和Dingel没有试图审查支持IDI的有效性和可靠性的心理测量证据，或者特别是与BIPOC,尽管IDI, LLC使这些 证据透明且易于在其网站上访问（idiinventory ,于2022年2月25日访问）。作者没有记录在案的尝试，以标准推荐的访谈方法评估他们的访谈方法。这样做

9、将揭示（1）存在强有力的证据证实IDI对BIPOC的有效性，并且（2） Punti和Dingel的访谈策略不是测试 心理评估有效性的公认方法，包括IDI。更深入地研究Punti和Dingel的面试方法，可以发现以下几点：1. 作者报告说，他们自己对一年级大学生进行了 34次半结构化访谈，这些学生刚 刚在校园里完成了第一学期，并在大约两个月前到达时完成了 IDI。每次面试持 续30分钟至60分钟。访谈被记录下来并转录。然而，这34次采访并不是他们批评文章的样本1。也就是说，他们文章中使用的实际学生样本仅包括那些在IDI上否认 或极化的学生。鉴于他们关注的是BIPOC学生，实际上只分析了两名具有否

10、认取向的BIPOC学生的回答，只有两名BIPOC学 生在两极分化取向中进行了分析。由于未知原因而未分析的是10个BIPOC学生在最小化中的回答和4个BIPOC学生在接受 方面的回答。因此，他们对IDI不支持BIPOC的批评是基于对4名BIPOC确定的学生的采访！2. 虽然每位采访者都分析了 34份采访记录中的每一份，但每次采访都是由两位作 者根据对采访指南的回复独立编码的。Punti和Dingel的一个未经测试的核心 假设是，通过简单地向学生提出一系列有限的开放式问题，他们作为面试官和面 试记录编码员，能够准确地诊断学生对差异的潜在取向。为了确认这种假设的准确性，Punti和Dingel至少需

11、要证明可接受的评分者间可靠性水平，并说明他们用来控制的各种方 案，以便从他们的面试样本中对学生的开展取向进行不准确的诊断。Punti和Dingel没有采取这种评级者之间的可靠性，也没有 发现或实施任何对其解释和结论的有效性和准确性的威胁的控制。3.与从为评估/诊断个人能力水平而提供的访谈数据中得出的解释和结论特别相关 的一个重要因素是，在多个领域进行的研究结果一直说明，人们经常高估自己的 能力水平。因此，这被称为邓宁-克鲁格效应，这是一种认知偏差，人们通常认 为他们比实际能力更强8。在采访人们如何参与差异时，这项研究很重要，因为它指出了这样一个事实，即询问人们在差异方面的经验既不是确定他 们实

12、际上的跨文化能力的可靠或准确的策略。也就是说，向人们询问有关他们的观点，观点或经验的问题可以反映 Dunning-Kruger效应，而不是他们实际的跨文化能力水平（即开展取向）。尽管Punti和Dingel将受访者的话语解释为跨文化开展连续体的进一步取向，而不是IDI经验确定的取向（在这种情况下, 是否认或两极分化思维），但作者的解释更有可能反映邓宁-克鲁格效应。Punti和Dingel没有包括任何解决此类问题的协议。相比之下，IDI的验证协议确实会直接考虑这些信息。也就是说，IDI既衡量受访者的感知取向（他们认为他们参与差异的 取向）也测量被调查者的开展取向（他们实际参与差异的取向）。IDI

13、根据经验评估邓宁克鲁格效应的存在，将其作为感知取向 和开展取向之间的差距。4.对于从采访中收集到的话语的“意义”，还有其他令人信服的替代解释，而不是 Punti和Dingel所呈现的。例如，面试话语可以反映教授作为面试官的地位与 被面试者作为学生的地位之间的权力动态的影响，并且与学生对差异的取向完全 无关。学生们只是向教授们反映他们认为教授们想听的话吗？作者没有描述任何 解决此类问题的协议。相比之下，IDI通过测试社会可取性来经验性地控制诸如 此类的问题，发现这对受访者的分数没有显着影响。5.面试话语也可以反映这样一个事实，即学生在完成IDI两个月后接受了面试，并 且在大学校园的第一个学期，他

14、们住在远离家乡的地方，这可能是第一次。对于 一年级大学生来说，大学的第一学期体验通常是“差异化”的体验。例如，从出 国留学研究9中我们知道，这种“差异强烈”的经历可以显着改变学生的开展 取向（由IDI衡量）。作者没有包括任何协议来解释从他们到达校园的那一刻到 两个月后他们实际接受采访时可能发生的任何跨文化开展。在IDI完成时，IDI 在跨文化开展连续体（IDC）中对跨文化能力进行了有效和准确的衡量。鉴于搬 到陌生的大学环境的“差异很大”的经历，至少，作者可以在实际进行面试时将 IDI重新调整到他们的面试样本中。6.Punti和Dingel报告说，当面试记录的编码出现差异时，会进行讨论，直到达

15、成共识。这些差异是什么，差异出现的频率以及如何达成共识是没有说明的。没 有计算出评分者之间的可靠性统计数据，这本来可以提供作者所表现出的解释一 致性程度的基线衡量标准。同样，作者在他们的文章中没有包括任何协议来解决 这些问题。关键是，当通过作者的访谈协议收集话语时，人们不知道话语的含义是什么。认为Punti和Dingel对受访者开展取向的 这种无根据的诊断是有效的，并且优先于IDI的心理测量诊断是似是而非的。5.在IDI验证中使用访谈在这一点上，让我谈谈在使用访谈和BIPOC方面采用的具体IDI验证工作（应该指出的是，“标准”包括适当的访谈策略和 解释指南，这些策略和解释指南是在IDI验证中遵

16、循的）。使用访谈来讲述并捕捉国际和国内差异的独特经验，包括BIP0C3。 这些包括：访谈用于初步分析不同个体如何经历文化差异以及这些经历与跨文化开展连续体的基本理论框架的关系。在这些初步 访谈中，受访者和面试官的国内（美国;包括BIPOC）和国际视角和经验得到了表达。这些访谈的结果发现，跨文化 开展连续体为理解来自不同背景和社区的个人如何体验文化差异提供了一个丰富而准确的解释框架。访谈被用来生成不同个体的实际陈述，说明他们如何经历连续体的差异。这些访谈由文化多样化的团队转录和分析, 其中再次包括BIPOC。计算了评分员之间的可靠性，以确保在不同的面试官/评分员中始终如一地识别所捕获的陈述。这种

17、基于访谈的记录的使用导致了由一组不同的评分者编码的潜在工程池，其中生成的工程池没有反映我作为主要研 究人员的观点或可能的偏见（或权力差异）。换句言舌言兑，道些工程是基於ISP祭和阈内受者的不同而不是像作 者金音地断言的那檄，优於“一槿以白人或欧洲卷中心的偏见，淡化了不重族主羲在适些人的日常生活中的作用进行了屡次小组访谈，同样是与来自国际和国内不同社区的受访者进行的访谈，以确保每个陈述的含义在不同的观点 和不同的经历中都是相同的。由于这些焦点小组访谈，受访者解释不同的工程己从潜在工程池中删除。使用了专家小组审查方法，并进行了评分者间可靠性分析，以确保这些工程在广泛的国际和国内不同群体中具有可推

18、广性和类似理解。总体而言，广泛使用符合标准的访谈，以包括BIPOC在内的不同观点和经验的方式验证IDL6.IDI已在种族，社会阶层和民族方面得到验证作者声称IDI在种族，社会阶层或民族方面没有得到验证。“仔细阅读文献说明，IDI已经考虑到年龄，性别，教育和社会 可取性，而不是种族，社会阶层或民族而得到验证作者继续断言，“总而言之，IDI尚未在美国获得BIPOC的验证，这意 味着BIPOC在种族不平等方面的经验没有被纳入评估，这可能导致以白人或欧洲为中心的偏见，淡化种族主义在这些个体日常 生活中的作用”1。事实上，ACS Ventures是一家声誉卓著的仪器评估组织ACS Ventures于20

19、17年进行了多项与标准一致的分析，以完 成一系列额外的独立心理测量分析，以进一步调查IDI的工程和分数的表现（即，进一步测试IDI的跨文化有效性，包括围绕社 会阶层和受访者作为少数民族的经历的具体分析7。他们对IDI进行了详尽的测试，来自广泛的国家和国际文化社区的218, 111名IDI受访者。这包括67, 534名组织部门受访者和150, 577名教育部门受访者的样本。进行了关键变量比拟，检查IDI工程和规模是否因下面列出的每个维度而系统地变化，从而限制了 IDI的适用性以及是否 存在文化偏见。本研究中研究的关键变量直接适用于IDI对BIPOC少数群体的边缘化经历或社会阶层差异不敏感的说法：

20、（1） 确定受访者的IDI工程和规模分数（即感知取向和开展取向分数）在确定自己是其国家少数族裔的受访者（20, 015名受访者）或多数成员（81, 814名受访者）之间的显着差异。（2）按教育水平识别受访者IDI工程和量表分数的差异。在这种情况下， 教育水平被用作社会阶级差异的替代指标。这与研究结果一致，这些研究结果说明教育水平与社会经济地位之间存在非常高的 相关性。美国心理学会（APA）将教育水平确定为社会经济地位的可靠指标10。ACS Ventures独立研究的结果说明，具有少数民族或多数族裔地位的受访者之间的总分差异很小，并不重要。受教育程 度较高和受教育程度较低的受访者之间的差异（社会

21、阶层差异）揭示了类似的结果。这些结果从经验上支持这样的结论，即IDI 是对国际和国内跨文化能力的跨文化有效评估，并且可以推广到BIPOC。在性别、年龄和国家差异方面也获得了类似的支持。ACS Ventures进行的下一组分析侧重于差异工程功能（DIF）。在DIF分析中，将审查受访者在每个工程上的表现，以 评估该工程是否似乎不公平地偏袒一个群体而不是另一个群体。完成了 DIF分析，比拟了自认为是本国少数族裔/多数族裔的受 访者之间男女学生的表现，并基于教育水平。总体而言，这些发现没有按性别，种族多数/少数民族地位或教育水平/社会阶层确 定任何具有显着DIF的工程。这有力地支持了这样的结论，即ID

22、I不包含文化偏见，并且可以跨性别推广;广泛的国际和国内差 异，包括BIPOC;和社会经济地位。7.结论帮助我们教育机构和组织中的个人更有效地解决社会不平等问题并提高跨文化能力是21世纪最重要的挑战之一。至关重 要的是，这项工作应以严谨的、有科学依据的研究、对该研究的准确解释以及基于这种研究努力的完整性制定政策和培训为依 据。跨文化开展清单就是这样一种评估工具，正被用来追求公平、处理种族主义和建立跨文化能力。人们接受使用IDI的 一个原因是因为它的心理测量完整性以及他们自己在设计IDI指导的开展战略以实现多样性，公平性和包容性目标方面的成功。跨文化开展清单的有效性和可靠性从根本上位于教育和心理测试标准之内。所有基于标准制定的此类文书都成认，任何文 书的验证工作都是持续的，但以严格的标准为指导2。文化间开展清单就是这种情况。然而，Punti和Dingel的批评1, 声称IDI尚未通过BIPOC验证，是不支持的，误导性的，不可接受的。希望本答复的读者能够发现所提供的经验信息对他们自 己与IDI在解决社会不平等和建立跨文化能力方面的合作有用。