用于评估放射性废物储存库的数值模型的实用验证：一个视角.docx

《用于评估放射性废物储存库的数值模型的实用验证：一个视角.docx》由会员分享，可在线阅读，更多相关《用于评估放射性废物储存库的数值模型的实用验证：一个视角.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、用于评估放射性废物储存库的数值模型的实用验证：一个视角抽象放射性废物处理库的平安案例在很大程度上依赖于通过评估工程和天然屏隙系统长期性能的数值模型获得的结果，鉴于垂要的 工程和公共政策决策基于这些模型,我们必须批判性地评估它们的能力和局限性.从而证明我们对从建模中得出的推论的信心 水平是合理的，在本文中，我们将讨论围绕建模者尝试测试、证实、确认和验证数值模型的一些何题，此过程有时称为模型验 证.通过首先检查其在科学哲学和假设检验中的深厚根基来接近这个广泛的主题。然而,将这些原那么应用于放射性废物隔离需 要一种更务实的方法，其越圉更窄，即证实特定地点的模型及其对特定目的的有用性。我们专注于验证水

2、文地质模型的实际方 面，这些模型用于了解存储库系统的演变。我们将证明，负货任地使用数值模型需要充分了解模拟结果的质量和稳健性，这直 接影响到如何解绛这些结果.以及如何（或不能）使用它们来支持重要的政策决策。关键字:实用模型验证;平安评估;放射性废物隔离;模拟1.引言评估处置放射性废物的地质处置库的绩效是一项复杂的工作.要检查的系统由与工程组件相互作用的各种白然特征组成. 必须考虑多种物理、化学、生物和热过程的耦合，因为它们可能影响放射性核素从废物罐的择放，以及它们通过工程屏障系统 和地圈运输到可进入的环境。与平安相关的特征和过程延伸到广泛的空间尺度一从分子到位点再到区域尺度。此外,它们 包括短

3、期事件以及随地质时代演变的过程。由于空间和时间尺度的这种广泛的范围，以及存储库将建在地卜.深处，理想情况卜 将场地的扰动降至最低，因此iT多属性无法用高分辨率测量。数值建模是我们了解处置系统演变及我可能对人类和环境构成的风险的重要工具,基于既定的物理原理以及相关的站点表 征数据，特定于站点的模型可以深入了解许多链接蛆件和耦合流程之间的交互及其对存储库行为的影响。它还允许人们计算无 法直接观察到的变量，预测存储库系统的演变，并检查替代或不太可能的情况.据了解.模拟结果和关丁暴就风险的推断陈述 （或任何其他性能指标）本质上是不确定的;这种不确定性必须得到适当的管理，并传达给决策者、利益相关者和公众

4、。成认任何存储库性能估计中的不确定性自然会导致这样一个问题.即我们对模型结果的信心是否有足够的基础,以及需要 提供哪些证据来支持可以依赖特定模型来做出重要设计，工程或公共政策决策的断言。为了解决这个问题，这样的模型应该经 历一个称为“模型验证”的正式过程。在这方面使用的其他术语包括1核实、11核实、t证实”、“确认”和“建立信任”等用语。这些术 语通常放在引号中，以说明它们不是字面意义上的意思，因为它们暗示模型对物理系统的绝对直理做出了明确的陈述.我们省 略了引号，因为本次讨论的目的是在描述绩效评估研究中使用的模型的质城时澄清这些术语的含义和局限性（我们同意作苕的 说法，即术语“峻证可能具有误

5、导性，应怦换为更中性的术语，例如“评估”）.然而，虽然“模型评估可能更可取，但现有的建 模从业者文献和指南几乎完全使用术语1验证工因此，我们继续使用这一既定术语，也是为了说明本文中提出的“务实模型验证” 概念试图解决目前在核废料隔离背景下讨论的验证问题）。国际原子能机构（IAEA） 1提供的模型验证的一个经常被引用的定义是：“树燧阻”通过符模型的臻涵与对其实系统的 观察结果进行比较,确定模型是否充分表示被建模的真实系统的过旌.此定义不仅声明r模型验证的主要目的是什么,而且还 明确说明了应使用哪种方法。验证的其他定义在它们所包含的关键要素上是相当一致的，包括：（a）模型与实际系统之间的关 系；（

6、b）模里与实际系统之间的关系；（c）模型与实际系统之间的关系。（b）需要对模型预测和测量:数据进行比较；（c）该 模式的适用范圉有限；（d）不确定性址化的重要性.一些定义强调一个方面而不是另一个方面，或者对需要提出以满足验证验收 标准的证据或多或少具有规定性。本文介绍了我们在放射性货物管理高度监管环境中用丁决策支持的定量评估背毙下模型验证的实用性的观点。我们首先简 要回顾了讨论的哲学根源和一些批判性评论（第2节）,然后，我们强调仔细模型评估的必要性（第3节），并概述了务实模 模型目的的定义：务实的模型评估的目的是确定模型是否足以到达目的：模型是否对手头问题的解决做出了有价值的 贡献？必须明确指

7、定模笈目的，因为它决定了关徙评估的基准、标准和验收标准。关键方面确实定：出实用性、有效性和效率的原因，必须确定模型的哪些方面需要特别注意，因此褥变有针对性的 审查和测试工作.这些方面可徙特定于预期用途，并且是对关键模型结果影响最大的方面.此外，模型评估应他或于 不确定的方面子噪，或者建模人员对其在模型中的正确或准确表示缺乏信心的方面。绩效指标和标准的定义：为了能够评估模型是否适合目的.需要定义适当的性能措施和躲收标准.它们必须可由模型 直接计算或从建模结果间接推断。好关键的是，它们必须与最终用途相关。用于模型评估的信息、观测或测试数据应 尽可能接近性能度量，包括影响因索、过程和规模.模型输出和

8、数据的准确性必须足够高，以便在评估验收标准时具 有鉴别性。影响因素的敏感性和不确定性分析：选择影响因素是模里开发过程中的重要步骤，小时干模型评估来说更是如此。影 响因素是特定于模型的,尽管它们可能对多个模型是通用的.在模型开发期间确定的影响因素（特别是模型校设）与 被确定为对热终模型使用有影响的因素之间的差异说明，当将模里用于模型开发期间可能没有预见到的目的时所进行 的外推程度，并且没有密切相关的校准数据可用.预测结果练习：实用评估的个术要方面是模型预测的测试1。虽然通常不可能根据感兴磔的现实直接浏试模型懂 测，但关健方面和重要影咱闪素应成为设计和评估预泄结果测试的基础。影响因素中的不确定性需

9、要通过模型传播到 性能度量中，以便可以对系统行为做出有意义的陈述，以解择相关的不确定性，模型评估、文档编制和模型 由于所有模型预测都是外推（空间、时间、参数以及需要考虑的特征和过程），并 且测试数据从未完全对应于最终性能指标,因此模型的置信度不能完全依赖于模型输出和测殳值之间的比较相反. 每个模型开发步骤都必须清楚地记录下来。特别是，需要审查概念模型及其假设，因为它们通常最有可能偏向建模结 果11。记录和审查用于拒绝模型的标准或要求更新模型时使用的标准也很重要。模叁评审者之间的任何共识，特别 是任何分歧，都应该得到成认。6.结论本文阐述了我们对批判性评估用于支持亚要政策决策的数值模型的必要性的

10、看法,特别是那些与放射性废物处置库许可相 关的决策。这种需要深深植根于任何概念和数值模电的基本性质。虽然我们成认模型本质卜.是不确定的，如果不是错误的，但 我们拒绝任何验证工作都是徒劳的观念.相比之下，我们将这一认识视为对尽职调查的呼吁，这涉及对模型（或多个模型）， 模拟结果及其解糅的仔细评估。我们不是因为不可能知道或脸证真相而辞职，而是建议采取务实的观点，解决采用模登的实际 情况的挑战.实用验证旨在证明模型适合目的。这可能会降低对模型需要完成的任务的期望：预计模型不能在任何条件卜做出任何类型 的准确陈述或预测;模型只需要在有限的适用范围内执行.另一方面，该模型有望提供有用的信息来解决特定问题

11、.而不仅仅是 有关一般系统行为的见解。应根据替代概念化开发多个模型。如果这些模型对感兴趣的行为得出一致的结论，那么可以获得性旌指标可以以稳健方式计 算的信心411这说明结果并不很大程度上取决于不确定因素，这些因素在每个模型中可能已经以不同的方式实现,但是般的 系统理解以及站点表征数据提供的信息足以约束预测，相反，模型比较也可能指出需要修改的概念方面。在组合或比较替代概念模型时，每个模型在校准和验证阶段的性能都被 考虑在内57.这种组合分析没有说明哪个（如果有的话）首代模型是真实系统的最正确表示口即；相反，它评估每个模型在支持总 体目标方面所做的贡献，并务实地结合从每种方法中获得的见解。虽然存在

12、许多支持验证过程某些步骤的计算I：具臾58）.但很明显.无论应用领域如何，都不存在最正确的单一验证方法。 即使在特定领域，例如核废料隔离，也必须调用该方法以适应模型，模型预期要回答的问题以及其使用的总体目标。虽然验证 具行根本和实际的同限性，但袈试测试模型以试图找到其弱点的练习是项有价值的（如果不是必要的）工作。型验证的概念第4节）。在总结和总结（第6节）之前，我们提供了可以作为这种实用验证方法（第5节）的一局部应用的 元素列表。2.对可验证性和模型验证的批评关于建立任何命题的真理的基本（不）可能性的哲学话语，特别是关于物理系统的命理，有着悠久的历史，一直持续到今 天。在科学哲学中,如何验证科

13、学陈述、假设或理论的真实性的问题己经扩展到一个更基本的问题,即这种验证是否在原那么上 是可能的。有些人认为，一个理论（或模型）充其量只能保存不无效”的地位。波普尔2提出的可证伪性概念说明，要使一个理 论被认为是科学的，人们必须能够以种可以证明它是错误的方式来检脸它。可证伪性不仅被表述为与可核查性的明确对立面. 而且还被表述为科学与非科学之间划分的标准，并作为研究的方法论指导规那么。虽然人们普遍认为理论无法得到验证，但可证 伪性也受到质疑。从本质上讲，将观察和预测之间的差异作为证伪理论（或模型）的充分标准可能会产生误导,因为任何观察 本身都充满了辅助假设.库恩口认为，实验和观察是由流行的范式决定

14、的，相反，观察数据和预测之间的差异并不一定反驳基础理论，因为相互 竞争的理论可能本质上是不可比较的.因此,科学真理不能由客观标准确定,而是由科学共识决定，在范式转变期间，科学共 识可能会发生相当突然的变化，豫恩4还建议检以卜五个特征作为理论选择的标准，并指出对这些标准的评估仍然是主观的： 理论应该是（1）准确的.即经验上与观察相一致；（2）内外均与其他理论一致；（3）范闱广泛，超出最初设计的解释范围；4） 最简单的解释（“奥卡姆剃刀）；5）富有成果，因为它揭示了新的现型或现象之间的关系，关于理论的可验证性或可证伪性的辩论从发人深省到有争议;总结这场辩论或采取立场钮出了本评论的范围，除了成认验

15、证数位模型的尝试很可能面临与科学理论所遇到的困难类似的根本困难.Oreskesetal. （1994）在一篇有影响力的文章中 讨论了理论和模型之间的异同，他们在地球科学的数值模中中研究了验证，验证和确认的问题-经常提到为评估放射性废物储 存库的平安性而开发的模型的险证工作。Oreskes等人（1994）得出的结论假设日然京统就优微型的驳法和破是不用熊次他们通过观察所有臼然系统都是开 放的,其分布式输入参数不完全或在概念上与定义和尺度不一致来得出这陈述.这些定义和尺度可以使用辅助假设，模 型和偿设直接测址或推断它们，即使不是以建立真理的声明为目标（正如术语“5佥证所暗示的那样），也无法确定特定于

16、应用程 序的模皇的合法性。通过将预测与观测值进行比较来验证数值模皇仅表示一致性，但不能确保模型代表自然现象6。虽然校准 数值模型可能意味着它在经验上是充分的，但在但测未来时,再现过去的观测数据并不能保证模型的性能，因为任何外推都需 要改变模型结构，这反过来又会影响过程，时间和空间尺度，输入参数的影响以及输出变量的敏感性。即使未用于模型校准的 数据被合理地再现.也不能认为模型是经过骗证的。这被称为“肯定结果”的诿识,其中必要条件（与数据匹配-被误认为是 充分条件-确认模型的其实性，虽然在模型计和数据和测质数据之间实现经验一致性可能会增加模型的置信度，但它并不能确 认特定模型是否捕获了它试图表示的

17、自然世界。这种确认总是局部的，即它仅支持模型相对于为获得见解或做HI预测而提出的 替代模型的效用概率.Oreskes等人（1994 ） 5认为这个术语-验证，验证和确认-可能具有误导性，特别是当用于说明数值模型的结果足够 可靠以支持重要的公共政策决策时。他们成认，模型可能有助于证实假设，揭示其他模型中的差异，进行故感性分析.并指导 进一步的研究。他们的结论是，模型应该用于挑战现有的公式，而不是验证或验证它们对物理系统进行预测的能力。另一个批评来自直接比较-作为审计后的一局部-将相关观察结果与专门为进行这些预测而开发的“经过脸证的”模型所 做的预测进行比较，例如，在一系列文章7, 8, 9, 1

18、0, 11中，Bredehoeft和Konikow发现，由于概念建模僭误，很大一局部 模型做出了糟糕的预测，在这些情况下，新的数据说明，流行的概念模型是无效的，即这些模型不仅需要对输入参数进行微小 的调整，而且需要对它们如何表示自然系统的关键方面进行根本性改变。他们专门讨论了“水文惊”，这使得拟议的废物处置场 的初始概念模型无效11。请注意，其中一些论点己被反驳12, 13, 141使用替代模型可能会掏示这种概念模型不确定性的影响“例如，Selroos等人15研究了预测地下水流动和放射性核素从 废物谶到生物圈的迁移的模型的不确定性，其中使用普代建模方法模拟断裂的结晶母岩，例如防机连续体，离散裂

19、缝网络和通 道网络方法。这三种建模方法在可变性方面产生了差异，但息体上相似的行程时间、择放通量和其他性能指标。他们指出，概 念不确定性的影响可能被低估，因为本研究的参与者提供了一个共同的参考案例，可能会限制流动建模.同样，根据一套一致的特性数据，作为SKB工作队任务8的一局部，开发了裂缝流动和膨涧土水化的多种替代概念模型。 不仅完全膨润土水化的预测时间在相对广泛的范闱内变化,建模团队还对影响整体系统行为的关键因素提出r不同的看法，因 此，对研究和场地表征需求提出了不同的建议16,现实与其在数值模型中的表示之间的差异或不一致是建模过程中固有的，因此是不可防止的。任何模型都是对真实系统的 抽缭.这

20、意味着它基于概念决策，简化假设的选择以及具有不同不确定性水平的输入参数的选择.这种简化和缺陷所带来的错 误是否可以被认为是可以接受的，从根本上取决于模型的预期目的，这就是为什么概念化是模型开发的关键步骤，也是关德模 型验证工作的主要目标的原因。正如这个简短的摘要所示，仪仅基于哲学，历史和实践考虑，模型验证的可能性就受到了质疑。虽然这些论点的细节取决 于术语验证”的定义和归因于肢证模型”的主张,但各种批评者得出r类似的结论和建议：从根本上说,不可能确认特定地点的模型是否正确代表了自然系统5, 6, 7, 17, 18, 19；模型不应用于预测目的，除非预测域与校准域相称;然而，模型可用于挑被概念

21、理解,检查慑设，探索假设场兔以及 执行敬感性分析5, 7, 20, 21, 22;不应使用术语验证和类似术语，因为它们给人一种预测模型功能的误导性印象5, 7, 9, 19, 20, 23。 *尽管上面总结了基本的挑战和批评，但显然需要仔细定义开发和评估数值模型的方法，并建立对用于决策支持的性能预测 的信心。注意到批评者的警告性言论,我们忒图开发-种务实的方法来验证模型。3 .模型评估的必要性模型的本质模型是实际处置系统的有目的的简化表示.在概念模型的开发过程中，系统的每个方面都在迭代过程中适当地抽象化,考 虑每个因素对存储库性能的影响，以及理论或特定于站点的数据可以支持的程度。对于特定于站点

22、的仿真,必须实现适当级别的模型笈杂性,这是在实际系统的攵杂性（就其可观察或推断而言）与需要与 模型要求相称之间的权衡。模型可以过于简化或过于复杂（即过度参数化）.过度简化的模型无法捕获要建模的系统的显着特 征，这可能导致系统性的错误或过度自信的预测。相反，虽然过度参数化模型从根本上能够更好地拟合数据（存在过度拟合的 风险），但它会导致高度相关、而度不确定的参数估计，从而导致模型预测也商度不确定和不可靠24L虽然敏感性分析可以帮 助评估适当的狂杂程度，但它们显然无法识别未在过度简化的模型中实现的潜在相关特征或过程，并只它们不能轻易检查参数 相关性及其对过度参数化模型中出现的估计和预测不确定性的影

23、响.虽然建模者通常从一个简单的模型开始.然后在新的见解 或数据可用时增加复杂性，但人们可能会争辩说,适当的模型复杂性最好从相对丰京，复杂的模型开始-至少在概念层面上-然 后使用筛选过程或带方子空间方法的名义倒置来箍选出不相关或不支持的模型组件以得出更简单的模型25, 26. 27上水文地质过程模型通常基于公认的经验定律。此外，对于物理和概念边界，对于实际目的来说，给定的定律可以被认为是 可以接受的,这是相对容易理解的。这些定律及其彼此之间的相互作用由数学模型描述,并使用适当的数字方案在计算机代码 中实现。将数学模型的正确实现测试到软件包中通常称为验证此外，通常执行收敛研究以确认所选的空间和时间

24、底微化具有 足够的分辨率，并且所有计算参数都已正确设置以得出准确的解决方案。在本讨论的其余局部，我们假设代码已经过正确验证， 并且仿真结果不会出现不可接受的数字伪影.3.2. 校准数学模型通常由一组耦合偏微分方程组成,这些控制方程包含的系数是经验定律从物理或化学过程的更基本描述中推导出 来或升级的。班着支持等级的增加,可能会出现新参数。这些新参数反映的属性在较小比例下不存在,而较小比例的属性可能 会随着它们被归入新参数而消失.通过进一步增加刻度，参数的值可能会发生变化，从而导致与刻度相关的参数。这在高度异 构的系统中尤其如此，这些系统不能确定性地描述，而只能用统计学来描述。除非遍历性占上风，并

25、且能够适当地表征异质性. 否那么空间变异性可能会显著导致估计和预测的不确定性.数学模型的系数通常是未知的，不确定的，特定于问题的和特定于站点的模拟涔输入参数。它们反映了材料属性，但也反 映了几何方面或初始和边界条件.尽管使用了基于物理的定律，但水文地质模型包括大量辅助修设”，其中许多未经测试甚至无法确认。通过根据观测数据 校准模型，调整和确定特定地点水文地质模型的参数,从而成认（并局部缓解）这个问题。已经开发许多概念.方法和算 法来校准一个简约或高维模型到观测数据（有关水文地质学逆方法的综述，请参阅28, 29, 30, 31, 32, 33, 34）,通过逆 向建模估计的参数本质上是不确定的

26、，但更重要的是，由于以下原因，这些参数可能含糊不清或有偏差：数学模型和/或辅助假设不完整或对要建模的系统表示不佳；计算模型输出变量的定义、状态、位假或比例与用于模型校准的相应观测值存在差异;测量数据具有系统的谡差分量;模型输出具有系统性的误差分量;系统误差包括概念模型中的错误，模型结构（过程和特征）中的（过度简化，模 型截断错误，模型维数的降低，对称假设，初始和边界条件中的错误等；数据集是不完整的,反演问题要么是未确定的,要么是使用人为的或错误的正那么化项来正那么化的;数据时感兴趣的参数没有足筋的信息，或者可用数据没有足肪的区分性来充分减少参数之间的相关性;存在同样能够再现校准数据的替代概念模

27、型。束要的是要认识到，这种模糊性和偏差可能仍未被发现，特别是如果模型能够在模型校准后准确再现历史数据。只要该模 型仅用于在与收集校准数据期间普遍存在的条件非常相似的条件下进行预测.预测结果就很可能是可以接受的（称为“插值预 测。然而，这极大地限制了模型的适用性，其主要目的不是由现测城数据已经揭示的系统状态，而是检查其在不同条件下的 行为，探索不可观察的变量,或理解基础过程（称为“外推预测”或解择性模拟D ,这些应用模式中的任何种都包含外推-关 于条件，过程，状态，空间和时间尺度并且可能也离开了既定理论和基本理解的领域。3.3. 外推有人可能会争辩说,每当受试从一个模型空间推断到另一个模型空间时

28、，就会产生模型验证的需要。这特别涉及我们从模 型校准到模型预测的步骤：在这一点上，我们离开了模型开发利用我们想要模拟的系统测及数据的空间（例如，确定性或统计 条件数据，有关参数的先验信息，站点表征数据，测试和监测数据以及校准数据）.如上所述，校准产生有效的参软，即特定 于过程、模型相关和与规模相关的参数，每当模型结构、关健过程或尺度发生变化以使校准的模型适应特定的预测问题时，有 效参数的解释、参考框架和数值也可能发生变化,因此需要验证预测模型是否适合其预期用途。这一-概念反映在所有建议数据拆分或预测结果比较的验证方法中，这些方法实质上试图模拟模型在其校准空间之外用于预 测目的的情况。需要注意的

29、是，数据分割通格与时间序列数据一起使用，这意味着校准和验证数据集通常属于同一类登，在同 一位置进行观察，并引用相同的参考尺度。校准和预测数据之间的这种相似性限制了测试模型的应用范围，因为只检查了一个 微小的外推。虽然通过批判性地检查模型开发过程（即不依赖于模型结果与可测量的兴趣量的比较）可能会增加对模型的信心，但对模 型做出可帘预测的能力的测试是大多数验证方法的理要组成局部1, 35,无论它们是作为哲学论证的一局部提出的，还是用于 用于许可的数值模型的实用验证。放射性废物处置库。3.4. 模型空间如上所述，每当模型空间之间发生转换时，就会产生模型验证的需要，模型空间是所有可能模型的包络线36,

30、它描述 了感兴趣系统上的边界，从中选择了相关的参数化，理想化和建模原那么。因此，它是概念化，假设，物理规那么，数学方程和参 数的集合，对允许模拟系统状态及其演变的过程和条件进行理论，观察和/或经验描述“模型空间随着新信息的收集或对模型的 不同要求而开展37。通常，在调理和校准活动期间，模型空间会减小，但在应用于不同的预测空间时可能会扩展。条件反射通 过做出假设并根据有关特定场地的先验信息对其进行定制来约束模型空间。校准是通过将模型输出与测量数据进行比较来减少 模型空间的过程，这可以被视为评估所选模型参数集与观测值一致的概率。不匹配表示为分析选择的特定概念模型不太可能是 真实系统的友示形式。通常

31、，添加特定于站点的信息可以让我们将系统的概念化与不太可能的概念化分开，从而缩小模型空间。但是，这种缩小也限制了模型的应用范围。为了做出有用的预测，必须从校准空间到Ei标预测空间进行外推。预测空间可 以引用收集验证泄试数据的条件，也可以引用实际结果未知的最终模型目的.在任何一种情况下，根据定义，预测所要表示的 条件都与模型校准期间普遍存在的条件不同.霜要推断到不同的空间和时间尺度，不同的边界条件以及可能不同的关键过程， 从而拓宽了模型空间;这就是模型验证是必要的原因。如果工程某一特定阶段的模型不能令人满意地解释或再现观测结果，说明数据与观测之间存在系统性偏差或巨大不匹配; （b）数据与观测值之间

32、有系统性偏差或较大不匹配；（c数据与观测值之间有系统性偏差或较大不匹配。或（b）其校准的 参数与先前的信息和经证实的假设不一致，那么建模过程的第一步，即模型概念化,需要根据从先前分析中获得的新信息和经 验重复进行。使用糊盖不同模型空间的多个替代模型进行的预测更有可能在真.实系统中充分跨越结果，但需要注意的是，所有 这些模型都可能是非行为的，即在复制观察到的行为时是不可接受的38,验证可以被视为对模型开发过程的关键审查，目的是证明目标预测空间是由模型输出的集合充分描绘的。预测空间的可接 受形状和范围由模里的目的决定-建模目标越具体，目标预测空间越窄，验证验收标准越严格。目标预测空间可以通过在类似

33、 于影响未知述兴捶行为的条件下对克实系统的观察来表示。验证过程旨在将概念模型及其相关模型空间的数量减少到一组1行为模型”39,从而增加我们对模型优势和局限性评估的 信心40卜模型空间的概念及其演变说明，验证的对象不是单个数值模型，而是由模型集合产生的结果。由于每个备择模型都有其独 特的模型空间，因此如果考虑多个模型及其不确定性，那么预测空间会大大扩大。如果用替代概念化和方法做出的预测不会发散, 而是占据足纺小的强测空间，那么可以获得更高的置信度，即这些预测的集合可以用作决策的基础41）.在此视图中，脸证对象是模型搐测空间，而不是定义它的模型。此处使用的简称“模型验证”是指本模型开发过程和本节概

34、 述的解林”.务实模型验证3.5. 验证中的实用主义我们引入术语务实模型验证”来强调我们想要评估模型的上下文和环境，实用模型验证的目标是建立时模型对存储库系统 特定方面做出可靠陈述的能力的信心。它还认识到，任何模型总是包含剩余的不确定性;野心不是对终极真理做出断言。这个定 义成认，找到真相仍然难以捉摸，但对模型进行关键的拟合评估既关键又有价值，务实的验证要求很高：不能放弃这种努力，因为实现真理或对预测的充分信心是徒劳的;相反，必须放弃这种努力。相反， 必须理解模型的固有局限性及共预测中的不确定性，并且必须确定适用性领域并与模型的预期用途相关.最后，必须将此信息 有效地传达给模型的母终用户。相反

35、，实用验证限制了模型适用性的领域，这反过来又战少了有影响参数的空间，使其探索更 加切实。务实一词也可以指这样一个事实，即代表地卜系统的模型的验证受到数据稀缺的限制。验证过程可以帮助确定应收集哪 些数据,以通过降低预测不确定性来提高模型置信度。测量数据、模型参数和预测置信度之间的这种关系可以在数据价值分析 中正式检查，该分析评估实际或潜在数据点对减少不确定性的相对贡献（a）通过逆向建模从数据推断的参数;和/或（b）在感兴 趣的目标预测中，这反映了建模目的。在数据空间以及多个模型空间中进行数据价值分析。它将数据不确定性传播到参数不确 定性再到预测不确定性，这是一个检查单个数据点的故感性和信息内容以

36、及参数时模型预测的影响的过程.竞争性目标预测的 相对重要性也被考虑在内。因此，实用模型验证和数据价值分析的工作流程是相似的。事实上，数据价值分析应该是模型验证 的一个组成局部，证明用于模型验证的预测结果方法的数据确实具有信息性，并且与最终建模目的相关。请注意，在收集验证 数据之前.，将执行数据价值分析。分析迫使用户考虑验证验收标准，并在数据可用时应用这些标准。有关数据价值分析工作流 程的一些背景信息.请参见42, 43, 44）.在这种解择中，术语“务实既是对验证挑战的成认，在限定已验证模型的可信度和适用性时必须考虑到这一点，也是对验 证过程本身的有用性的成认,后者仃助于确定数据收集和研究需求

37、，以提高系统理解和模型预泄的可靠性。Box45创造了一句格言：“所有模型都是错误的,但有些模型是有用的。Box等人46给出了以下解释：“所有模型都是近 似值。假设,无论是隐含的还是明确的,从来都不是完全正确的,所有模型都是错误的,但有些模型是有用的,所以你需要问 的问嬷不世模型是真的吗?（从来都小是）,但是对于这个特定的应用程序来说,短步走弱好吗？法些注释也与地球科学建 模相关，其中概念模型开发过程中的抽象过程引入了许多通常很强的近似值，并且由于我征数据的覆盖率通常较差以及显式实 现多尺度特征和过程的不切实际，因此做出了许多假设。Box的格言可以看作是对模型验证的实用方法的潜在背景的简明陈述。

38、最后，由于公认的基本限制和实际约束，实用验证也指脸证方法本身。它说明所选择的方法明确针对特定模型的使用或计 算特定的兴趣量。它认为，该模型用于通过预测来解决实际问题，从中得出建议，即它被用作一种实用工具，而不仅仅是描述 或模仿自然.此外，务实的模型物证引发了一个问题，即评估模型应该花费多少精力。例如：通过与其他模型进行基准泅状，或者仅测 试单个组件,或者通过将其结果与文献数据进行比较来验证模型是否足够？还是彳i必要进行指定的实验室实验或现场测试？是 否必次证明该模型能够在与核废料处置相关的貉个空间和时间尺度上发挥作用？仅仅处理这些何迤就说明正在采取务实的做 法，关于哪些努力被认为是合理的答案是

39、由模型的最终目的及其对决策的重要性粗动的，特别是在支持信息不确定或有争议的 领域，没有确凿的科学证据，模型结果具有影响多个利益相关者的重要影响。3.6. 敏蹲性审计Saltelli等人40概述了用于对模型痂量进行批判性评估的协议。他们提出的程序可以被描述为务实的.因为它提供了实用 的指导方针，旨在提高用于支持涉及或大风险和不可嫉化的、不可减少的不确定性的重要政策决定的模型的质疑,这种方法被 称为“敏感性审计，它超越了对模型不确定性和参数敏感性的评估。请注意，敏感性分析不会减少模型的不确定性，但它们会使 其透明，以便建模从业人垃和建模分析的接受者都充分了解预测的条件性。敬感性审核旨在以怀疑的态度

40、审查模拟所做的任何 推断。它试图确定模型的假设，结果和用法是否合理。它不仅检杳模型，还检查审核过程本身。为整个建模过程制定规那么并生 成清单.以实现特定模型预测可分性的透明度。遵循这些规那么被视为使用基于模型的推理的最低尽职调查要求。正式过程包括全局敏感性分析47）,以确定影响预测不确定性的关键因素。接下来，满载价值的假设以及其他与模型和问 题相关的陈述被系统地限定48。不确定性分析方法用于获得关于兴趣的模型输出的定量指标。增加了对信息的定性判断，例如 其可靠性，以及对信息如何产生的评估性说明.通过耨数值分配给水平的语言描述，来评估特定问题的谱系标准（例如理论理 解，经验基础，方法严谨性，验证

41、程度，标准的使用，质量控制和平安文化，合理性，对结果的影响，替代概念模型的比较， 同行之间的一致意见，审查过程，估计的价位，偿设和问侬框架以及情境限制的影响）满足每个标准.例如,对于谱系标准48验 让程度”，描述的范围可以从与同一变纸的独立测质值进行比较”到“与来自代理变质:测量的派生量进行比较“到“弱，间接或无验 证，该系统提供了对模型计算数的两个独立不确定性方面的见解，一个表示其精确性，另一个表示基础知识库的方法论和认识 论局限性。必须将这两个方面放在一起考虑，才能得出关于模型质量的有意义的陈述。例如，如果输入参数没有影响力，即对 感兴迤预测的影响可以忽略不计，那么对输入参数的不准确甚至无

42、知可能不会使模型无效。相反，即使模型预测对某些输入参数 高度敏感，模型预测也可能是可靠的，前提是这些参数可以高置信度地确定。一般而言，模型验证是一个由关键问趣指导的审计过程的概念格注意力从对模型计算和测发数据的严格通过-失败比较转 移到通过明智地使用专家判断以及正式的敏礴性和不确定性分析来对模型的充分性进行更广泛的评估。此外，模型开发和评价 过程需要得到彻底的记录和外部审查。在这种观点中，通过以下事实获得信心：验证过程有助于识别和纠正模型中的明显缺陷19,假设和假设经过了适当的测 试49,并J1使用了科学上适当的方法5Q。严格的险证过程最终将改进模型，从而改善基于模型输出做出的推理和决策的质量

43、。3.7. 睑证活动和验收标准对实用唆证的讨论揭示了“验证一词所唤起的广泛解释和期敦，涉及验证过程的最终目的和实现这一目标的域合适方法。 务实验证的木质是，它将所提出的建模解决方案暴露在对其有用性的测试中。对经过验证的模型应该完成什么的期望是广泛的：经过验证的模型提供了对系统的改进的一般理解，因为模型结果是从不同的证据行中检杳的。但是，模型结果不应被 解林为对真实系统行为的预测；经过验证的模型为来自不同科学学科（地质学，水文地质学,地球化学等）的可用补充数据提供了一致的表示和解释;经过验证的模型适用于检查苻代案例和“假设”方案。模型结果不是准确的预测，而是揭示了预期系统行为的相对变化, 作为所

44、选场景的函数；经过验证的模型可以做出足以满足模型目的的特定预测.该模型不一定代表其实系统，但其结果是可以接受的，因为 它们支持最终的工程目的。例如，该模型可用于保守或边界计算，尽管不太可能，不合理，甚至非物理，但在监管框 架内可能足够,并可能支持绩效评估研究；经过验证的模型是其实系统的近似表示。模型保或度由需要进行预测的准确性决定，因此它们可以支持决策.*如何验证模型的过程取决于需要满足前面列表中概述的哪些模型验证目标。如果模型的目的是提高对-般系统的理解或检 查“假设”情景，那么验证过程将不那么详细，并且可能仅限于组件测试和同行评审;如果决策者打算依靠定量预测，那么可能需要与 实险或监测数据

45、进行比较;如果婴对世界的本质做出基本的陈述，这将是一项广泛的，跨学科的，持续的研究努力.以下活动可 能是模型验证练习的一局部：经过验证的模型应符合行业标准的QA/QC程序，并通过正式的软件资格生命周期测试（验;经过验证的模型应该对用于构建概念和数值模型的程序进行详细审查，包括（a）可用数据的评估，（b）理论和经 验定律和原那么的评估，（O抽象过程和概念模型的开发，（d）计算模型的构建，以及（e）基于预测模拟的迭代细 化，敬感性分析和不确定性址化40. 51;经过验证的模型应根据相关数据进行校准，其中（a）残差没有乘要的系统成分，（b）可接受的低估计不确定性, 以及（c相当弱的参数相关性.可接受

46、性标准取决于需要计算支持工程目标的模型输出的准确性43J;经验证的模型应经过同行审查，专家和利益攸关方普遍同意该模型符合其预期用途，并且对局限性、适用范圉和不确 定性有充分的了解和记录；经过险证的模型应与替代模型52. 53或方法进行比较，并在相关验证性能标准方面表现同样好或更好54；经过验证的模型应以可接受的准确性重现未用于模型校准的相关数据.数据类型、所涉过程、空间和时间尺度以及数 据收集过程中的普遍条件应尽可能反映目标预测的情况。可接受性标准取决于需要计算支持工程目标的模室产出的准 确性；经过验证的模型应该证明它可以预测新兴现象4, *如上一份清单所示，模型哙证活动和相关的验收标准各不相

47、同，因为它们与对模型的要求有关.图1显示了经过嘘证的 模型必须满足的目标与所需的验证活动之间的近似对应关系。图1还说明了原子能机构验证定义似乎针对的矩阵中的区域。truth-BO9CUOW- POZgeneralunderstandingpredictingemergingphenomenasystemrepresentationand predictionadequatepredictionvscenario analysisverificationdata comparisonprocedural review calibration - predictionaudit - peer re

48、view - comparison studyValidation Activities图1.实现特定验证目标所露的验证活动之间的近似关系。黄色和红色虚线分别表示实用模型验证所针对的建模目标和验证活动, 以及与原子能机构模型验证定义中强调的主要目标和活动的关系。很明显，良好的一般系统理解是模型的先决条件，该模型有望为以前未观察到的系统行为提供可靠的定员预测。该声明特 别适用于依赖对底层物理过程的理解的模豆，而不是统计模型（包括例如神经网络和机器学习算法），它们是数据郸动的方 法，可以推断输入-输出相关性，而无需或仅粗略使用物理概念.这里关注的模型是那些包含实质性机械理解而不是经验相关 性的模型。同样.遵循标准和最正确实践,并单独检查每个模型组件的开发并提交独立审查，无疑是提高模型可信度的方法.无论其鼓 终用途如何。4 .务实模型验证框架如上所述，务实的模型验证涉及对模型开发过程的批判性审查，目的是证明模型或模型输出集合充分划定了可接受的不确 定性区域。值测不确定性的可接受水平由研究目的决定。虽然通过批判性地检资模型开发过程22, 40（即不依赖于模型结果与 观测的比较）可以增加对模型的信心,但对模型做出可亮侦测的能力的测试是大多数验证