数学建模系统仿真—— 模型的校核、验证与认可PPT——已校正复习过程.ppt

数学建模系统仿真模型的校核、验证与认可PPT已校正 8.1 系统模型的校核、验证与认可的基本概念系统模型的校核、验证与认可的基本概念 仿真系统的精度和可信度是系统仿真试验过程中必须十分重视的一个阔题，也是仿真用户最关心的一个伺题。因为它直接影响甚至决定系统仿真结果的置信度及其价值。模型是仿真系统的核心和基础，因此系统模型是否准确地描述了被仿真对象，是仿真结果是否可信的前提。或者说，仿真结果的置信度取决于系统棋型的质量。这里，应对系统模型做最广义的理解，它包括在相似理论基础上建立起来的各级各类模型。比如数学模型。各种物理模型或物理效应模型，仿真计算模型，数据集合等等。仿真置信度包括系统模型可信度(也可以说仿真系统可信度)和模型运行过程的可信度两个方面，是二者的综合。建模与仿真的VVA,VVT(Verification,Validation and Testing)及V V V(Verif icativn,Validation andVisualization)分析系统模型.型PI信性和提高仿真结果置信度的重要方法。作为建模与仿真全生命周期的一个重要组成部分，VVA等贯穿于建模与仿真的全过程，从局部子系统到整个系统按一定的规范和标准反复进行，直到取得满意的仿真结果为止。目前仿真界对VVAIVV侧VVV的概念理解方面已经取得了一定的共识，但对它们的理论和方法研究方面进展不大.还没有一种能被普遍接受的、有效的VVAIVVTIVVV理论与方法。原因在于客观存在的实际系统不论在规模、结钩、性能等各个方面都是千差万别的。很难找到一种统一的、规范化的VVAIVVTIVVV技术标准。VVA存在于模型开发过程的各个阶段，图8.1给出模型开发过程与VVA的关系。一、有关概念的一些解释 1.问题实体(Problem Entity)研究对象，可以是一个系统(真实的或假想的)。也可以是一种构思，一种概念，一种情景，一项决策或政策，或者是其它等待研究的事物或现象。2.概念模型(Conceptual Model)是指针对某一具体研究目的而对问题实体所做出的数学的、逻辑的或自然语言的表述。这些表述最终应该能用仿真设备或程序来实现。3计算模型(Computerized Model)是指概念模型在仿真设备上的实现。由图8.1可知，概念模型是在间题分析和建模阶段建立起来的;计算模型是在概念模型的基础上通过程序设计和实现阶段建立起来的:关于问题实体(研究对象)的一些结论，则是在仿真实验过程中通过运行计算模型而获得的。4.棍念模型有效性(Conceptual Model Validity)是指在形成概念模型的过程中所使用的理论和假设是否正确，对间题实体的模型表达对于该模型的指定用途和具体口的是否合情合理，能否充分体现建模的预期目的。5.运行有效性（perational Validity)是指在给定的系统工作域和模型应用域内。模型的行为相对于预期的研究目的来说是否足够精确。7.模型校林(Model Verification)概括地讲，模型校核是一个过程，在这个过程中要检查和确定仿真计算模型是否准确地表达了概念模型。换句话说，模型校核的目的是确保二次模型化(对概念模型的翻译)过程是正确的。8.模型验证(Model Validation)模型验证是在建模目的意义下模型能否准确地代表实际系统，有两个方面的含义:一是首先要检查概念模型数学模型，物理模型等)是否正确地描述了实际系统;二是进一步考察仿真 模型输出是否充分接近实际系统的行为。模型验证的目的并不是为了使模型与实际系统完全一致，由于模型只是对实际系统的一种相似，所以让模型百分之百地复现真实系统的行为是不可能的，也是不必要的。9.模型认可(Model Accreditation)模型认可是指正式地认定模型相对于特定的研究目的来说是可以接受的”。模型认可同研究目的、仿真目标、认可标准、用户要求、相关的输入数据的质量(有效性)等方面的因幸有关。二、模型校核与验证的难点 以前，人们对模型验证工作较模型校核工作开展得相对多一些。就模型验证来说，它是系统仿真研究中难度很大的间题，其难点表现在以下几个方面:1.模型验证工作是一个过程 模型是建模者根据建模目的按照相似原理对于实际系统的科学抽象与简化描述。它反映了建模者对实际系统山感性到理性认识的一个阶段，这种认识是否正确与梢确，还得经过实践的检验。因此，模型验证工作，实际上是由实践到理沦.再由理论到实践的过程。有时得经过多次反复才能完成。2.模型脸证工作具有模糊性 模型是原型(研究对象)的相似系统，而相似程度具有一定的模糊或不确定性。这种不确定性不仅与建模者对原型认识的深刻程度有关，而且与他所采用的方法与技巧有关。就是说对于同一原型系统，抱着同样的建模目的，不同的人可能建造出与原型相似程度不同的模型。3.模型i证工作受多种因素影响 首先是模型本身的因素，众所周知一个完整的模型包含两个方面的内容:一方面是它的结构，另一方面是它的参数。结构住往可以代表某一类模型的共性，而参数的加入，体现的是模型的个性。这两方面是模型能否代表，原型的决定因素。是内因。因此，在进行棋型验证时，要倍加关注它f的正确性与准确性。其次是模型运行的环境即外因，其中最基本的是给模型系统施加的愉入作用。这种作用应与给实际系统施加的作用相似，只有这样，才能为分析判断模型的有效性创造条件。4.模型脸证过程中往往存在大贡的统计分析与计算 假设检验、统计判断、置信区间估计等都要涉及到复杂的计算。因此.模型验证工作需要付出很高的代价。特别是对于复杂的大型仿真系统更是如此，以致使得模型的全面验证实际上成为不可能。5.有些情花下，难以得到或者得不到实际的可靠结果。给摸型的验证带来很大困难。比如，社会系统、经济系统、生态系统、环境系统等，我们不可能在实际系统上做实验.所以就得不到实际系统的输出行为，那么就难以制定一个评价模型系统的客观标准;再比如导弹武器系统，尽管可以通过打靶试验获得有关真实系统的一些行为特征数据，但这些参考数据是极其有限的、对进行全面的骤证来说是不充分的。8.2模型校核与验证的一般性策略 这一节土要介绍模型校核与验证的一般方法。常用的模型验证方法的基本原理留待下一节详细讨论。8.2.1模型校核的一般方法根据上一节对模型校核概念的理解，模型校核可以从以丫几个方面加以考虑。一、仿真方法的校核 包括两个方面的内容:一是对算法进行理论研究，对其主要的品质如精度、收敛性、稳定性、适用性等进行分析，以确保算法的合理性;二是检查计算机程序是否准确地实现算法的功能。对于连续系统仿真算法的选择，第三章做了较为详细的讨论。对于离散事件系统，同样存在仿真算法的选择间题。此外，还必须精心设计仿真程序.以确保正确无误地实现了算法的功能，建议尽量采用经过恻试和实践检验的那些标准程序。二、静.态检测 检查算法、公式推导是否合理，仿真模型流程图是否合乎逻辑，程序实现是否正确。为了便于模型的动态校核，从一开始就应当严格按照结沟化、模块化、规范化的风格编制程序。三、动态调试 在模型运行过程中，通过考察关键因素或敏感因素的变化情况检查计算模型的正确性。四、多人复核 对某个人开发设计的仿真计算模型，可以请他人检查，他们可以用一切办法甚至带有挑剔性地去寻找计算模型中的潜在错误，这种方法比较客观，可以提高模型可信性。五、参考挂准校核 检查模型计算结果是否同所研究的特定物理现象相符合，对模型结果中出现的非正常现象能否作出合情合理的物理解释。六、标准实例测试法 对于比较简单的、规模比较小的仿真fa问题，或许能够有足够的信心认为所设计的仿真计算模型是正确可靠的。但是对于复杂的系统来说，在多数场合下，并不敢轻易相信仿真计算模型是正确可靠的。因在多数场合下必须经过许多标准实例的测试和验证，通过多方面的校核，经过反复修改、优化，最终才能获得正确的仿真计算模型。用于测试的例子往往是那些典型的、标准解已知的系统模型，将需要测试的仿真计算模型作适当的调整，使其成为标准解已知的典型系统的仿真计算模型，井将仿真结果同标准解相比较。以此来考核被测试的系统模型的正确性。七、将软件可招性理论应用于模型校核 仿真计算模型是一类用于专门目的软件或计算机程序。因而除了在设计过程中遵循软件工程的思想方法和要求以外。对于已经设计出来的复杂系统仿真程序.也可以利用软件可靠性的理论与方法对它进行诊断与查错。在70年代Mills和Basin。利用超几何分布模型解决了软件系统错误数的评估闷题。可以把这一方法用于仿真计算模型错误及错误数的诊断:首先随机地将一些已知错误播入待测试的仿真计算模型中，然后运行并测试仿真程序.通过测得的固有错误数与播入错误数，使用超几何分布模型来估算仿真计算模型的错误总数，然后再逐一排除。8.2.2模型验证的一般方法 前面已经对模型验证概念进行解释，它有两方面的含义:一是检查概念模型是否充分而准确地描述了实际系统，二是考察模型输出是否充分接近实际系统的行为过程。一、可信性验证 上述第一点实际上是考察演绎过程中的可信性，可以通过以下两个途径进行分析;(1)通过对前提(各种假设条件)是否真实的研究，来验证模型本身是否可信;(2)通过对推理过程是否符合思维规律、规则，即推理的形式是否正确的研究来检验模型的可信性。二、一致性较证 模型验证含义中的第二点是考察在归纳中的可信性，往往主要地是通过考察在相同输人条件下，仿真模型输出结果与实际系统输出结果是否一致以及一致性的程度如何来做出判断，发展了以下一些主观或客观、定性或定量到断方法。1.专家经验评估法 请有经验的领域专家、行业工程师和项目主管对仿真模型输出和实际系统输出进行比较判断，如果他们认为两类输出相差无几或者根本就区分不开，那么，就认为仿真模型已达到足够的精度是可以接受的。2.动态关联分析法 根据先验知识，提出某一关联性能指标，利用该性能指标对仿真输出与实际系统输出进行定性分析、比较，据此给出二者一致性的定性结论。3系统分解法(子系统分析法)把复杂的大系统分解成若干个小子系统，对每个子模型进行分析、验证.然后根据子系统组成大系统的方式(串联、并联等)考察整个系统的模型有效性。，4灵敏度分析法 通过考察模型中一组灵敏度系数的变化给模型输出造成的影响情况来分析判断模型的有效性。5参数佬计法 对于系统的某些性能指标参数(如武器系统的杀伤概率、命中精度等)，考察其仿真输出置信域是否与相应的参考期)输出置信域重合或者落人期望的置信域内。6.假设检验法 利用假设检验理论来判断仿真结果和参考结果是否在统计愈义下一致以及一致性的程度如何。有不少作者采用这一方法对仿真模型进行验证和对仿真精度进行评估。7.时问序列与频谱分析 把仿真模型输出与相应的参考输出看作时间序列，对它们进行某些处理后用时间序列理论和频谱分析方法考察二者在频域内的统计一致性。8.综合万法 上述方法两种或两种以上的综合使用，以便从多个侧面考察仿真模型有效性。当然.模型验证方法远不止以r_列出的几种。还有其它一些方法，如基于Kalmal滤波理论的模型检验与校正方法，决策理论在仿真系统溉念模型有效性确认中的应用。模栩数学在仿真模型验证中的应用等等。.8.2.3模型校核与验证中的一些问题在进行连续系统模型验证时。以下几个问题值得注意。一、模型验证中的共性问题 对任何系统的仿真.由于它们共用仿真技术，所以它们之间从建模、模型校核、验证、认可到仿真试验与管理.都存在着一定的共性。从某一系统仿真过程中获得的模型校核与验证的思想方法可以推广到同类系统或者有选择地应用到其它不f类系统的建模与仿真的校核与验证中。二、棋型珍证中的特殊性 实际系统是千差万别的，要想找到一种普遍适用的模型验证标准和具体方法是不可能的，也是不现实的。即使是针对同一系统的仿真问题，由于研究的目的和侧重点不同，也必须采用不同的验证标准和方法。把验证城市交通系统仿真模型的方法用于导弹系统仿真模型的验证是行不通的，反之亦然。对同一型号导弹武器系统的仿真工程来说，其系统总体仿真模型的验证方法与标准不同于其部件的模型验证方法与标准。真系统的特殊性，洞察系统的物理本质，抓住问题的主要矛盾，找出合理的解决方案。三、建棋、仿爽与摸型狡证的目的性 建模与仿真的目的性是一个十分关键的因素，它决定了仿真模型的复杂程度和层次结构，因而也就必然影响到模型验证方法与标准的选择。四、时嫂摸型与预坟棋型的差异 时域响应特性表示系统对各种典型输入信号的响应情况.由于在理论上分析高阶复杂系统的过渡响应，或用实验手段测得过渡响应，并据此求出相应的系统参数是十分困难的，所以有时用时域响应特性验证仿真模型有效性会产生较大误差。频域特性反映了系统对给定不同频率的正弦输人信号的稳态响应是在所关心的颗带内考察系统的，因而可以比较全面地暴露模型参数对系统特性的影响，具有较高的精度。然而遗憾的是，对于多输入多输出系统而言，要想求出其频域表示也实属不易。五、仿爽系统与典实系统之间的不完全可达性 仿真系统只是对实际系统的相似处理，下列一些原因使得仿真系统与实际系统之间不可能实现真正意义上的同构或等价.而只能是一定程度的近似或相似。（1）任何情况下，都不可能做到系统模型的输入集合完全等同于实际系统的输人集合。这一点是容易理解的。(2)系统模型是在各种限制条件f。做出各种假设。通过对实际系统的多级相似处理而得到的其间存在各类建模误差。(3对建棋者来说，系统永远不会是一个白箱”，始终存在“灰色”及“黑色”部分。因此，得到的仿真系统只能是一个具有一定逼真度的相似系统，当模型能够满足仿真置信度，能够实现仿真目的，满足研究问题的要求时，它就是一个有效的模型。六、实践中应注东的几个问硬 (2)在对各种模型验证方在加强VVA理论和方法研究的同时，在实践中应注意以下几个方面的问颜:(1)充分应用已有的理论和方法去解决实际fnl题.必要时对系统和模型的行为结果作适当的处理。使之尽量满足各种方法的应用条件。方法的理论可靠性和对实际问题的适用性给千充分肯定之前。切不可又寸它们过分依赖。可靠的定量方法的情况下，主观、定性验模方法(如图示比较、关键值对比)仍不失为一条重要的途径和一个不可缺少的基本环节。8.2.4系统仿真精度置信度 对任何仿真系统都有精度和置信度的要求，（3）由于各种方法都有其局限性和各自的适用条件，郡只能从不同的角度和层次来对模型有效性做近似性的结论，所以实践中应尽量使用多种方法，从多个侧面、多个层次验证模型。（4）在缺乏满意、否则。仿真结果便不具备可信性。一、仿真精度和 仿真精度又可称为系统仿真精度或仿真系统精度，它往往以误差的形式描述，定义为仿真系统或其子系统实现其规定或期望的动、释态性能技术指标的误差或允许误差。这里的系统或子系统也可以是模型或子模塑系统。影响仿真精度的因素是多方面的，从仿真硬件环境来看，包括各仿真设备和参试设备误差、设备间接口关系(接口分辨率、采样周期、信号传递延迟等)、信号与数据处理装置字长各类机械限制和机械传递误差等等;从软件方面来看，包括原始数据误差、各类建模误差、算法误差等等;在“人在回路中的仿真”系统中，人作为一个环节，由于目前还不能准确地建立该情况下的动态模型，故也会产生一定的误差。仿真精度通常包括静态和动态两个方面，总的仿真精度是各个子系统的精度的综合。二、仿真置信度 在仿真工程中，人们总是希望能够用一个具体的数Y来反映仿真的可信性。:值越大，则可信度越高，称数:为仿真的置信度。由于系统具有内部结构和外部行为两个方面，因此所建立的仿真系统(或称模型系统应具有这两个方面置信水平，即行为水平和结构水平。为了充分体现这两个基本水平，将仿真置信度定义如下:仿真置信度是指，仿真系统(或模型系统)作为原型发真实系统)的相似替代系统。在特定的建模与仿真意义上，在总体结构和行为上能够复现原型的可信性程度。这种可信性体现在建模、模型试验和仿真结果分析的全过程，乃至其多次反复之中，而不是局限在其中的某个阶段。同仿真精度一样。影响仿真置信度的因素也是多方面的。因而，对仿真精度和置信度的分析往往需要从多个方面进行，这包括各类各级模型的质量评钻、校核与验证，各个阶段试验测试结果的比较荆断与统计分析等等。仿真精度与置信度分析问题是系统仿真工程中的专门课题。8.3 常用模型检验方法分析常用模型检验方法分析v8.3.1 专家经验评估法v8.3.2系统分解法v8.3.3灵敏度分析法v8.3.4参数估计法v8.3.5假设检验方法v8.3.6动态关联分析法v8.3.7基于频谱分析的统计推断验模法8.3.1 专家经验评估法专家经验评估法8.3.2系统分解法8.3.3 灵敏度分析法一、定性方面二、定量方面8.3.4参数估计法8.3.5 假设检验方法8.3.6 动态关联分析法8.3.7 基于频谱分析的统计推断验模法 此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢