网络系统测试与评价测试控制数据及规划.pptx

测试控制数据的概念测试控制数据是对主动测试系统（Active Test system)进行的测试所期望达到的测试目的、用以激励被测对象所发送的数据及预期的应答、对测试结果的分析与计算、测试过程的控制及所选用的测试方法以及在指定的测试度纲（Test Metrics)和测试条件下可能的功能或性能测试结论的描述。第1页/共66页测试控制数据的规划和描述技术 测试控制数据的规划是根据协议文本确定需要的测试例。若协议文本是以非形式化技术描述的，一般以人工方式对协议的待测功能进行分组划分若协议是以半形式化或形式化技术描述的，那么可通过半自动化或全自动化的方式实现 测试控制数据的描述是根据规划好的测试例，采用适宜的测试方法，再使用某种语言工具对测试例进行详细的描述，从而得到测试必需的抽象测试集。第2页/共66页测试控制数据的组织结构按照ISO 9646,测试控制数据自顶向下分别由测试集测试组测试分组测试例测试步Test suiteTest groupTest groupTest groupTest caseTest caseTest caseTest step第3页/共66页测试集（Test Suite)是针对某个或某类测试对象，为实现某类测试目的（一致性、性能、安全性、互通性、仲裁等）采用特定的测试方法和测试度纲（Test Metrics)所描述的测试组、测试分组、测试例的集合。第4页/共66页测试组/分组（Test Group/Sub-group)由测试例组成，测试组/分组内的测试例具有共同或类似的测试目的。第5页/共66页测试例(Test Case)是由一个或一个以上相互关联的测试步组成，它是实现某一测试目的、不可分割的最小测试控制数据单元。测试例的执行结果通常需要对测试结果给出定性的结论（Pass/Fail/Inconclusive)或者给出一个或多个性能参数的定量的测试结论。第6页/共66页测试步（Test Step)是测试过程中的最小基本单元，它是对“向被测系统发送单个数据或连续发送一组数据后期待被测对象的应答以及根据被测对象的不同应答进行的分析计算、判断和需要采取的进一步测试行为”的描述。第7页/共66页测试控制数据的分类通用测试控制数据（GTCD-Generic Test Control Data)抽象测试控制数据（ATCD Abstract Test Control Data)可执行测试控制数据第8页/共66页通用测试控制数据GTCD是测试步、例、分组、组和测试集的规划，它与抽象测试方法和测试系统无关。通用测试控制数据是描述抽象测试控制数据的基础，抽象测试控制数据将针对特定的抽象测试方法，用某种测试控制数据描述语言进行描述。通用测试控制数据的规划还涉及测试控制数据的命名规则。第9页/共66页抽象测试控制数据ATCD是用某种测试控制数据描述语言描述的测试步、例、分组、组和测试集，它与抽象测试方法有关但与测试系统无关，因此，它可以作为采用同种测试方法的不同测试系统通用的测试控制数据。抽象测试控制数据不能在直接运行与实际的测试系统，而必须经过解释或编译，不是实际测试系统中的可执行的测试控制数据。第10页/共66页可执行测试控制数据可执行测试控制数据由抽象测试控制数据经编译或解释，并根据被测对象的协议实现标准化申明(PICS Protocol Implementation Conformance Statement)和附加申明（PIXIT Protocol Implementation eXtra Information for Testing)或者性能指标申明（PPS-Performance Parameter Statement)以及与测试相关的参数（如：IP/MAC地址、支持的IP分组长度等）对测试控制数据进行参数化后获得的机器可执行代码。第11页/共66页测试例的分类通用测试例（GTC，Generic Test Case）用来集中说明测试体，在很大程度上独立于特定的测试方法，只依赖于被测的协议文本。抽象测试例（ATC，Abstract Test Case）依附于特定的测试方法，基于通用的测试例与相关的协议规范，完整地说明测试例。可执行测试例（ETC，Executed Test Case）来自于抽象测试例，可在测试系统上运行的测试例。第12页/共66页测试集的分类通用测试集（GTS，Generic Test Suite）由通用测试例构成的测试集叫通用测试集抽象测试集（ATS，Abstract Test Suite）由抽象测试例构成的测试集叫抽象测试集可执行测试集由可执行测试例构成的测试集叫可执行测试集（ETS，Executed Test Suite）第13页/共66页测试集的分类这三个测试集环环相扣，一一为后一测试集奠定了基础、提供了设计的依据。GTS是对测试目的、测试覆盖范围和测试内容的宏观描述，详细地界定测试组、子组和测试例，是后续的抽象测试集的描述和具体化的基础。根据GTS和采用的测试方法，再采用某种描述语言(如TTCN)对测试例和测试步骤进行详细的描述，然后再组合成ATS。测试系统测试支撑工具（编译器或解释器）将ATS变为特定测试系统可执行的机器代码，直接用于控制测试过程。第14页/共66页ISO 9646标准化测试过程测试准备阶段生成ATS；测试操作阶段产生参数化的可执行测试集ETS；测试执行阶段执行可执行测试集，分析测试结果，生成测试报告。第15页/共66页ISO 9646标准化测试步骤研究协议标准，明确OSI协议的标准化要求，根据该要求的不同覆盖确定测试目的;根据测试目的对测试控制数据分组，并为分组中每一元素（即测试例）决定测试目标;针对每一测试目标确定一个通用测试例GTC选定某种抽象测试方法，以GTC为根据，派生出相应的抽象测试例 ATC确定一ATS的描述工具，实现抽象测试例的描述。第16页/共66页IPv6协议集的一致性超级测试类测试规划举例GTS测试集的规划原则尽管IP路由器的用户平面较为简单，仅涉及网络层的IP协议；但其信令控制与管理平面却涉及包括应用层在内的多个协议。如网络层的协议除IP之外，在IP之上的子层中，有ICMP、RSVP、IPSec等；而在IP之下的子层中，有ARP和RARP等。GTS的规划必须充分考虑其复杂性，以便将单个GTS的规划控制在可管理的范围内。第17页/共66页IPv6协议集的一致性超级测试类测试规划举例GTS测试集的规划原则测试集的可管理原则单个GTS的规模不宜太大，所涉及协议宜尽量少。在IP路由器通用测试集的规划实践中采用了以单个协议为基础规划GTS的方法，以避免单个测试集过大，向下细分层次过多。向上汇聚原则在ISO的测试集之上，引入了超级测试类(STC-Super Test Class)的概念，将多个测试集向上汇聚为超级测试类(STC)，相应地可派生出通用超级测试类(GSTC)和抽象超级测试类(ASTC)。第18页/共66页IPv6协议集的一致性超级测试类测试规划举例GTS测试集的规划原则测试集划分原则为了适应不同测试性质的测试需要，测试集可分为：一致性测试集、性能测试集、互通测试集等。测试组划分原则针对不同的测试集，划分原则也有所不同。一致性测试主要根据测试需求以协议标准为单位来划分测试组（如ICMP协议测试组、RIP协议测试组等）；而性能测试主要按性能指标实现测试组的划分（如端口流量测试组等）。测试组可根据需要进一步增加。第19页/共66页IPv6协议集的一致性超级测试类测试规划举例GTS测试集的规划原则测试子组划分原则对于无连接的单状态协议（如IPv6协议）按报文格式的字段以及协议各项功能来划分测试子组。对于多状态协议，无连接（如RIPng协议）或有连接协议（如OSPF协议、TCP协议）基于协议的有限状态机并结合非状态描述按各状态来划分测试子组。第20页/共66页IPv6协议集的一致性超级测试类测试规划举例GTS测试集的规划原则GTC测试例的规划原则按报文格式的字段划分测试子组，其测试例的规划主要按各字段的有效取值和无效取值划分。按协议功能划分测试子组，其测试例的划分有几种情况：一是按功能的有效情况和无效情况划分测试例；二是继续划分子功能，将之作为测试例。基于状态划分的主要按状态的输入事件、输出事件、状态变迁、状态处理等划分相应的测试例。第21页/共66页IPv6协议集的一致性超级测试类中测试规划举例测试组规划举例测试组规划举例IPV6基本功能基本功能IPV6路由协议路由协议IPV4-IPV6的过渡机制的过渡机制移动移动IPV6机制机制IP安全机制安全机制第22页/共66页第23页/共66页第24页/共66页IPv6协议集的一致性超级测试类中测试规划举例测试控制数据命名与编码规则为了使测试名称的定义既符合规划原则和层次性分组原则，又能够兼顾可读性和机器易识别性，必须为了使测试名称的定义既符合规划原则和层次性分组原则，又能够兼顾可读性和机器易识别性，必须对测试控制数据的命名和编码做明确的规定。对测试控制数据的命名和编码做明确的规定。第25页/共66页IPv6协议集的一致性超级测试类测试规划举例测试控制数据命名与编码规则 第26页/共66页IPv6协议集的一致性超级测试类测试规划举例测试控制数据命名与编码规则 第27页/共66页IPv6协议集的一致性超级测试类中测试规划举例IPv6协议测试集的缩写命名规则：G_SSTC_IPv6表IPv6协议集单个/双端口通用超级测试类。A_SSTC_IPv6表IPv6协议集单个/双端口抽象超级测试类。C表一致性测试集；P表性能测试集；I表互操作用G1，G2.Gn表示测试组1到测试组n；用GS1，GS2.GSn表示测试子组1到测试子将一致性测试例以有效行为测试BV（Valid Behavior）和无效行为测试BI（Invalid Behavior）表示，对于每个测试子组的行为用BV或BI加上具体的编号以示区别，都从001开始编号考虑到ATS与具体的测试方法有关，用SL（Single Loop-back）、DL（Double Loop-back）、TR（Transverse）、MP（Multi-Port）分别表示单端口的回绕法配置、双端口的回绕法配置、穿越法的配置以及多端口配置。比如：比如：A_SSTC_C_IPv6_TR_G1_GS1_BV001表示表示TTM对路由器上单个对路由器上单个/双端口抽象超级测试类中的双端口抽象超级测试类中的IPv6基本描述协议实基本描述协议实现（现（G1）Version字段（字段（GS1）的有效行为（）的有效行为（BV001:Version_6）进）进行一致性测试。行一致性测试。第28页/共66页IPv6协议集的一致性超级测试类测试规划举例测试规划报文格式的测试规划协议功能的测试规划 多状态协议GTS的规划 第29页/共66页IPv6协议集的一致性超级测试类测试规划举例IPV6协议的特点IPV6有比IPV4更长的地址空间IPV6对头部进行了简化，这一变化使得路由器能够更快的处理分组。更好的支持选项，因为以前那些必须的域变成了可选的，而且选项的表达方式也有所不同，使得路由器可以非常简单地跳过那些与它无关的选项。在安全性方面有所改进 第30页/共66页IPv6 基本描述协议通用测试集的规划表 第31页/共66页IPv6 基本描述协议通用测试集的规划表 第32页/共66页IPv6 基本描述协议通用测试集的规划表 第33页/共66页IPv6 基本描述协议通用测试集的规划表 第34页/共66页IPv6 基本描述协议通用测试集的规划表 第35页/共66页IPv6协议集的一致性超级测试类测试规划举例报文格式的测试规划IPV6基本描述协议提供不可靠、无连接的数据传送服务，它并不维护任何关于后续数据报的状态信息，因此无状态变迁。第36页/共66页IPv6协议集的一致性超级测试类测试规划举例报文格式的测试规划以IPV6基本报头版本（Version）测试目的定义为例，将该字段的测试划分为第1测试子组GS1接着根据协议文本对该字段的描述（其值必须为6）按字段值是否有效，分别设计了有效值为6，有效值为5和4的三个测试例。设置4是想检测被测路由器对版本号字段值为4的IPv6包是按IPv4包处理还是将之作为无效的包处理第37页/共66页IPv6协议集的一致性超级测试类测试规划举例报文格式的测试规划基本报头其它字段Traffic Class、Flow Label第38页/共66页IPv6协议集的一致性超级测试类测试规划举例IPv6扩展报头由于替代了IPv4中的任选项，信源可以选择在一个给定的数据报中要包含或忽略哪些扩展报头，从而大大提高了网络性能。一个IPv6可携带0个、1个或多个扩展选项头（简称选项头），而每个选项头的类型由其之前头标的下一头值（Next Header）标明。根据该字段值的不同可分为6个选项头：跳到跳选项头HBH（Hop-by-Hop Options Header）目的选项头（DOH，Destination Option Header）路由报头RH（Router Header）分段报头FH（Fragment Header）认证报头AH（Authentication Header）封装安全载荷报头ESP（Encapsulated Security Payload Header）由于扩展头涉及多个选项头，每个选项头的描述比较繁杂，因此需要理清其中关系，一步步层层规划和细分，为了说明扩展头部分测试集的规划，以树形结构图进行说明第39页/共66页IPv6协议集的一致性超级测试类测试规划举例第40页/共66页IPv6协议集的一致性超级测试类测试规划举例协议功能的测试规划对协议功能进行测试规划的一般方法是根据协议文本，同时结合相关资料和实践经验划分各项功能及其无效情况就能得到覆盖较全面的协议功能测试集。第41页/共66页IPv6协议集的一致性超级测试类测试规划举例协议功能的测试规划ICMPv6是单状态协议，不同的是它更侧重于协议的功能。RFC2463描述了该协议报文的总体格式（差错报文和信息报文）、报文源地址的测定、报文校验和的计算、报文处理规则以及差错报文和信息报文的处理。第42页/共66页IPv6协议集的一致性超级测试类测试规划举例协议功能的测试规划ICMPv6差错报文主要有四种类型：目的不可达包过大超时参数出错每一种类型都有不同的描述和要求，根据这四种类型可将差错报文的测试规划为相应的4个测试子组。对于各测试子组的细化将以参数出错为例进行说明。参数出错的情况有三种错误的报头字段不可识别的下一报头类型不可识别的IPv6选项第43页/共66页IPv6协议集的一致性超级测试类测试规划举例协议功能的测试规划ICMPv6测试举例G2GS1BV001Erroneous Header FieldBV002Unrecognized Next HeaderBV003Unrecognized IPv6 Option第44页/共66页IPv6协议集的一致性超级测试类测试规划举例多状态协议GTS的规划 多状态协议由于具有状态变迁因而比单状态协议在GTS的规划上更为复杂以RIPng（RIP next generation）为例来进行测试集的规划众所周知，基于距离矢量并且使用最为广泛的路由协议是路径信息协议RIP。RIP作为一种成熟的路由标准，以其实现简单、易于操作和维护等优点在Internet网，尤其在一些中小型网络中得到了极为广泛的应用。正是基于这种现状，同时考虑到RIP与IPv6的兼容性问题，IETF对现有技术进行改造，制定了IPv6下的RIP标准，即RIPng。第45页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPngRIPng协议的目标并不是创造一个全新的协议，而是对RIP进行必要的改造以适应IPv6下的选路要求，其主要变化在地址和报文格式方面，但其工作原理同RIP一样RIPng协议是距离矢量算法在网络上的直接实现，RIPng把参与通信的机器分为主动机和被动机两种。主动机主动地向其它路由器通告路由，被动机被动地接受其它路由器发来的路由。只有路由器以主动方式使用RIPng，而主机只能作被动机，因为主机不了解路由信息。第46页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng运行RIPng的路由器维持一个到所有可能目的网络的路由表，该路由表有一个周期计时器（Regular Timer，RT）与之相联系，RT一到时路由器就周期性地向邻居节点发送该路由器的路由表，接收方通过接收通告更新自己的路由表。这种周期性的路由信息的交换使得每个路由器形成对网络拓扑结构的局部认识。第47页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPngRIPng使用到达目的地所经过的链路数，即跳数来度量路由花费，同时RFC规定RIPng的工作范围为15跳，数值16表示路由不可达。在周期更新的同时，为防止路由表因长时间未更新而失效，RIPng路由表中每个路由表条目要设置两个计时器与之相联系，由此实现过时路由的处理。这两个计时器是超时计时器（Timerout Timer,TT）和垃圾计时器(Garbage Collection Timer，GT）。每增加一个新的路由表条目，就相应的增加两个计时器。当新的路由被加入到路由表中时，TT被初始化为0，并开始计数。每当收到包含路由的RIPng消息，TT就被重新设置为0。如果在180秒内没有接收到包含该路由的RIPng消息，该路由的度量就被设置为16，而启动该路由的GT。如果120秒过去了，也没有收到该路由的RIPng消息，该路由就从路由表中删除。如果GT未到期时（即在120秒之间），收到了包含路由的消息，计时器被清0，而路由被加到路由表中。第48页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng的报文格式RIPng是基于UDP的协议，并且使用端口号521发送和接收数据报。RIPng报文由固定的首部和路由表项RTE（Route Table Entry）组成，其中路由表项可以有多个。命令字段1表示请求部分或全部选路信息，命令号2表示响应，其中包含一个或多个RTE。版本号字段包含了协议的版本号，接收方会检测该字段，以确定对方运行的RIPng协议本地是否能进行正确的解释。第49页/共66页IPv6协议集的一致性超级测试类测试规划举例RTE的结构路由标记字段的用途是用来对外部路由做标志，以区分内部路由和外部路由，供外部网关路由协议（如EGP或BGP）使用。前缀长度字段指明了前缀中有效位的长度，IPv6中使用了前缀长度的概念代替了IPv4中的子网掩码。由于IPv6地址的意义很明确，因此RIPng中不再区分网络路由、子网路由或主机路由。路由花费字段指明到目的网络的花费，由于RIPng的最大工作直径为15跳，因此该字段可以为1和15之间的任意值，16即意味着目的地不可达。RIPng中仍然使用固定的度量方式，即该字段的含义只能是跳数，路由器不能对其进行其他的解释。第50页/共66页IPv6协议集的一致性超级测试类测试规划举例同RIP一样，基于DV算法的路由协议RIPng在进行路由更新时也会遇到慢收敛（Slow Convergence）和无限计数(Count to Infinity)的问题，这会引发路由的不一致。如果出现环路，直到度量为16，路径回路才能被解除，这属于慢收敛问题。解决的方法很多，主要采用分割范围法（Split Horizon）和带触发更新的毒性逆转法(Posion Reverse with Triggered updates)。分割范围法的原理是：当网关从某个网络接口发送RIPng路径更新报文时，其中不能包含从该接口获得的路径信息。毒性逆转法的原理是：某路径崩溃后，最早发送此路由的网关将原路由继续保存在若干更新报文中，但是指明该路由为无穷（即度量为16）。为了加强毒性逆转的效果，最好同时使用触发更新技术：一旦检测到路径崩溃，立即向邻居通告路由更新，而不必等待下一周期发送更新。第51页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng的规划方法（一）根据RFC文档描述，将其分为RIPng报文格式、计时器处理，输入处理，输出处理和分割范围5个测试子组。此方法是目前IPv6协议测试研究组织或公司在使用的一种比较通用的方法，但仅凭测试人员对协议文本的理解难免会疏漏很多可能出现的情况和状态第52页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng的规划方法（二）根据RIPng的不同状态来设计其测试子组和测试例。从协议实现的工作原理出发，尽量考虑到协议的各种状态，为测试的完备性提供了较好的保障，但该方法主要依据输入输出事件对状态的影响，无法较好的对RFC中非状态描述进行覆盖。第53页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng的规划方法RIPng有10个状态，针对各状态下RUT的响应首先划分了相应的10个大组，再根据各状态的不同情况（如各状态输入条件和变迁条件的不同、输入请求处理和输入响应处理的不同以及不同报文的有效性检查等）设计其所属状态的测试子组及其测试例第54页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng状态变迁图第55页/共66页IPv6协议集的一致性超级测试类测试规划举例超时计时器和垃圾收集计时器控制的状态变迁规划举例 RIPng有三个重要的计时器，周期更新计时器、超时计时器和垃圾收集计时器，这三个计时器控制了最主要的状态变迁。对于后两种计时器的测试划分按RIPng的工作原理主要有以下3种情况：超时计时器期满处理：如果在180秒内没有接收到包含该路由的RIP消息，该路由的度量就被设置为16，而启动该路由的垃圾收集计时器。垃圾收集计时器期满处理：如果120秒过去了，也没有收到该路由的RIP消息，该路由就从路由表中删除。垃圾收集计时器运行处理：如果在垃圾收集计时器到120秒之前，收到了包含路由的消息，计时器被清0，而路由被加入到路由表中。第56页/共66页IPv6协议集的一致性超级测试类测试规划举例超时计时器和垃圾收集计时器控制的状态变迁规划举例 第57页/共66页IPv6协议集的一致性超级测试类测试规划举例输入请求处理的测试可以从三个方面来考虑请求处理前请求报文的合法性检查，包括命令字段（Command）、版本字段（Version）和零域（Must be zero）字段。在字段有效情况下还要检查路由器对收到的请求报文的处理是否合乎协议一致性标准。根据协议规定，可将路由器对请求报文的处理分为以下几种情况：当请求报文的UDP源端口为非521时，路由器应以全球可用的源地址和端口发送应答报文；另外路由器应忽略无条目的请求报文；对于只有一条地址条目并且其目的前缀为0，长度为0，距离为16的请求报文，路由器的应答报文应包括其路由表的所有的路由；若路由表中存在请求报文中的路由，则将其距离值填入应答报文，否则将应答报文中的距离值设为16。由上述四种情况设计了测试子组GS12及其对应的四个测试例第58页/共66页IPv6协议集的一致性超级测试类测试规划举例RIPng使用了分割范围和毒性逆转在一定程度上解决了慢收敛和无限计数问题，关于这部分的测试需求可分为以下三方面：当路由器收到请求特定路由的请求报文时，在发送应答报文前不执行分割范围。当路由器收到请求全部路由的请求报文的时候，在发送应答报文前应当执行分割范围。当路由器配置毒性逆转时，路由器向学习到该路由条目的路由器发送包含该条目的应答报文，但距离值设为16由此设计了测试子组GS13及相应的测试例，来检测路由器在禁止分割 范围，配置分割范围禁止毒性逆转、配置毒性逆转情况下对收到的请求报文是否作出了合乎协议规范的处理。第59页/共66页RIPng通用测试集规划表第60页/共66页RIPng通用测试集规划表第61页/共66页RIPng通用测试集规划表第62页/共66页RIPng通用测试集规划表第63页/共66页RIPng通用测试集规划表第64页/共66页RIPng通用测试集规划表第65页/共66页感谢您的观看！第66页/共66页