云计算基础设施软件通用测试规范(T-CICC 02007—2021).pdf

《云计算基础设施软件通用测试规范(T-CICC 02007—2021).pdf》由会员分享，可在线阅读，更多相关《云计算基础设施软件通用测试规范(T-CICC 02007—2021).pdf（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、ICS 35.080 L70/84 中 国 指 挥 与 控 制 学 会 团 体 标 准 T/CICC 02007-2021 云计算基础设施软件通用测试规范 General Test Specifications for Cloud Computing Infrastructure Software 2021-05-13 发布 2021-05-30 实施 中国指挥与控制学会 发 布 T/CICC 02007-2021 I 目 次 前 言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 要求.3 4.1 测试目的.3 4.2 云计算基础设施软件评价指标.3 5 详细要求.7 5

2、.1 对不同等级软件的测试要求.7 5.2 测试要求和内容.8 T/CICC 02007-2021 II 前 言 本标准按照GB/T 1.1-2009标准化工作导则 第1部分：标准的结构和编写的规则起草。本标准由中国船舶集团有限公司提出。本标准由中国指挥与控制学会归口。本标准起草单位：中国船舶重工集团公司第七一六研究所、南京航空航天大学、广州市品高软件股份有限公司。本标准主要起草人：李吟、吴振乾、张峻玮、王依科、钱巨、李伟文。T/CICC 02007-2021 1 云计算基础设施软件通用测试规范 1 范围 本标准规定了云计算基础设施软件测试过程活动的基本要求，包括测试目的、测评机构、进入条件、

3、通过准则、测试文档、测试工作流程、被测试软件的处置、测试工作产品与控制和测试偏离处理和度量与评价指标，同时规定了软件测试过程活动的具体要求和详细内容。本标准适用于测评机构进行的云计算基础设施软件配置项测试。2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 11457 软件工程术语 3 术语和定义 下列术语和定义适用于本标准。3.1 云计算 cloud computing 是一种通过网络可伸缩、弹性的共享物理和虚拟资源池以按需自服务的方式供应和管理的模式。注：

4、资源包括服务器、操作系统、网络、软件、应用和存储设备等。3.2 云服务 cloud service 通过云计算（3.1）已定义的接口提供的一种或多种能力。3.3 云服务客户 cloud service customers 为使用云服务（3.2）而处于一定业务关系中的参与方。3.4 云能力类型 cloud capability type 根据资源使用情况提供给云服务客户的云服务功能进行的分类。注：云能力类型包括应用能力类型、基础设施能力类型和平台能力类型。3.5 基础设施能力类型 infrastructure capability type 云服务客户（3.3）能配置和使用计算、存储或网络资源的

5、一类云能力类型（3.4）。T/CICC 02007-2021 2 3.6 云计算基础设施 cloud infrastructure 由硬件资源和资源抽象控制组件构成的支撑云计算的基础设施。3.7 基础设施即服务 infrastructure as a service 为云服务客户（3.3）提供云能力类型中的基础设施能力类型的一种云服务类别。3.8 云计算基础设施软件 cloud computing infrastructure software 为云服务客户（3.3）提供云能力类型（3.4）中的基础设施能力类型的一种云计算基础设施软件类别，提供基础设施即服务（3.7），提供处理、储存、网络以及

6、各种基础运算资源，部署与执行操作系统或应用程序等各种软件。3.9 弹性 elastic 根据用户的需求随时分配、回收和调整云服务资源的能力。3.10 多租户 multi-tenant 通过对物理或虚拟资源的分配保证多个租户以及他们的计算和数据彼此隔离和不可访问。3.11 资源池化 resource pooling 将云服务提供者的物理或虚拟资源集成起来服务于一个或多个云服务客户（3.3）。3.12 虚拟化 virtualization 将各种实体资源予以抽象、转换后呈现出来，打破实体结构间不可切割的障碍，使用户可以用比原本的组态更好的方式来应用这些资源。3.13 云能力 Cloud abili

7、ty 按资源的使用情况为云服务客服提供的服务功能。可分为应用能力、基础设施能力和平台能力。3.14 基础设施即服务 Iaas 把IT基础设施作为一种服务通过网络对外提供，并根据用户对资源的实际使用量或占用量进行计费的一种服务模式。3.15 T/CICC 02007-2021 3 平台即服务 Paas 将一个完整的软件研发和部署平台，包括应用设计、应用开发、应用测试和应用托管，都作为一种服务提供给客户。3.16 软件即服务 Saas 通过网络提供软件服务。3.17 体验质量 QoE 指用户对设备、网络和系统、应用或业务的质量和性能的主管感受。3.18 服务质量 QoS 指一个网络能够利用各种基础

8、技术，为指定的网络通信提供更好的服务能力。3.19 客户机/服务器 C/S 该结构采取两层结构，服务器负责数据的管理，客户机负责完成与用户的交付任务。3.20 浏览器/服务器 B/S 在客户机端不用装专门的软件，仅利用浏览器来代替所有的客户机的功能。4 要求 4.1 测试目的 测试目的包括：a)验证云计算基础设施软件设计与实现是否满足软件研制任务书或合同以及软件需求规格说明等规定的要求；b)验证被测软件的弹性计算服务能力、负载均衡能力、高并发访问能力；c)通过测试，发现云计算基础设施软件中的功能/性能问题，提高软件可靠性；d)检查软件相关文档的完整性、一致性、准确性；e)为软件的确认、验收以及

9、质量及可靠性评估提供依据；f)定型或鉴定测试时，考核软件是否符合软件研制总要求或系统(设备)研制总要求规定的与软件相关的战技指标，为设备定型或鉴定提供依据。4.2 云计算基础设施软件评价指标 4.2.1 云计算基础设软件评价指标体系 云计算基础设施软件评价指标体系架构见图 1。T/CICC 02007-2021 4 云云计计算算服服务务设设施施软软件件评评价价指指标标体体系系网网络络架架构构路路由由与与交交换换能能力力存存储储架架构构的的快快速速响响应应能能力力系系统统安安全全性性系系统统可可靠靠性性路路由由指指标标交交换换指指标标容容错错性性资资源源共共享享安安全全控控制制权权转转移移易易恢

10、恢复复性性路路由由计计算算能能力力路路由由吞吞吐吐量量传传输输速速率率每每秒秒连连接接数数每每秒秒事事物物数数读读写写速速率率存存储储服服务务能能力力数数据据服服务务能能力力功功能能容容错错能能力力性性能能容容错错能能力力服服务务成成熟熟度度开开放放的的接接口口能能力力服服务务监监控控能能力力服服务务保保证证能能力力服服务务效效率率能能力力网网络络响响应应性性能能计计算算资资源源池池化化存存储储资资源源池池化化计计量量计计费费能能力力服服务务提提供供能能力力服服务务获获得得能能力力资资源源抽抽象象与与控控制制能能力力网网络络资资源源池池化化弹弹性性伸伸缩缩与与效效率率容容量量能能力力虚虚拟拟化

11、化能能力力计计算算资资源源虚虚拟拟化化网网络络资资源源虚虚拟拟化化存存储储资资源源虚虚拟拟化化响响应应时时间间可可扩扩充充性性传传输输模模式式事事物物响响应应时时间间网网络络设设备备成成熟熟性性数数据据传传输输权权限限管管理理图 1 云计算基础设施软件评价指标体系结构 4.2.2 网络架构路由与交换能力 云计算基础设施的过度延迟主要是由交换和路由引起，为评估网络架构路由和交换能力，确保在任何情况下的服务和数据存取无需经历过度的延迟，具体的指标及相关定义如下：a)路由指标 1)CPU 能力：实现路由协议、计算路由以及分发路由表的能力；2)包转发：数据包的转发；3)查表：查找路由表；4)路由吞吐量

12、：路由的包转发能力；5)时延：数据包的第一个比特进入路由，到该帧的最后一个比特离开路由所经历的时间；6)路由协议支持：在路由指导 IP 数据包发送过程中事先约定好的规定和标准。b)交换指标 1)传输速率：交换机端口的数据交换速度；2)传输模式：数据发送及接收的方式，主要有全双工、半双工、全双工/半双工自适应。4.2.3 存储架构的快速响应能力 为保证数据和存储服务的及时交付、数据和存储服务的可用性，从存储层面确保云平台的“服务可度量”标准。主要从数据服务能力和存储服务能力两个角度建设评测指标。a)数据服务能力 1)用户数；2)每秒连接数；3)每秒事务数；T/CICC 02007-2021 5

13、4)当前连接数；5)吞吐量；6)端用户 QoE；7)服务器利用率。b)存储服务能力 1)读写速率；2)I/O 速率；3)事务响应时间；4)吞吐量；5)服务器利用率。4.2.4 虚拟化能力 虚拟化能力分为对计算资源、存储资源和网络资源进行虚拟化的能力。虚拟化能力保证最终使用者在使用云服务时，感觉不到云计算平台的实际架构和技术实现，确保云计算平台对使用者的透明，是用于衡量云计算的“按需自助服务”“资源池化”和“快速伸缩”的标准，是保证云计算基础设施性能的基础。a)计算资源虚拟化能力 1)CPU；2)加速比；3)响应时间；4)减速比；5)正常运行时间；6)暂停时间。b)存储资源虚拟化能力 1)可扩充

14、性；2)内存；3)吞吐率。c)网络资源虚拟化能力 1)I/O 设备；2)网络设备；3)文件系统。4.2.5 资源抽象与控制能力 为保证“按需自助服务”，云计算基础设施需建立资源池，通过资源池化扩大规划后的容量，并进行容量管理，这种资源池化和建立在资源池化上的管理就是资源抽象和控制能力。a)计算资源池化：高效的虚拟化服务器资源，把它们整合到逻辑资源池，通过控制能力把这些资T/CICC 02007-2021 6 源定位到具体应用；b)网络资源池化：规划和管理虚拟化环境下的网络；c)存储资源池化：从复杂的硬件系统抽象出存储资源、确保最大化效率利用存储。4.2.6 服务成熟度 云计算基础设施的服务成熟

15、度是一种评估云计算基础设施的服务成熟性指标，用于量化云计算基础设施的服务质量等级。服务成熟度考虑5个维度，对当前服务质量等级进行评估。通用评价指标体系主要从IaaS、PaaS、SaaS层面来度量服务成熟度 a)服务提供能力 1)服务获得能力：无论什么情况下，都可以存取服务和数据，且都不需要经历过渡的延迟，使服务看上去或者感觉上位于本地；2)服务保证能力：服务提供者在不控制用户和云之间数据传输的情况下，确保服务及时交付和服务的可用性；服务提供者监控基础架构来确保服务提供；数据通讯提供者监控基础架构的目的是确保服务级别；3)服务效率能力：广域网提供在企业客户和云服务之间数据通讯的服务，基于服务保障

16、和端到端的服务可获得测试；数据中心架构中服务可获得、设备正常运行和资源高效利用一样，是确保服务高效的关键；数据中心用于监控的结构是服务保障的基础，监控的结构也需要高效；为了确保整体上服务高效和可用，独立服务器和服务器上的器件必须遵循高效和可用性原则。b)服务监控能力 c)计量/计费能力 d)开放的接口能力 e)网络响应性能 4.2.7 安全性 安全性主要测试：a）资源共享安全 1)数据存储；2)数据传输；3)数据使用；4)应用安全。b）控制权转移安全 1)用户账号权限管理；2)角色权限管理。4.2.8 可靠性 可靠性主要测试：T/CICC 02007-2021 7 a)容错性：包括功能和性能的

17、容错能力，指软件出现故障或违反其指定接口时，软件产品维持其规定的性能级别的能力；b)易恢复性：在失效发生时，软件产品重建规定的性能级别并恢复直接受影响的数据的能力；c)成熟性：软件产品为避免由软件故障而导致失效的能力。5 详细要求 5.1 对不同等级软件的测试要求 根据每个软件的控制类别和系统风险指标确定每个软件的安全性等级。软件安全性等级从高到低为 A、B、C、D 四个等级。由于云计算基础设施软件的安装部署不是由用户使用安装程序来实现，而是由服务的维护方进行服务发布来实现，因此安装性测试根据软件研制任务书或合同以及软件需求规格说明等规定进行裁剪。不同等级软件的测试类型要求参见表 1。表 1

18、不同等级软件的测试类型要求 测试类别测试类别 测试类型测试类型 软件等级软件等级 A A B B C C D D 配置项测试 文档审查 静态分析 功能测试 性能测试 接口测试 内存使用缺陷测试 兼容性测试 可管理性测试 可用性与可靠性测试 可扩展性测试 安装性测试 国产化测试 人机界面交互测试 注 1：必须进行的测试，建议进行的测试，不要求进行的测试。注 2：如果依据合同对本指导性技术文件要求必须进行的测试类型进行裁减，应给出说明。表 2 云计算服务设施软件测试等级对应表 序号序号 云计算服务云计算服务设施软件对应能力设施软件对应能力 测试测试等级等级 1 网络架构路由与交换能力 路由指标 A

19、 2 交换指标 A 3 存储架构快速响应能力 数据服务能力 A 4 存储服务能力 A T/CICC 02007-2021 8 5 虚拟化能力 计算资源虚拟化 A 6 存储资源虚拟化 A 7 网络资源虚拟化 A 表 2（续）序号序号 云计算服务云计算服务设施软件对应能力设施软件对应能力 测试测试等级等级 8 资源抽象与控制能力 计算资源池化 A 9 网络资源池化 A 10 存储资源池化 A 11 服务成熟度 开放的接口能力 A 12 服务监控能力 A 13 计量计费能力 A 14 服务提供能力 A 15 网络响应性能 B 16 系统安全性 资源共享安全 B 17 控制权转移 B 18 系统可靠性

20、 容错性 B 19 易恢复性 B 20 成熟性 B 5.2 测试要求和内容 5.2.1 测试要求 测试要求为：a)应逐项测试软件需求规格说明规定的配置项功能、性能等特性；b)配置项每个特性应至少被一个正常测试用例和一个被认可的异常测试用例所覆盖；c)测试用例的输入应至少包括有效等价类值、无效等价类值和边界数据值；d)应测试的配置项输出及其格式；e)应测试人机交互界面提供的操作和显示界面，包括用非常规操作、误操作、快速操作测试界面的可靠性；f)应测试运行条件在边界状态和异常状态下，或在人为设定的状态下，配置项的功能和性能；g)应按软件需求规格说明的要求，测试配置项的安全性和数据的安全保密性；h)

21、应测试配置项的所有外部输入、输出接口（包括和硬件之间的接口）；i)应测试配置项的全部存储量、输入/输出通道的吞吐能力和处理时间的余量；j)应按软件需求规格说明的要求，对配置项的功能、性能进行强度测试；k)应测试设计中用于提高配置项的安全性和可靠性的方案，如结构、算法、容错、冗余、中断处理等；l)对安全性关键的配置项，应对其进行安全性分析，明确每一个危险状态和导致危险的可能原T/CICC 02007-2021 9 因，并对此进行针对性的测试；m)对有恢复或重置功能需求的配置项，应测试其恢复或重置功能和平均恢复时间，并且对每一类导致恢复或重置的情况进行测试；n)对不同的实际问题应外加相应的专门测试

22、。5.2.2 测试内容 5.2.2.1 文档审查 依据文档审查单，对照文档编制所依据的标准，采用人工审查方法对被测软件文档的齐套性、完整性、正确性、一致性进行逐项检查：a)齐套性审查主要是审查被测软件文档是否满足规定的文档种类要求；b)完整性审查时主要审查文档的格式、内容是否满足文档编制所依据的标准规定的要求，是否包含对软件接收输入数据类型和边界值的描述或说明，对不可能提供的边界值情况是否说明极值；c)准确性审查时主要从文档的标识、软件设计描述、文档内容等是否准确进行审查；d)一致性审查时主要从文档内容前后、文档与程序、文档与文档之间的内容是否一致进行审查。5.2.2.2 静态分析 对配置项的

23、实现文件（如 C、C+开发的文件）进行静态分析，包括控制流分析、数据流分析、接口特性分析、表达式分析、内存使用缺陷分析、代码特性的静态统计信息分析等。5.2.2.3 功能测试 功能测试内容包括：a)地域管理，测试可用地域查询列表功能；b)虚拟机规格管理，测试虚拟机规格的创建、删除、查询等功能；c)实例管理，测试实例的创建、删除、查询、启停控制等功能；d)磁盘管理，测试磁盘的创建、删除、查询、挂卸载等功能；e)快照管理，测试快照的创建、删除、查询等功能；f)镜像管理，测试镜像的创建、删除、查询等功能；g)专有网络管理，测试专有网络的创建、删除、查询等功能；h)交换机管理，测试交换机的创建、删除、

24、查询等功能；i)路由器管理，测试路由器的创建、删除、查询等功能；j)负载均衡服务管理，测试负载均衡服务的创建、删除、查询等功能；k)安全组管理，测试安全组的创建、删除、查询、安全组规则的创建、删除等功能；l)弹性伸缩组管理，测试弹性伸缩组的创建、删除、查询等功能；m)动态资源分配，测试动态资源分配功能，根据物理主机的负载情况，对资源进行智能调度，达到集群负载均衡，保证系统良好的性能和资源负载均衡；n)动态资源扩展，测试动态资源扩展功能，虚拟机在运行过程中能够在线增加 CPU、内存、磁盘等硬件资源；T/CICC 02007-2021 10 o)测试 QoS，测试网络、磁盘等质量配置管理功能；p)

25、实例热迁移，测试虚拟机热迁移功能，在保证虚拟机运行状态下手动或自动迁移到指定的目标主机，保证运行在该虚拟机上的业务不中断；q)测试多资源池统一管理，测试异构资源池的接入和统一管理；r)测试多站点跨中心统一用户管理和统一认证；s)测试物理机纳管，在物理机和虚拟机混合组网的情况下，测试将物理服务器纳入管理，测试物理机全自动发放和配置；t)租户管理，测试多租户功能，满足不同的业务条线、部门、单位之间的资源隔离需求，并对资源使用量进行配额限制，测试资源池动态调配；u)服务管理，测试服务的注册、发布与管理等功能；v)拓扑管理，测试网络、存储、计算资源等监控对象的拓扑展示；w)性能监控，测试虚拟机等监控对

26、象的 CPU、内存、硬盘的性能和使用情况监控；x)告警管理，测试告警展示、告警处理、关联对象告警查看等功能；y)资源容量管理，测试资源容量预警、容量分析等功能。5.2.2.4 性能测试 性能测试内容包括：a)测试单数据中心服务器可支持管理规模；b)测试多数据中心扩展后服务器可支持管理规模；c)测试本地弹性计算服务最大响应时间；d)测试 CPU 虚拟化效率；e)测试虚拟机卷最大容量；f)测试虚拟交换性能，测试虚拟交换机对虚拟化平台内部虚拟机之间的数据转发性能，也需要测试交换机对虚拟机和外部主机之间的转发能力；g)测试在线迁移能力，测试在线迁移过程中虚拟机停止运行的时间，一次在线迁移的持续时间、迁

27、移过程中网络数据传输量，在线迁移对虚拟机中负载性能的影响；h)测试虚拟化平台性能，测试虚拟化平台自身对硬件资源的消耗和虚拟机平台对其承载虚拟机的调度效率；i)测试响应时间，测试从发送事务请求到收到该事务请求回应的时间间隔。5.2.2.5 接口测试 测试产品是否能够支持以下接口：a)POSIX 访问接口；b)NFSv4 访问接口；c)NFSv3 访问接口；d)SMB 访问接口；T/CICC 02007-2021 11 e)FTP 访问接口；f)CIFS 访问接口；g)restful 访问接口【*】；h)hadoop Api 访问接口【*】；i)系统监控、管理接口；j)用户管理接口。5.2.2.6

28、 内存使用缺陷测试 a)内存使用错误；b)指针与内存泄漏错误。5.2.2.7 兼容性测试 应测试：a)测试 KVM 虚拟化；b)测试异构云部署中的虚拟机跨平台迁移；c)测试与 Terraform 适配。5.2.2.8 可管理性测试 应测试：a)测试是否提供可按步骤操作的用户手册和系统管理员手册；b)测试所有系统管理功能是否可在界面上进行；c)测试系统服务维护工具是否完善成套；d)测试状态监控与告警功能；e)测试系统服务日志可分级，测试故障追踪。5.2.2.9 可用性与可靠性测试 应测试：a)可用性99.99%；b)系统整体故障恢复时间小于 1 小时；c)系统局部故障恢复时间小于 0.5 小时。5.2.2.10 可扩展性测试 应测试：a)测试在线升级系统；b)测试主机、存储资源的在线扩展；c)测试定制开发。5.2.2.11 安装性测试 应测试：a)测试可视化、自动化安装部署；b)测试分布式存储；c)测试超融合部署（计算存储一体化部署）。T/CICC 02007-2021 12 5.2.2.12 国产化测试 应测试：a)测试对国产申威、飞腾等服务器的支持；b)测试对申威睿思、中标麒麟、深度等国产操作系统的支持。5.2.2.13 人机交互界面测试 测试是否提供有 C/S 或 B/S 方式的可视化管理、配置、监控工具。