面向云边协同的视频质量评估场景及方案白皮书.docx

目录1.视频质量评估技术的开展情况2L1海量视频业务催生视频体验评估保障需求 21.2视频质量评估技术开展现状 21 .云边协同下视频质量评估的内涵和价值 32. 1云边协同的内涵42. 2云边协同的视频质量评估的价值 53.基于云边协同的视频质量评估框架63. 1云边协同下的视频质量评估框架设计原那么 63. 2云边协同下的视频质量评估架构74.云边协同下各种视频质量评估场景及方案 104.1视频监控场景质量评估 104. 2视频制作内容场景质量评估 124. 3实时视频通信场景质量评估 144. 4超高清视频场景质量评估 164.5 XR视频场景质量评估 194. 6云游戏场景质量评估 225.展望24缩略语列表26参考文献27编写单位及作者28得出该类业务的服务性能分析；问题定 位模块根据数据分析结果针对单视频 业务质量退化原因进行跟踪定位，辅助 用户解决问题；模型优化模块在云边使 用增量学习和联邦学习对模型进行优 化。3）云边协同管理层云边资源管理层是云、边协同的关 键层，对云边软硬件和存储资源、应用 部署及启动、质量评估业务编排进行管 理。a云边资源管理：包括对云边服务 器能够提供的计算、存储等基础设施的 管理。计算资源管理指的是为云边不同 服务器提供不同种类的应用类型服务 器的功能，具体来说就是启动阶段根据 云边服务器的CPU、内存、GPU等性能 指标选择启动相应的质量评估算法模 块。存储资源管理指的是根据边端存储 情况设置边端存储藏份及删除策略，在 边端存储缺乏时，将一局部数据存到云 中心，从而节省边缘侧的存储资源。B云边应用管理：边缘节点提供质 量评估相关算法模块部署、运行环境和 增量学习训练环境；云端除提供模型训 练、模型部署和运行环境外，还实现对 云、边节点应用的生命周期管理，包括 新版本算法推送、安装、卸载、更新、监控、日志获取以及边端增量学习策略 配置等。a云边业务管理：边节点提供质量 评估相关功能；云端除提供质量评估相 关功能外，还提供质量评估相关业务的 统一业务编排能力，根据云、边资源占 用和应用部署情况，按需为客户提供质 量评估能力。特别地，当边缘侧的资源 紧张时，中心云可以根据策略将正在边 端进行的质检任务切换至云端。4）应用层应用层提供用户操作页面，具备资 源管理、应用管理、业务管理、评估结 果展示和统计报表等功能。a资源管理页面：提供云边资源占 用统计功能，包括CPU、内存、GPU、 存储资源、质量评估算法部署、启动及 运行情况。3应用管理页面：提供质量评估应 用生命周期管理相关配置功能。a业务管理页面：提供评估任务触 发、任务统计、策略配置等功能。d质量评估结果展示页面：提供质 量评估可视化结果，提供单任务结果查 看、评估结果汇总、结果筛选、视频质 量退化问题定位等功能，并根据用户定 制生成各类统计报表等。4.云边协同下各种视频质量评估场景及方案4.1 视频监控场景质量评估视频监控的应用场景传统视频监控行业的主要客户为 政府公安部门、交通部门以及金融、能 源等大企业。随着互联网技术和视频技 术的开展，以及人们生活水平的不断提 高，平安需求逐渐成为大家关注的一个 焦点问题。视频监控行业应用场景也逐 渐丰富，越来越多地应用于中小企业以 及家庭安防。此外，随着AI技术逐步 渗透到视频前后端设备中，视频监控呈 现在用户面前的不再单纯是大量视频 数据，而是可以实现人脸识别、追踪、 入侵报警、交通管理等智能监控功能， 并将AI分析结果反响给用户。如今， 视频监控应用场景广泛覆盖家庭、行 业、政府领域，为人们日常生活提供安 全保障的同时，也使人们的生活、工作 更加便捷。1）智慧家庭家居监控常用设备为智能摄像头， 用于实时监控家庭情况，用户可随时随 地通过手机客户端查看家庭监控画面。 此外，智慧家庭下的视频监控还具有人 体移动侦测报警、红外夜视、高清回放等功能。可以及时将监测到的异常情况 发送给用户，到达保护家人及财产平安 的目的。2）智慧园区在工厂园区场所，安防摄像机主要 部署在出入口、周界以及生产设备周 边，用于出入人员、车辆监控管理及异 常情况监测。利用人脸识别、车辆识别 等功能可以实现智能门禁管理系统，对 出入园区的人员情况进行实时监控管 理。通过智慧园区视频监控，管理人员 可远程实时监控园区设备运行状态，员 工是否佩戴平安帽等。设备异常或员工 违规情况可及时通知管理人员进行处 理，在建筑工地、电力、煤矿、化工等 高危企业可有效预防平安事故。3）智慧城市通过将大数据技术与视频监控结 合，把孤立的视频监控内容转变成为可 视化结果呈现，为视频监控业务创造了 更加智能高效的使用方式，减少人工管 理运维本钱，提高决策效率及准确率。 智慧城市视频监控可以实时汇总并分 析各种公共平安数据和资料，利用人脸 识别比对、车辆追踪、异常行为检测等技术实现嫌疑人、车辆位置追踪及公共 平安事件告警，为执法人员快速准确应 对提供依据。4. 1.2视频监控质量的影响因素无论是传统视频监控的人工审查， 还是智能视频监控的AI检测，都是需 要基于合格的视频监控质量开展的。实 时监控和回放的画面不清晰、断流、遮 挡等现象，会导致对识别、取证及事件 分析造成困难。常见的影响视频监控质 量的因素主要分为两大类：1）摄像头相关因素在摄像头侧影响视频监控质量的 主要因素可以划分为两种。一种是摄像 头本身的配置会影响监控画面的拍摄 质量，如分辨率、传感器灵敏度、背光 补偿等会影响画面清晰度、亮度、色彩 和动态范围。另一种是摄像头拍摄视角 变化影响有效监控信息的获取，如摄像 头被线缆、树叶、塑料袋等物体遮挡， 或人为恶意改变摄像头朝向使拍摄角 度偏离目标区域。2）网络传输相关因素摄像头完成视频数据采集后，通过 编解码及网络传输将数据发送给监控 平台。传输过程中受丢包、抖动、带宽 限制和RTT等网络因素的影响，监控平 台接收的视频画面可能出现花屏、条纹、卡顿、黑屏等故障，严重时会导致 画面严重扭曲或淹没原始监控画面。4. 1.3基于云边协同的视频监控质量 评估方案传统视频监控需要运维人员对监 控直播或回看进行人为审查，确保视频 监控系统运行正常，无法实现不间断的 实时监测。视频监控质量评估方案那么可 以实现7x24小时全天候不间断的视频 监控质量监测，为运维人员提供质量预 警和决策依据，使运维人员可以及时对 视频监控故障问题进行处理，大幅度减 少人工疲劳等原因造成的审查疏漏，或 运维不及时造成的重要信息遗漏。同时 为智能视频监控系统的人脸识别、入侵 报警等功能提供监控画面质量保障，提 高智能识别、追踪的准确率。采用集中处理+分布采集和控制的 模式，实现视频监控质量评估方案的云 边协同。监控摄像头将所采集的视频数 据传输到边缘云。边缘侧提供视频监控 质量评估所需的计算、存储、网络等基 础资源，云端那么负责边缘侧的设备管理 及网络连接管理；边缘侧提供模块化、 微服务化的视频监控质量评估应用，进 行评测预判，云端那么按需对该应用进行 业务编排，灵活配置质量评估模型，利 用增量学习、联邦学习等更新训练模 型，适应不同的定制化需求；边缘侧进行局部性、实时性的视频监控质量评估 并将结果上报云端，云端支撑全局性、 长周期的业务分析处理与决策。视频监控质量评估可大大减小人 工运维的本钱，提高运维效率与水平， 尤其是对监控点分散或危险场地等场 景。相比拟集中化平台中大量数据传输 到同一平台的网络及算力负担，云边协 同视频监控质量评估方案通过在更靠 近端侧的边缘云进行质量评估，大大减 小了云端的算力负担及网络核心节点 的传输负担，提供更高的网络平安和更 好的隐私保护。对视频监控故障问题可 以实现及时准确的告警并支撑运维人 员决策。监控平台质量评估平台监控摄像头监控摄像头监控摄像头边缘节点, 管理数据管理、 标注'联邦学习数据上传数据采集图3.基于云边协同的视频监控质量评估方案框架4. 2视频制作内容场景质量评估4. 2.1视频制作内容的应用场景随着移动互联网的开展，视频成为 信息消费越来越重要的形式，其中用户 贡献内容（UGC）占据了很大比例。不 论直播、点播还是短视频，UGC内容在 用户上传后都会经过一系列的视频制 作内容分析和审核流程，对版权违规、 涉黄涉暴、恶意推广等内容进行过滤， 并自动生成视频内容标签，推广优质原 创视频等。1）智能审核随着移动互联网时代视频量暴增, 其中不乏一些低质量的UGC内容，比 如将网上下载视频经过批量地二次 加工后再上传。利用视频AI技术进 行智能审核，通过去重、版权违规和 涉黄涉暴检测等功能过滤掉一局部视 频内容。同时对整个视频上传处理流 程来说，转码和存储数据量将大大降 低，用户体验也相应提升。2）智能推荐视频封面图质量代表了用户对视视频内容分析和用户标签挖掘共 同构成智能推荐系统的基石。基于对视 频内容的综合分析，快速为UGC内容生 成热门标签及内容分类标签，以及基于 人脸识别技术和公众人物库，对视频内 容中出现的公众人物进行智能识别，有 效解决视频因缺乏标签导致的无法露 出的问题，提升用户搜索体验。视频内 容分析与用户标签相结合，实现个性化 推荐，提高用户推荐视频的曝光量。3）智能生成利用视频内容分析和视频智能产 生系统，利用视频库已有资源自动识别 并剪辑生成新的视频内容。例如在世界 杯比赛结束后利用赛场视频快速生成 明星集锦视频，或基于电视连续剧点播 内容自动生成各位演员的片段集锦视 频。4. 2. 2视频制作内容质量的影响因素因每个UGC用户的视频制作水平 不同，UGC内容的视频质量也参差不齐, 视频网站运营商不仅要对视频制作内 容进行审核，对用户制作并上传的视频 内容质量进行评估也非常重要。准确识 别视频质量有助于提升用户体验，进一 步促进高质量视频的露出。1）视频封面图质量频的第一印象，影响用户播放对应视频 内容的积极度和体验感。常见的视频封 面图低质问题可归纳为以下几种：模 糊、黑边、拉伸变形、画面暗、无主体、 无意义等。2）视频内容质量视频内容质量对平台用户体验的 影响至关重要，常见的视频内容质量低 质问题包括视频无意义、无聊、不清晰、 花屏、广告、低俗等。其中不清晰、花 屏等客观存在的问题通常与视频内容 上传时的比特率、帧速率、分辨率、编 解码、亮度、比照度等因素相关。4. 2.3基于云边协同的视频制作内容 质量评估方案批量化地准确识别视频质量有助 于过滤参差不齐的UGC内容，减少人工 审核的压力。基于云边协同实现的视频 制作内容质量评估方案可使用户快速 获得视频审核结果反响，为平台提供视 频制作内容质量保障，助力智能审核、 智能推荐、智能生成等功能的性能提 升。视频制作内容评估多采用深度学习 方法，直接在云端预测分析可以拥有更 好的预测精度，而直接在边缘侧预测可 以有更小的时延和更大的吞吐量。基于 云边协同的视频制作内容质量评估方 案利用云边协同推理，高精度识别模型和高速识别模型在云端训练结束后，分 别在云端和边缘侧进行部署和下发。在更靠近数据源的边缘侧对较简 单的视频样本进行高速预测分析，保证 低时延和高吞吐量，快速提示用户是否 需要上传质量优化的视频；而较复杂的 视频样本在边缘侧的预测置信度未满 足要求时，那么将视频发送给云端进行更 高精度的预测分析。使得用户快速得到 反响的同时，整体质量评估精度得到提 升，从源头保证视频制作内容质量。此 外，在边缘侧进行视频制作内容质量评 估可初步快速过滤低质视频，并根据预 先制定的平台策略对视频拦截或限流, 很大程度地减轻网络核心节点的传输 负担，减少视频平台存储和传输本钱。NTSK边缘侧视频平'视频制作内容质量评估质量评估平台上传、 里- 更新型 发 布视频制作内容 质量评估视频制作内容质量评估端侧A数怏速 据审核快速 审核 结果V边缘节点管理高精度预测分析模型训练模型发布联邦学习增量学习结果上报高速预测分析 数据缓存 低质内容数据上传 数据采集视频内容制作视频内容制作视频内容制作图4.基于云边协同的视频制作内容质量评估方案框架4. 3实时视频通信场景质量评估4. 3.1实时视频通信的应用场景实时视频通话指两方或多方，通过 通信设备和网络进行面对面的交流，与 视频直播、视频点播等其他形式最大的 区别在于其实时交互性。具有代表性的 实时视频通信业务主要有视频通话、视 频会议。随着视频技术和移动互联网的 开展，实时视频通话在互动娱乐、在线 教育、音视频社交等场景下得到了广泛 应用，打破地域限制，为人们的工作、 学习、生活提供了很大的便利。通过质 量评估可以监测实时视频通信业务的 运行状态，对故障问题采取定位、运维措施，保障实时视频通信业务稳定运 行，为用户提供更优质的使用体验。1）在线教育在教育领域，双千兆大带宽能力与 实时视频通信相结合能为在线教育提 供更好的互动创作条件，支持场景化 “一对一”、“一对多”互动教学、小 班课、万人大班课、双师课堂等教学模 式，让学生们仿佛身处同一教室上课， 解决目前在线教育普遍存在的缺乏同 伴交流、师生交流答疑的问题。2）远程协作办公利用视频会议技术可有效解决传 统会议地域、时间限制等问题。会议小 组可具备自己的虚拟内部讨论会议室， 进行实时视频讨论、屏幕共享等操作， 各会议间互不干扰。3）远程医疗受新冠疫情影响，线下医疗资源压 力陡增，在线问诊、远程医疗可以有效 缓解线下医院诊疗压力。疫情爆发至 今，大量移动医疗平台都上线或者扩大 了远程医疗的活动。支持提供诊疗中的 CT、B超等影像资料，实时视频通话功 能，满足医生远程看诊、远程学术交流 的需求。在视频通话、视频会议一类的实时 音视频通信系统中，发送端在采集原视 频后进入预处理环节，比方背景虚化、 AR增强等，之后视频流经过编码、网 络传输、解码，接收端将接收数据进行 后处理后获得接收视频。在实时视频通 信数据传输过程中，影响质量的因素主 要分为音视频流相关、网络传输相关和 播放终端相关三大类。1）音视频流相关因素音视频流相关因素对发送端采集 的原始视频质量产生影响。影响实时视 频通信质量的主要视频流相关参数有 视频编解码格式、分辨率、视频码率、 帧率、视频码率类型等。影响实时视频 通信质量的主要音频流相关参数有音 频编解码格式、音频码率、码率类型、 声道等。2）网络传输相关因素网络传输相关因素对发送端与接 收端之间的数据传输质量产生影响。影 响实时视频通信质量的网络传输相关 参数有丢包率、丢包模式、抖动、带宽、 RTT等。对用户体验的直观影响表达为 视频时延、音频时延、音视频不同步、 视频卡顿、视频马赛克、音频卡顿等。4. 3. 2实时视频通信质量的影响因素播放终端相关因素会对接收端音3）播放终端相关因素视频数据展示产生一定的影响。影响实 时视频通信质量的播放终端相关参数 主要有终端类型（如手机/电脑/电视）, 显示屏尺寸，显示屏分辨率等。4. 3.3基于云边协同的实时视频通信 质量评估方案针对实时视频通信用户可能处于 不同地理位置的特性，采用云边协同方 式对业务质量进行评估。利用边缘侧靠 近数据源的优势，在边缘侧利用单用户 质量评估模型对采集数据进行初步预 测分析，获取单个用户的实时视频通信 质量评估结果，并将单用户质量评估结 果上报云端。云端那么利用多用户质量评 估模型，对同一场视频通信中的各用户 业务质量进行预测分析，从而获得一场 实时视频通信的整体质量评估结果。实时视频通信平台质量评估平台视频通话、视频会议视频通话、视频会议视频通话、视频会议边缘节点管理 多用户质量 评估;统计报表 模型训练 模型发布 联邦学习增量学习'单用户质量, 评估 数据缓存 样本上传数据上传 数据采集图5.基于云边协同的实时视频通信质量评估方案框架相较于集中式的实时视频通信质 量评估，视频相关数据传输至边缘侧开 展单用户质量评估，减轻了网络核心节 点传输压力，也为用户提供了更好的数 据保密性。边缘侧将单用户质量评估结 果上报云端进行整体质量评估分析，便 于监控实时视频通话业务整体运行状 况并支撑业务决策及运维，保障实时视 频通信的沟通效率，提升用户体验。4. 4超高清视频场景质量评估随着媒介数字化技术的开展和人 民的消费升级，信息的获取渠道不断增 多，其中视频需求量大大提升。常见的 视频分辨率包括720P、1080P、2K、4K、 8K,甚至12K、16K等。超高清的定义 一般包括4K、8K等以上的分辨率标准,它能够提供更丰富的信息承载量，更精 良的画质，更优的视觉体验和更丰富的 视频内容，成为业内关注焦点。4. 4.1超高清视频的应用场景随着5G网络的逐步普及，为超高 清视频走入用户扫除了带宽的障碍，同 时催生了更多的超高清视频应用场景。 除了传统的广播电视节目外，超高清视 频还可以在文教娱乐、安防监控、医疗 健康、智能交通、工业制造等行业领域 得到广泛应用，能够极大提高信息服务 精准化水平，全面提升人民生活品质。1）广播电视领域超高清视频能够提供画质观看体 验以及更丰富的视频内容，在广播电视 领域超高清化已经成为必然趋势。例如 中央电视总台已上线4K超高清频道； 地方卫视如江苏卫视、四川广电等也逐 步上线了网络4K超高清专区；国内三 大运营商也专注4K IPTV业务，在广东、 江苏等示范性省份启动宽带升级，助力 4K电视网络产业开展。提供高质量的 视频服务是广播电视的核心，对视频质 量进行合理准确的评价是重中之重。2）文教娱乐领域超高清视频能在影视、体育、艺术 等场景提供更真实的体验。例如爱奇 艺、腾讯、优酷、咪咕等网络视频服务 商已提供4K内容点播服务；2019年中 华人民共和国成立70周年大庆等重大 活动赛事也实现了 4K超高清的直播； 中央电视台近年来开始提供春节联欢 晚会的4K超高清点播服务；为保证用 户在观看超高清视频时的体验度，对视 频质量的实时监测评估显得至关重要。4. 4. 2超高清视频质量的影响因素超高清视频体验可从服务层面、环 境层面及用户层面三个方面出发。其 中，服务层面的影响因素主要包括应用 层、传输层和服务层参数；环境层面的 影响因素包括自然环境（如光照条件、 噪声条件、环境的固定和移动），社会 与人文环境（如社会观念、文化规范） 以及服务运行环境（包括软硬件环境 等）；而用户层面的因素包括用户的期 望、体验经历、身心状态和自身背景（如 年龄、性别、受教育程度等）。由于用 户层面因素和环境层面因素变化多样， 具有很强的主观性和不确定性，难以量 化计算，因此，对某一视频业务整体的 用户体验评估主要针对服务层面进行 评估。服务层面影响因素可分为应用层、 传输层和服务层。D应用层：应用层主要影响因素 为视频源的质量，包括音视频的信源质1 .视频质量评估技术的开展情况1.1 海量视频业务催生视频体验 评估保障需求随着移动通信技术的开展，越来越 多的设备连接到网络上，预计2025年 全球物联网设备(包括蜂窝及非蜂窝) 联网数量将到达252亿个。同时，网络 带宽也得到极大提高，思科预测到2023 年全球移动设备的平均带宽提高到 44Mbps, WiFi带宽提高到92Mbps,固 网带宽提高到110Mbps。同时随着视频 编解码技术的不断开展,越来越多的设 备支持视频编解码和传输。思科预计， 到2022年，将近一半的设备都具备视 频编解码和传输功能。同时视频流业务 的需求正呈爆炸式增长，思科预测到 2022年，视频流量将翻两番，视频将 占所有IP流量的82%。在视频流业务呈爆炸式增长的同 时，其性能评估的重要性日益突显。视 频业务质量的优劣不仅直接影响用户 的感受，而且成为业务吸引和保持用户 的重要因素。视频业务评估也可以帮助 运营团队快速精准地定位分析问题，提 前预判和发现系统存在的风险。同时视 频业务质量评估可以帮助运营团队根 据用户体验优化视频业务，更合理地传 输视频数据，提高系统效率。随着PC互联网、移动互联网向万 物互联演进，对海量视频数据进行分析 和评估，是当前的视频质量评估面临的 挑战。视频图像，尤其是高清视频图像, 即使它被数字化并压缩后所含数据量 也是巨大，图像数据传输、存储和计算 需要占用大量的资源，给视频质量评估 系统前后端的实时评估也带来巨大的 困难。1.2 视频质量评估技术开展现状图像的质量评估方法包括主观评 估方法和客观评估方法两大类，主观评 估方法根据用户本身对视频的主观体 验对业务进行质量评分，国际电信联盟 (ITU)已提出几种主观评估的标准，例 如BT. 500和P. 910标准等。虽然主观 评估的准确性较高，但是主观评估需要 多人较长时间的参与，本钱大效率低， 人的主观性也导致结果会有一定的偏 差。客观评估方法那么依靠计算机模拟人 类的视觉系统进行分析和建模。客观质 量评估根据算法对于参考图像的依赖 程度，可以分为全参考方法、半参考方量和编码质量等，例如视频清晰度、流 畅度等。2传输层：传输层反映视频的网 络传输状况，包括丢包、抖动和延时等, 将直接影响用户的视频观看体验质量， 包括是否有出现视频图像不连续，是否 出现花屏、马赛克、卡顿等质量劣化的 情况。3服务层：服务层主要为用户使 用过程中业务操作的便捷性和效率，即 视频的交互体验质量，包括初始加载、 快进快退等，交互过程中的反响时长及 业务操作的成功率等指标。图6.超高清视频用户体验影响因素4. 4.3基于云边协同的超高清视频评 测方案超高清视频评测往往基于中心的 或者基于端侧的，这是由于传统的计算 视频业务评测对算力要求不高，同时实 时性的要求也不够强。随着机器学习等 智能评测技术的开展，对算力提出了较 高的要求，同时加上超高清视频流往往 具有十分丰富的信息量，便需要引入边 缘计算进行前端智能化，提高可扩展 性，使超高清视频评测更加敏捷。1）边缘侧通过超高清视频直播/ 点播过程中直接拉取视频流，利用边缘 端部署的超高清视频质量评估模型对 视频质量进行实时评价。2）边缘端处理得到的评估结果送 至云服务平台，从而指导业务调度和网 络优化。当发现视频质量判断结果为良 好以下时将上报云端进行告警处理，必 要时云端可进行再次核验；当边缘侧判 断质量一直较好时，将定期向云端上传 数据，在云端进行存储。质量评估平台超高清视频质量评估平台超高清视频点播视频流视频流结果存储模型优化结果分析系统展示视频流视频流超高清视频直播超高洁直播/点播超高清视频质量边缘在线评估图7.基于云边协同的超高清视频评测方案展览、教育等大批新应用场景，为XR 产业提供了广阔的开展空间。对XR视 频的质量评估能够从用户体验出发，对 XR体验中的多个关键技术指标进行量 化，促进业务质量提升，并规范行业发4.5 XR视频场景质量评估XR扩展现实主要包括虚拟现实 （VR）、增强现实（AR）和混合现实（MR） 等，其基本实现方式是计算机模拟虚拟 环境从而给人以环境沉浸感，利用可穿 戴设备和计算机技术，XR可为受众带 来真实与虚拟结合、人机交互的环境， 对XR体验过程的质量评估也应运而 生。451 XR视频的应用场景近年来，XR技术的开展、落地、 普及逐步加快，而各行各业对XR技术 的需求也日益旺盛，随着5G规模化部 署与应用创新落地不断推进，5G+XR的 模式正催生出包括社交、办公、娱乐、展。1）娱乐领域超高清视频与XR的结合能给用户 带来更加真实逼真的体验。例如2020 年咪咕汇以云互动、云内容打造了全球 首场“5G+8K+XR云演艺盛典直播”， 开启了云上演艺新时代；2021年央视 春晚，采用XR技术进行了局部节目的 云录制，实现了人物、道具与虚拟场景 的互动和结合。2）教育培训领域VR体验展示如今已经渗入解剖学、 生物学等自然科学及历史、文学等社会 科学领域，如InMind、Cardio VR、化 学VR和King Tut VR等都带着学生进 行“虚拟实地之旅”；VR技术也可应 用至军事领域进行对抗、逃生类模拟作 战；2020年我国“奋斗者”号载人潜 水器成功坐底马里亚纳海沟的重要时 刻，中央广播电视总台也通过XR虚拟 演播进行了同步科普讲解。452 XR视频的影响因素建议XR的QoE包含以下三个方面： 音视频质量QoE、沉浸体验QoE和眩晕 体验QoE。其中音视频质量QoE主要是 音视频内容源的质量和音视频内容在 终端呈现的质量。沉浸体验QoE主要侧 重为侧重于用户在XR体验过程中虚拟 环境的沉浸感，影响到沉浸体验的除了 音视频呈现质量外，还包括体验过程出 现的滞后感，操作的自由度等。眩晕体 验QoE是XR体验过程中出现的眩晕、 头痛、恶心、呕吐等不适感受，除了沉 浸体验外，还与设备的舒适程度、体验 时长，人机交互结果和现实的差异、使 用者年龄、体能、性别和XR经历有关。 这里仅介绍几种主要影响因素。D成像技术：无论是增强现实还 是虚拟现实，F0V都是影响使用体验的 最重要因素之一。由于镜片成像技术和 光学模组不成熟，现在的XR眼镜的可 视广角普遍不高；除了 F0V,还需要精 确的图像识别等技术来判断物体所处 的位置、3D坐标等信息；另外也需要 SLAM技术对用户所处空间进行扫描， 从而建立房间内物体摆设的立体模型。2> XR内容源影响因素：分辨率、 帧率、码率、压缩编码、视频的空间复 杂度、视频的运动复杂度、空间感知信 息（SI）、时间感知信息（TI）、视频 的投影方式、视频的立体感、视频是否 使用多tile编码、视频的其他图像特 征、音频码率、音频采样率、音频编码、 音频声道数、音视频同步等。3） XR音视频内容影响因素：显示 设备相关参数、音视频同步、视频畸变、 音视频播放时出现的卡顿、音视频播放 时出现的视频花屏、音视频播放时出现 的黑边（异步时间扭曲）、音视频播放 时出现的拖影（空间时间扭曲）、数据 丢包率Loss、数据重传率、数据冗余 占比、Tcp 吞吐率 throughputs RTT、 TCP丢包率、RTP丢包率、BTC、Delay 等。4）XR沉浸体验影响因素：音视频 播开始放时出现的首次卡顿时间、头动 感知延时MTP、头部转动到画面刷新之 间的MTHR滞后时长、操作响应延时、 用户操作与操作响应之间的滞后时长、空间交互自由度、VR系统支持交互、置（包括HMD重量、HMD戴上后遮光程操作的空间维度数DOF等。度）、VR视频业务体验时长、HMD头戴» XR眩晕体验影响因素：HMD配 舒适程度等。视频内容源视频内容呈现FOV技术、图像识别技术、SLAM等视频分辨率、帧率、清视频内容源、设备分辨晰度、流畅度、色彩保率、刷新率、音视频同真、立体感步、畸变、花屏、卡顿沉浸体验、HMD配置、 体验时长、舒适度眩晕、头痛、恶图8. XR视频体验影响因素453基于云边协同的XR视频评测 大带宽、高可靠低时延的网络是云VR良好体验的保障，直接在云端对VR 视频流进行实时质量分析时，数据都上 传到云端进行处理对云端造成巨大的 网络压力和计算压力，采用边云协同方 式可以有效减轻网络核心节点传输的 带宽压力。1）通过探针分别在端侧、边侧云 端采集XR相关数据，在边端完成对视 频源或者用户侧视频流本身的视频质量分析。边缘侧靠近数据源，就地处理， 实现快速响应。2）边缘评估结果以间隔时间上报 到云端，利用云端强大的计算能力和数 据汇聚能力，进行CEM客户体验分析和 报表呈现，并为边缘端的实时分析做出 特异性指导和适应性调整。3）边云相互合作，互为补充，提 高了 XR视频质量分析的准确度和系统 的可靠性，有力保障了 XR业务的用户 体验。吕身进论析图9.基于云边协同的XR视频评测方案4. 6云游戏场景质量评估云游戏是基于云计算，运行集中于 云端服务器，渲染完毕后的游戏画面压 缩后通过网络传送给用户的游戏方式。 玩家可以通过任意控制终端进行游戏 操作，云端服务器接收到指令后完成游 戏的存储、计算、渲染、录屏推送，流 媒体平台再将画面分发至终端显示设 备。特点是免配置、免下载、跨终端。5. 6. 1云游戏应用场景随着新基建的密集部署，伴随双千 兆技术的逐步成熟以及云计算、边缘计 算等辅助技术的快速开展，云游戏将在 未来实现更大范围的普及，并有可能成 为双千兆应用中最快爆发的垂直应用 场景。1）云体验云游戏以云计算为基础，在云游戏 的运行模式下，所有游戏都在服务器端 运行，并将渲染完毕后的游戏画面压缩 后通过网络传送给用户。因此玩家游戏 终端无需拥有强大的图形运算与数据 处理能力，仅需拥有基本的流媒体播放 能力与获取玩家输入指令并发送给云 端服务器的能力即可。2）云助战通过云游戏平台，可以定制游戏互 助解决方案。主播在直播过程中可将游 戏视频流、操控指令流移交给观众，对 方接受以后，就能成为游戏的操控者， 实现主播与观众角色的秒级平稳切换、 无缝对接。3）云对战以往游戏中的合作都基于局域网 联机功能，不仅要求玩家在同一局域网 内，而且大都依赖线下互动。基于云游 戏云端处理的特性，云对战可以突破传 统的本地双人/多人对战模式，即使玩 家远隔千里，也能通过云能力实现单机 游戏和联机游戏的异地多人连接组团。云游戏这种强交互类业务，无论是 云体验、云助战还是云对战，都对网络、 延迟、操作响应提出了很高的要求。因 此在游戏过程中，需要时刻对业务体验 进行评估和监测，支撑网络和业务调 控，保证最优体验。4. 6.2云游戏业务体验影响因素云游戏等强交互业务允许用户通 过终端传感器与云端应用进行复杂的 实时互动，云端应用在对交互指令进行 计算、渲染和压缩编码后，再以视频流 的方式将响应画面回传到终端播放器 进行解码和显示。这里仅介绍影响云游 戏体验的几个关键指标。1）眩晕感：是所有VR交互类业 务都需要解决的关键问题，它是由用户 在视觉上观察到的运动状态和前庭系 统所感知的运动状态不一致所引发的 病症。2）黑边拖影：为了节省云渲染资 源，降低使用本钱和端到端处理时延， 云游戏服务器通常只渲染和传输用户 视角内的画面，虽然终端引入的异步扭 曲技术可以根据用户头部姿态变化对 显存中的云渲染画面进行预测调整，但 它毕竟无法像渲染服务器一样生成新 的画面内容，所以在用户新视域中超出原云渲染画面的局部会被显示成黑边 或拖影。3）操作响应：在云游戏等强交互 应用场景中，当用户平移、扣动扳机或 挥动手柄等行为时，都希望能立即从视 觉和听觉感官上获得响应，如果延迟过 大就容易让用户产生迟滞感。4）卡顿/花屏：云渲染流量可以 通过TCP/UDP协议承载。当使用TCP承 载时，如果传输过程中出现了丢包或乱 序问题，会导致用户侧无法正常接收 数据，造成体验质量下降。经过实验室 实际测试，下行网络允许1义10一5以内 的丢包率；当丢包率超过1X1O-5时，会 出现画面卡顿。5）网络带宽延迟：云游戏在降低 游戏对终端硬件需求的同时，提高了对 网络传输速度和带宽的需求。云游戏相 对于本地游戏，额外增加了来自于输 入、网络传输、编码、解码，终端渲染 几局部延迟，需要通过边缘计算等技术 对整体链路进行优化，保证游戏体验。6）抖动：帧率是游戏玩家十分看 重的指标，但是单纯的提升帧率是远远 不够的。对于云游戏而言，144高帧数 下，游戏画面有时候依然不流畅，这其 实是帧间隔不稳定导致的。当某一帧游 戏画面受某些原因迟到就会造成后面的游戏帧堆积，而游戏画面是实时变化 的，排队积压之后将导致某些本应需要4. 6.3基于云边协同的云游戏评测 方案显示的画面被舍弃掉，故而出现卡顿、跳帧现象。底层主要由流化、传输、渲染交互三大块组成。上报云施对于云游戏这种强交互类业务， 除了调度与游戏管理等相关模块，其游戏质量评估流化质量评估上报云端边缘计算节点云平台终端用户音视频流控制信令游戏流化,传输.业务自动调整图10.基于云边协同的云游戏评测方案D流化在云端边缘计算节点中实 现。可在边缘节点中部署云游戏质量评 估模块实时检测视频流的流化信息，将 评估信息分析提取有价值和意义的关 键数据同步到边缘云和中心云进行分 析。2）传输那么通过边缘网络来实现， 选择最短的链路打通边缘节点与终端用户的网络通道。在传输过程中，也可 通过云游戏质量评估对网络状况与终 端渲染播放能力进行综合判断，辅助业 务自动调整视频流的码率、帧率，分辨 率，实现在弱网、网络切换以及弱终端 的最优体验。3）渲染交互那么在用户终端中实现, 完成对游戏数据流的本地渲染呈现以 及交互控制。5.展望随着视频终端形态的丰富、视频业 网络带宽和设备性能条件下如何能提务的多样化、网络带宽的增大，在满足 供更好的视频服务体验越来越受到业界的重视。为了提升用户体验，评估视 频业务质量是优化视频业务、提高视频 业务运维的重要手段。在云边协同的模 式下，边缘的视频处理可以满足大带 宽、高算力、低延迟等要求，复杂的视 频质量评估算法能够在边缘侧得到充 分应用，满足各类视频业务模式数据低 延迟和高并发的需求。未来基于云边协 同的视频质量评估的计算复杂度会更 高、场景更加丰富、应用更加广阔。中国移动作为用户规模最大的电 信运营商，一贯以用户体验为核心，以 提高视频业务质量、提升视频运营效率 为目标。中国移动将充分发挥电信运营 商自身网络覆盖范围广和基础设施资 源丰富的优势，依靠多年来在视频质量 评估方向的积累，吸收业界的先进技 术，尽力打造基于云边协同的视频评估 示范性应用。中国移动希望与产业链伙伴一起， 探索不同的视频业务场景下视频质量 评估方法，打造云边协同下满足异构计 算需求、部署运维需求、环境匹配需求 和产业生态需求的视频质量评估解决 方案，提高运维效率、优化网络传输、 提升用户体验，抓住边缘计算产业浪 潮，助力产业开展，与合作伙伴一起实 现共赢。缩略语列表缩略语英文全名中文解释A1Artificial Intelligence人工智能APTApplication Programming Interface应用编程接口ARAugmented Reality增强现实BTCBulk Transfer Capacity批传输容量CEMCustomer Experience Management客户体验管理ECEdge Computing边缘计算ECCEdge Computing Consortium边缘计算产业联盟FOVField of View视场角GPUGraphics Processing Unit图形处理器HMDHead Mount Display头戴式显示器laaSInfrastructure as a Service基础设施即服务IT