北大提出基于人眼视觉特性的沉浸式视频传输系统改进VR视频体验.docx

北大提出基于人眼视觉特性的沉浸式视频传输系统，改进VR视频体验虚拟现实视频作为新一代视频类型被越来越多的人所关注区别于传统视频其良好的沉浸感以及更大的自由度给人带来次世代的视频体验。然而360°沉浸式视频传输所需要的带宽远高于传统视频。现有的视频传输系统缺省认为用户感悟360°视频与传统视频一样这与实际用户观看沉浸式视频的方式严重不符造成了严重的带宽浪费。北京大学提出了新一代基于沉浸式视频感悟质量模型的360°视频传输系统Pano旨在有限带宽下最大化用户的感悟质量在提供高质量观看体验的同时大幅度降低带宽消耗。目前这一成果已被计算机网络方向的世界顶级学术会议ACMSIGCOMM2019收录,引起国内外广泛关注。360°沉浸式视频又称全景视频有别于传统视频单一的观看视角人们可以360度自由观看视频的任意区域。在过去的几年度中越来越多的视频内容提供商如爱奇艺、优酷、Youtube等提供了360°在线视频效劳但由于360°视频的超高带宽需求在线用户体验仍然处于较低程度根据有关文献研究360°视频需要80倍于传统视频传输的带宽才能到达以及观看传统视频相似的体验。固然一些现有的360°视频传输系统提出基于用户视窗的传输方式在一定程度上减少了带宽消耗但是这仍与用户实际感悟360°视频质量的方式有着较大区别造成了严重的带宽浪费。北京大学以及芝加哥大学的研究人员近期针对人眼感悟360°视频质量的机理进展了深化的研究提出了360°视频感悟质量模型极大了降低了360°视频的带宽消耗。360°视频感悟质量模型Pano提出在用户进展360°视频观看时其感悟质量的方式以及以下六个因素相关。其中包括三个传统视频因素以及三个360°视频特有因素。三个传统视频因素包括1视频物体的亮度据有关文献研究当视频物体的亮度过高以及过低时用户对物体的视觉敏感度会大幅度下降。2视频对象的纹理复杂度据有关文献研究当视频对象的纹理复杂度较高时用户对物体的视觉敏感度会大幅度下降。3视频对象与用户中心视点的夹角据有关文献研究用户只对凝视点处周围的物体有着很高的视觉敏感度而对于其余区域随着视频对象与用户中心视点的夹角增大用户的视觉敏感度会逐渐下降。区别于传统视频由于360°视频视角更广范围更大夹角因素的影响也更加显著。十分地根据Pano的研究说明还存在三个360°视频特有的人眼感悟质量因素1视频物体运动速度。传统人类视觉系统研究说明人对运动物体的视觉敏感度会有所下降。类似的Pano研究发如今360°视频中同样存在由于用户头部旋转以及物体相对运动造成的视觉敏感度下降。2用户视点与视频物体的景深差。在现实中当人凝视在某一个固定间隔的物体上时其余不同间隔的物体就会变得模糊不清Pano发现人类视觉系统的这一特点在观看360°视频时亦存在。3人眼的明暗适应。传统人类视觉系统的研究说明人的视觉系统在大幅度明暗变化后的一段时间对物体的视觉敏感度会大幅度下降Pano发如今360°视频中明暗变化的影响同样存在。Pano首次将上述人眼视觉感悟360°视频质量的因素引入网络视频传输。使用科学统计的手段建立了用户视觉敏感度的量化数学模型。其次根据按照不同视觉敏感程度对360°视频进展空间切块划分形成用户视觉敏感度驱动的空间视频分块。最后根据实际的观看情景如用户的视点位置用户的视点挪动速度等对不同区域动态分配传输码率例如敏感程度较低的区域传输较低的码率敏感程度较高的区域传输较高的码率。北京大学的研究团队已实现了Pano的系统原型根据大量的主观实验说明Pano提出的360°视频感悟质量模型可大幅提升了用户的观看体验降低带宽消耗。在一样质量体验条件下可比现有的360°视频传输技术节省41%-46%的带宽消耗。研究价值目前360°视频已经被各大视频内容效劳商所提供但由于超高的带宽需求其质量体验远远差于传统视频这也是阻碍沉浸式视频进一步被使用以及普及的重要原因。Pano的价值在于将人眼视觉特性引入网络视频传输可以更加充分地利用当前有限的带宽给用户提供尽可能高的视频观看体验这对于沉浸式视频的进一步推广以及普及具有重大的意义。完毕语该工程间隔真正的工业化落地还有一段较长的间隔更加准确的感悟质量模型和更加贴合实际的系统优化是将来仍然需要进一步完善的目的。目前该项研究的学术论文?Pano:Optimizing360°VideoStreamingwithaBetterUnderstandingofQualityPerception?已被ACMSIGCOMM2019接收是由北京大学计算机研究所的张行功团队以及芝加哥大学的江鋆晨团队共同合作完成并得到阿里、爱奇艺等机构的支持。关于SIGCOMMSIGCOMM是网络领域的国际顶尖学术会议对论文质量要求极高2019年度仅录用主会论文32篇。三十多年度以来SIGCOMM多项研究成果得到广泛使用例如互联网域名管理系统DNS、TCP协议等。论文地址s:/people.cs.uchicago.edu/junchenj/docs/360StreamingQuality_SIGCOMM.pdfAI科技大本营