第一章+数字视频基础.ppt

《第一章+数字视频基础.ppt》由会员分享，可在线阅读，更多相关《第一章+数字视频基础.ppt（87页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数字视频处理1课程内容第一章 数字视频基础l人类视觉特性，彩色模型，视频简介，多维随机信号与系统，模拟视频信号数字化，视频质量评价，视频模型。第二章 二维运动估计l基于光流的运动估计，基于像素的运动估计，基于块的运动估计，基于网格的运动估计，基于区域的运动估计，全局运动估计，多分辨率运动估计。第三章 三维运动估计l基于特征对应的运动估计，基于光流的运动估计，直接运动估计，运动目标分割，运动目标跟踪。2课程内容第四章 数字视频编码l理论基础，离散信源的无失真编码，预测编码，变换编码，基于内容的视频编码，分级视频编码，视频编码标准。第五章 三维视频处理l立体视觉，立体成像原理，视差估计，三维变换编

2、码，分布式视频编码，立体视频显示技术。第六章 数字视频水印l信息隐藏概述，数字水印原理，视频水印概述，视频水印关键技术，视频水印算法。3数字视频基础4提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型5视觉感知人类的感觉l视觉、听觉、嗅觉、味觉和触觉l“第六感觉”内部因素：l人眼人类视觉系统外部因素：l可见光6人类视觉系统人类获取外界图像、视频信息的工具。涉及光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等科学领域。视觉l光辐射刺激人眼所引起的复杂的生理和心理变化。l人类最重要最完美的感知手段。7人眼的构造视网膜：由大量的光敏细胞和神经纤维组成光敏细胞包括：1

3、）锥状细胞：明亮环境 2）杆状细胞：黑暗环境 灰度感觉锥状细胞具有3种类型，它们具有不同的光谱特性：红、绿、蓝3个子频段彩色视觉三基色理论的生理依据Lens（晶状体）：调节焦距8可见光谱9明视觉与暗视觉明视觉：日间视觉明视觉：日间视觉暗视觉：夜间视觉暗视觉：夜间视觉10人眼视觉亮度视觉l也称明暗视觉l主要参数：光强、光通量、发光效率、照度、亮度彩色视觉l不同的波长呈现不同的颜色l不同颜色的亮度不同：红色（最暗）、蓝色和紫色（较暗）、黄绿色（最亮）。l颜色感觉参量：亮度、色调、饱和度。l色度：色调和饱和度的合称。立体视觉11视觉特性亮度适应性 亮 暗 暗 亮亮度变化分辨能力l可见度阈值：可分辨的

4、最小亮度差别l视觉掩盖效应：复杂而不均匀的背景会导致可见度阈值增大，图像的边缘可以容忍较大的量化误差色调对比效应饱和度对比效应12视觉特性面积对比效应马赫效应l人眼对不同空间频率成分的灵敏度l中频成分（高），高频、低频成分（低）l对图像边缘有增强作用视觉惰性l亮度感觉持续性l电影播放的原理13闪烁感觉l周期性光脉冲照射，当重复频率达到一定值以上 无闪烁感觉l设计电视系统的重要依据，如“隔行扫描”视野l头部不动、眼球转动时所能观察到的空间范围l水平视野与垂直视野视觉特性14视觉特性人眼分辨力l主要因素：环境照度，景物的相对对比度，被观察物体的距离，运动状态dD15视觉特性彩色分辨力l彩色细节分辨

5、力远低于黑白细节分辨力l彩色色调分辨力l彩色饱和度分辨力黄色（最不敏感）红色和蓝色（非常敏感）16色调分辨阈值与波长的关系视觉系统模型人眼：l特殊的光学信息处理系统，相当复杂。视觉模型：l用光学系统的概念模拟某些视觉特性视觉信息处理模型17视觉系统模型黑白视觉模型低通滤波器对数运算器高通滤波器人眼光学系统亮度恒定现象侧抑制引起的马赫效应18视觉系统模型彩色视觉模型人类视觉的三基色理论视细胞对光强的非线性响应在视觉通路上的响应19提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型20彩色模型彩色色度学模型lCIE-RGB（1931）lXYZ（CIE 1956)工业彩色模型lRGB

6、彩色显示模型（NTSC：美国国家电视委员会）lCMYK彩色模型l彩色传输模型：YUV、YIQ、YCbCr视觉彩色模型lHIS模型（色调、亮度、饱和度）国际照明委员会21三基色原理红红绿绿蓝蓝22RGB彩色模型混色方法混色方法1、时间混色法、时间混色法 场顺序制彩色电视2、空间混色法、空间混色法 彩色显像管3、生理混色法、生理混色法 立体彩色电视4、全反射混色法、全反射混色法 投影电视相加混色相加混色23CMYK彩色模型印刷印刷彩色胶片彩色胶片绘画绘画CMY相减混色相减混色在CMY三基色中增加黑色（K）以使颜色更加逼真鲜艳24YUV、YIQ、YCbCr模型YUV模型：用于PAL（Phase Al

7、ternating Line）制式的电视系统，Y表示亮度，UV并非任何单词的缩写。YIQ模型：与YUV模型类似，用于NTSC制式的电视系统。YIQ颜色空间中的I和Q分量相当于将YUV空间中的UV分量做了一个33度的旋转。YCbCr模型：是由YUV颜色空间派生的一种颜色空间，主要用于数字电视系统中。UV/CbCr信号实际上就是蓝色差信号和红色差信号，一定程度上间接地代表了蓝色和红色的强度。25YUV与RGB之间的转换26YIQ与RGB之间的转换27YCbCr与RGB之间的转换28色度取样格式(ITU-T BT.601)4:4:44:2:04:2:24:1:129提纲人类视觉系统彩色模型视频多维随

8、机信号分析数字化质量评价视频模型30视频由许许多多幅按时间序列构成的连续图像l每一幅图像称为一帧活动图像电视，电影等视频表示l三维视频l二维视频亮度（灰度）信号31视频信号的特点直观性l生动、深刻、具体、直接确定性l“百闻不如一见”高效性l并行信息处理系统广泛性l80%的信息来自视觉高带宽性l传输、存储l压缩32模拟视频普通广播电视l单一的时间函数的电信号，其电平高低反映了亮度大小光栅扫描l逐行扫描l隔行扫描l光栅特性每秒取样的帧数fp：时间分辨率每秒扫描行数n：空间垂直方向分辨率基本参数l清晰度、分解力、宽高比、行频、场频、帧频33逐行扫描水平扫描垂直扫描优点：优点：*减少屏幕大面积 闪烁和

9、边缘闪烁*分解力高*图像清晰、稳定缺点：缺点：带宽要求高34隔行扫描奇数场偶数场优点：优点：压缩一半频带而不明显降低图像质量缺点：缺点：行间闪烁视觉疲劳垂直分辨率下降35模拟电视系统模拟电视系统标准lNTSC制 北美、日本lPAL制 欧洲、中国lSECAM制 前苏联、东欧复合视频信号l彩色视频信号兼容于黑白电视l将RGB转换成YUV（PAL）或YIQ（NTSC）36模拟电视系统标准37复合视频信号PAL制式NTSC制式38数字视频高清晰度电视（HDTV）网络多媒体视频会议监视控制远程医疗航空航天军事教育电影39数字视频的特点便于存储和通信便于处理和加密无噪声积累差错可控制可进行压缩编码便于设备

10、小型化信噪比高稳定可靠交互能力强40数字视频采集数字摄像机模拟视频信号数字化亮色分离低通滤波抽样量化编码 复 接Y全电视信号低通滤波抽样量化编码Cb低通滤波抽样量化编码Cr矩阵变换低通滤波抽样量化编码 复 接Y低通滤波抽样量化编码Cb低通滤波抽样量化编码Cr编码输出RGB41数字视频的参数时间分辨率：帧频 fp空间分辨率：M行N列 M x N位深：每个像素的比特数 Nb 信息传输速率：MxNxfpxNbPAL彩色数字视频信号RGB（Nb=3x8=24）Fp=25fpsM=576，N=720信息传输速率：720 x576x25x24 249 Mbps42数字视频格式43提纲人类视觉系统彩色模型视

11、频多维随机信号分析数字化质量评价视频模型44多维随机信号分析多维信号与系统l二维数字系统模型l二维数字图像的冲激函数表示x(m,n)y(m,n)T 45多维随机信号分析线性系统l同时满足叠加原理和齐次原理l叠加原理：若 则有l齐次原理：若 则有46线性系统线性系统对几个激励的线性组合的整体响应等于线性系统对几个激励的线性组合的整体响应等于单个激励所产生的响应的线性组合。单个激励所产生的响应的线性组合。T 多维随机信号分析移不变系统l输入输出保持相同的时间关系48tt0d(t-t)t0d(t)th(t)0th(t-t)t0多维随机信号分析线性移不变系统l同时满足线性条件和移不变条件线性移不变系统

12、l线性移不变系统的输出为冲激响应49二维离散傅里叶变换建立了离散时域（空域）与离散频域之间的关系时域（空域）上处理图像计算复杂度大，不能实时处理DFT简化了运算（如：时域或空域卷积变成了频域上的相乘运算），且有快速算法（FFT）50随机图像视频、语音信号为随机信号，无法用确定的函数解析式表示，可看作随时间变化的随机过程。随机过程l观测一个一维未知信号，观测结果xi(t)是不确定的。l可能出现结果的总体xi(t),i=1,2,n构成一随机过程X(t)l在任一时刻t1 随机变量X(t1)。51随机图像图像和视频为多维随机信号l二维灰度图像x(m,n)为位于点(m,n)上的像素的亮度值x(m,n)(

13、m,n=0,1,2,N-1)为随时间变化的二维序列，图像集合X(m,n)的一个样本X(m,n)为随机图像或随机场，简记为随机变量X(m,n)为沿m,n两个方向的二维空间函数52随机图像的数字特征均值方差自相关函数为一阶概率密度函数视频信号中，相邻像素，相邻帧之间存在很强的相关性，相关系数可高达0.90.96,视频压缩编码的潜力巨大！53平稳随机图像平稳性l随机过程的统计特性不随观察点的时间和空间的坐标变化而变化l随机图像有多个坐标变量，多种统计特性 各个坐标(t、x、y)和各个统计特性的平稳性l严平稳：任意阶联合概率密度函数与广义空间坐标观察点（或点组）的位置无关。l宽平稳（广义平稳）：均值和

14、相关函数与广义空间坐标观察点（或点组）的位置无关。54平稳随机图像通过线性移不变系统系统输出随机图像系统输出均值系统输出相关函数系统输出功率谱密度55提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型56视频信号数字化模拟信号数字化模型l时-空取样l量化逐行扫描的三维取样隔行扫描的三维取样57视频信号取样模拟视频信号在时空上的离散化一维取样l在一系列离散点上对连续信号抽取样值取样定理l给定一个随时间变化的模拟信号，其频率 ，如果取样频率 则 可以由取样信号唯一确定（无失真地恢复原信号）l 称为奈奎斯特间隔取样信号原始模拟信号周期性取样脉冲58视频信号取样理想取样理想取样:取样脉

15、冲 是周期为 的单位冲激序列 ，即：59视频信号取样取样频率的选取对信号恢复的影响60视频信号取样二维取样l二维取样定理：若二维连续信号 的空间频率 和 分别限制在 、，则只要取样周期 、满足 和 ，就可以由取样信号无失真地恢复原信号。l取样函数61视频信号取样取样失真l混叠失真如果取样周期 和 不满足 和 ，即欠取样，则相邻周期的频谱将会发生重叠，恢复信号时就会产生混叠失真。l孔径失真取样脉冲存在一定的脉冲宽度，丧失某些高频成分，导致信号恢复产生误差和模糊。抑制混叠失真l其他噪声插入噪声、抖动噪声等62图像量化取样后所得到的信号在时间-空间上是离散的，但在幅度上仍然是连续的量化：将无限级的信

16、号幅度变换成有限级的数码表示量化器：按照一定规则对取样信号的幅度值作近似表示有限离散值量化误差，量化失真（噪声）63图像量化量化的用途l模拟信号数字化-模数转换l数据压缩量化的分类l无记忆 vs 有记忆l均匀 vs 非均匀l对称 vs 非对称l标量量化 vs 矢量量化标量量化：对每个取样点独立地进行量化矢量量化：对k个取样点所组成的一组（一个矢量）进行量化64图像量化标量量化ffminfmaxQ(f)fminfmax为判决电平为量化电平65图像量化量化失真测度l均方误差l绝对值误差l加权绝对值误差均方误差（量化误差）66图像量化均匀量化l一种标量量化器，也称为线性量化器l量化间隔相等，即：l量

17、化电平对应于电平区间 的中值，即：设 f 的概率密度函数为均匀分布量化误差为：量化层数L越大，则量化误差越小。但编码所需比特数也越大67提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型68数字视频质量评价主观评价l平均判分方法l三种类型：质量测试、损伤测试、比较测试69质量测试质量测试损伤测试损伤测试比较测试比较测试A：优：优5：不能察觉：不能察觉+2：好得多：好得多B：良：良4：刚能察觉，不讨厌：刚能察觉，不讨厌+1：好：好C：中：中3：有点讨厌：有点讨厌0：相同：相同D：次：次2：很讨厌：很讨厌-1:坏坏E：劣：劣1：不能用：不能用-2：坏得多：坏得多数字视频质量评价客观

18、评价l均方误差(MSE)l峰值信噪比(PSNR)l平均绝对误差对每个彩色分量通常取255-8bit40dB，非常好3040dB，比较好2030dB，相当差20dB,不能接受70提纲人类视觉系统彩色模型视频多维随机信号分析数字化质量评价视频模型71视频模型场景模型l用于描述包括光源、物体、摄像机的世界，运动物体与摄像机之间的相互定位。l照明模型l摄像机模型l物体模型72照明模型描述照明变化引起的视频信号在时间上的变化。分类l光谱模型 多种彩色光源l几何模型 环境光源（无阴影）、点光源l局部照明模型 光源与物体位置无关l总体照明模型 考虑物体间的影响（如阴影）73照明模型光源l照明光源 太阳、灯泡

19、等 相加规则l反射光源 色彩感觉取决于入射光的光谱成分和被吸收的波长范围相减规则镜面反射 只显示入射光的颜色漫反射 可显示物体表面的颜色 74照明模型反射光辐射强度反射系数入射光光强L：照明方向 V：观测方向 N：表面法线矢量 P：物体表面位置 ：光的波长固定L和V：环境光源、漫反射：点光源、局部照明模型、漫反射：入射光方向L与任意点P处表面法线N之间的夹角75摄像机模型描述真实场景中物体在摄像机成像图像平面上的投影实现四维空间到三维空间的映射透视投影正交投影摄像机运动三维空间（世界）坐标系二维投影图像平面坐标系76摄像机模型透视投影l也称中心投影：以摄像机为中心l满足 或O：观察点O：投影平

20、面原点OO=F：焦距77摄像机模型正交投影l也称平行投影：物体距离摄像机很远l满足78摄像机模型摄像机运动l平移：跟（track）、吊（boom）、推（dolly）l旋转：摇（pan）、倾（tilt）、滚（roll）l变焦79摄像机模型摄像机运动l跟和吊：沿X轴和Y轴的平移对于透视投影：80摄像机模型摄像机运动l摇和倾：绕X轴和Y轴旋转当旋转角 和 均很小时：81摄像机模型摄像机运动l变焦：改变摄像机的焦距l滚：绕Z轴旋转其中：很小82物体模型关于真实物体的假设物体l场景中可以分离的实体l描述模型：形状、运动、纹理形状模型l由占据的三维空间来描述l物体表面l三角形网格方法 控制点（顶点）索引面

21、P1P3P2P5P483物体模型刚体运动模型l物体的形状不能改变，控制点不能被独立地移动l物体的旋转 3x3矩阵Rl物体的平移 3x1列向量T84物体模型刚体运动模型l物体绕三维空间的原点转动，旋转矩阵为：当 ，很小时：85总结人类视觉系统人类视觉系统l视觉特性彩色模型彩色模型lRGB，CMYK，YUV，YIQ，YCbCrl色度取样格式：4:4:4,4:2:2,4:1:1,4:2:0视频视频l模拟视频：逐行扫描、隔行扫描；NTSC，PAL，SECAMl数字视频：特点，采集，格式多维随机信号分析多维随机信号分析l线性移不变，傅里叶变换，随机图像数字化数字化l取样，量化质量评价质量评价l主观评价，客观评价（MSE，PSNR）视频模型视频模型l摄像机模型，物体模型86习题1-21-41-81-987