(8.1)--08媒体与认知.pdf

《(8.1)--08媒体与认知.pdf》由会员分享，可在线阅读，更多相关《(8.1)--08媒体与认知.pdf（83页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 第八讲 媒体与认知 2 2 电子信息科学与技术知识体系 媒体应用媒体应用 TH wsj 内内 容容 目目 录录 一、信息与媒体 二、人类感知与认知 三、智能信息处理 四、媒体与认知相互作用 五、媒体认知应用 4 2121世纪，是信息社会的世纪，随着互联网的渗透和世纪，是信息社会的世纪，随着互联网的渗透和延伸，人类社会已经侵润在信息的海洋之中。延伸，人类社会已经侵润在信息的海洋之中。书信和邮件、文字和声音、图像和视频、新闻和电书信和邮件、文字和声音、图像和视频、新闻和电视、数字和图表、信号和标识，所有这些媒体都承视、数字和图表、信号和标识，所有这些媒体都承载着大量的信息川流不息地在我们的生命过

2、程中流载着大量的信息川流不息地在我们的生命过程中流动着。动着。一、信息与媒体 TH wsj 1、信息的时代 5 信息与媒体的关系信息与媒体的关系 TH wsj 原始时代：结绳计数、美丽的象形文字；原始时代：结绳计数、美丽的象形文字；还有：嘹亮的螺声号角、古老的烽火台。还有：嘹亮的螺声号角、古老的烽火台。都在记录或传递着人们所需要表达的一种内容。都在记录或传递着人们所需要表达的一种内容。人们希望表达的内容就是信息，而这些有着特定变人们希望表达的内容就是信息，而这些有着特定变化形态或符号的结绳、象形文字、螺声号角、烽火化形态或符号的结绳、象形文字、螺声号角、烽火台或者大鼓就是传播媒体，简称媒体。台

3、或者大鼓就是传播媒体，简称媒体。6 媒体，也称为媒介媒体，也称为媒介，它们都源于英语，它们都源于英语MediumMedium一词，一词，复数形式为复数形式为mediamedia。其含义，一方面，指的是信息传递的载体、渠道、其含义，一方面，指的是信息传递的载体、渠道、中介物、工具或技术手段，另一方面也指信息的采中介物、工具或技术手段，另一方面也指信息的采集、加工制作和传播的社会组织。集、加工制作和传播的社会组织。TH wsj 信息技术领域中的媒体含义信息技术领域中的媒体含义 我们每天都在接触和使用的文本、语音、图像和视我们每天都在接触和使用的文本、语音、图像和视频等数字媒体，也把它简称为媒体。这

4、些媒体所承频等数字媒体，也把它简称为媒体。这些媒体所承载的表达内容就是信息。载的表达内容就是信息。7 TH wsj 2 2、信息技术领域中的数字媒体、信息技术领域中的数字媒体 信息处理技术中所指的“数字媒体”，是电子化信信息处理技术中所指的“数字媒体”，是电子化信息的采集、存储、传输和表示的一种载体息的采集、存储、传输和表示的一种载体。在信息技术领域，通常人们常说的文本、图形、语在信息技术领域，通常人们常说的文本、图形、语音、图像、视频、三维图像，都被称为数字媒体，音、图像、视频、三维图像，都被称为数字媒体，简称媒体。简称媒体。8 8 TH wsj 信息获取方式的发展：信息获取方式的发展：人的

5、感知：人的感知：视觉、听觉、触觉、嗅觉、视觉、听觉、触觉、嗅觉、数字媒体：数字媒体：照相机、摄像机、手机、照相机、摄像机、手机、.探测成像等技术：探测成像等技术：主要以声、光、电、磁等作为探主要以声、光、电、磁等作为探测手段，综合利用各种传感器、计算机、航空航天、测手段，综合利用各种传感器、计算机、航空航天、导航定位等先进技术，获取目标的图像数据及其他信导航定位等先进技术，获取目标的图像数据及其他信息息 3 3、媒体信息的获取、媒体信息的获取 9 9 不同媒体信息的获取不同媒体信息的获取 语音的获取：麦克风语音的获取：麦克风 图像获取方法：照相机，摄像机，扫描仪图像获取方法：照相机，摄像机，扫

6、描仪 http:/ TH wsj 10 10 TH wsj 图像成像过程图像成像过程 11 11 4 4、媒体的形式、媒体的形式 TH wsj MP3编码：编码：MP3作为目前最作为目前最为普及的音频压缩格为普及的音频压缩格式，有很多的便携式式，有很多的便携式MP3播放器等。播放器等。（1 1）语音：一维）语音：一维(1D)(1D)12 12（2 2）图像：）图像：二维二维(2D)(2D)：bmpbmp，JPEGJPEG，JPEG200JPEG200 联合图像专家组联合图像专家组 TH wsj 数字图像的每一个元素都有一个特定的位置和幅数字图像的每一个元素都有一个特定的位置和幅值，这些元素称为

7、图像元素或像素。值，这些元素称为图像元素或像素。13 13 TH wsj 彩色图像数据矩阵彩色图像数据矩阵 14 14（3 3）视频：时序列图像）视频：时序列图像 MPEG,H.264,AVSMPEG,H.264,AVS TH wsj ISOISO专门成立了运动专门成立了运动图像专家组图像专家组MPEGMPEG，研究研究和开发运动图像和音频和开发运动图像和音频的编码格式。的编码格式。15 15（4 4）立体图像：三维）立体图像：三维(3D)(3D)，具有具有x x、y y、z z坐坐标标,深度数据深度数据kinectkinect TH wsj 从图像中提取三维信息，重从图像中提取三维信息，重构

8、几何模型，构几何模型，或通过三维几或通过三维几何建模，即构成立体视觉图何建模，即构成立体视觉图像。像。16 16 一般作为档案存储，主要采用磁带，磁盘，一般作为档案存储，主要采用磁带，磁盘，光盘，和光盘，和U U盘作为存储设备。盘作为存储设备。为解决海量存储问题，为解决海量存储问题，需需要研究数据压缩，要研究数据压缩，存储格式存储格式标准化，以及数据库技术等标准化，以及数据库技术等 5 5、存储与传输、存储与传输 TH wsj（1 1）信息存储：）信息存储：含有大量信息，在媒体处理中需要对其含有大量信息，在媒体处理中需要对其进行存储进行存储 17 17（2 2）媒体媒体传输传输 媒体传输是指远

9、距离传送。媒体远距离传送主媒体传输是指远距离传送。媒体远距离传送主要需要解决占用带宽的问题。要需要解决占用带宽的问题。根据媒体格式，可进行多级传送，以对应不同根据媒体格式，可进行多级传送，以对应不同用途。用途。PDA用图像用图像 无线无线LAN 用用图像图像 印刷用印刷用图像图像 LAN用用图像图像 TH wsj 18 18 TH wsj 6 6、媒体的内容显示、媒体的内容显示 媒体媒体信息显示信息显示 体现信息表达的属性，以及信息内容的特征体现信息表达的属性，以及信息内容的特征 常用的有文本、图形、图像、动画、视频、声音、常用的有文本、图形、图像、动画、视频、声音、语音等。这些媒体包含海量信

10、息内容语音等。这些媒体包含海量信息内容 多媒体，多媒体，指同时采集、处理、编辑、存储和展示两指同时采集、处理、编辑、存储和展示两个或以上不同类型媒体的信息技术个或以上不同类型媒体的信息技术 19 19 显示设备显示设备 软拷贝方法：软拷贝方法：CRTCRT显示器，液晶显示器显示器，液晶显示器(LCD)(LCD)，薄膜晶体管液晶薄膜晶体管液晶(TFT LCD)(TFT LCD)显示器，显示器，等离子显示器等离子显示器(PDP)(PDP)，扬声器，扬声器等。等。硬拷贝方法：主要有照相、打印、报纸等硬拷贝方法：主要有照相、打印、报纸等 PDPPDP CRTCRT 打印机打印机 TH wsj 20 2

11、0 TH wsj 媒体传播途径媒体传播途径 利用报纸、电视、广播、网络四大媒体的传播利用报纸、电视、广播、网络四大媒体的传播手段，将文字、图像、动画、视频、语音等内容，手段，将文字、图像、动画、视频、语音等内容，通过显示设备提供给受众。通过显示设备提供给受众。21 21 上述所有媒体，都是源于对人的生理结构和认知心理的研究基础；上述所有应用，都是基于对媒体的智能处理；没有对人的认知研究，没有对媒体信息的智能处理，媒体的应用会遇到困难 TH wsj TH wsj 内内 容容 目目 录录 一、信息与媒体 二、人类感知与认知 三、智能信息处理 四、媒体与认知相互作用 五、媒体认知应用 23 23 T

12、H wsj 二、人类感知与认知 媒体，是指信息传播过程中从传者到受者之间，媒体，是指信息传播过程中从传者到受者之间，携带和传递信息的一切形式的传播工具与内容携带和传递信息的一切形式的传播工具与内容 表明媒体与受众表明媒体与受众人的认知密切相关人的认知密切相关 媒体内容是媒体内容是否容易理解？否容易理解？媒体表现形媒体表现形式是否容易式是否容易被接受？被接受？媒体设备和媒体设备和传播渠道是传播渠道是否合理？否合理？24 TH wsj 虚拟现实：影视、卡梅隆、阿凡达虚拟现实：影视、卡梅隆、阿凡达 移动终端：移动终端：iPad,iPhoneiPad,iPhone Google Project Gla

13、ss 25 媒体与认知关系之内涵 人类的发展与文明的进步，主要表现在人类不断提高对自身和客观世界的认识，不断创造新机器的过程 http:/ http:/ http:/ 26 从生物认知，到媒体信息 近20年来，随着神经科学的快速发展，使我们对人类大脑有了更深刻的了解 视觉是人类获取信息的重要途径，也是人类对自身研究认识最深刻的部分 借助和参考生物视觉认知机理来发展和提高机器信息处理与认知计算能力是一种重要的手段，边缘，DNN 媒体媒体 认知认知 媒体内容媒体内容 表现形式表现形式 媒体种类媒体种类 自身机理自身机理 算法设计算法设计 模型建立模型建立 对客观世界的认识对客观世界的认识 设备载体

14、设备载体 27 从认知到媒体信息处理 图from:http:/ 生物视觉感知的生理结构生物视觉感知的生理结构 视网膜，初级视皮层，纹外皮层 感受野感受野特征检测器特征检测器 同心圆感受野同心圆感受野，简单简单/复杂感受野，纹外皮层复杂感受野，纹外皮层 DoGDoG模型（模型（SIFTSIFT特征）特征）,Gabor,Gabor特征特征 媒体处理及应用媒体处理及应用 28 28 TH wsj 认知，是把感觉器官获得的信息加以整合、解释、赋予语义的心理过程。人类感知特性 感知，包含感觉和知觉，是脑对直接作用于感官的事物的个别属性的反映，以及直接作用于感官的客观事物的整体在脑中的反映。感知是认知的基

15、础和前提，认知由感觉接受信息变为知觉，再将知觉进行整合。包括注意、记忆、理解、判断、推理。29 29 1 1、视觉感知特性、视觉感知特性 TH wsj 人类通过视觉感知了解客观世人类通过视觉感知了解客观世界，但感知结果，会受人的感知界，但感知结果，会受人的感知特点影响特点影响 了解人类视觉感知的特点 是研究媒体认知的基础 人类信息的获取，80%主要来源于视觉感知，而图像是视觉信息的重要载体 30 30 Tsinghua 2 2、亮度适应和鉴别、亮度适应和鉴别 由于数字图像作为离散的亮点集显示，由于数字图像作为离散的亮点集显示，因此需要考虑人眼对不同亮度的鉴别能力因此需要考虑人眼对不同亮度的鉴别

16、能力 10 人眼适应光强度级别范围很宽，从夜视阈人眼适应光强度级别范围很宽，从夜视阈值到强闪光，约有值到强闪光，约有1010 量级量级 http:/ http:/ 31 31 Tsinghua 夜视阈值夜视阈值 夜视夜视 昼视昼视 主观亮度主观亮度 From Gonzalez book(1)(1)人眼靠改变灵人眼靠改变灵敏度，来调节不敏度，来调节不同范围内的鉴别同范围内的鉴别 即亮度适应即亮度适应 6 但是，人眼不能同时在一个范围内工作。但是，人眼不能同时在一个范围内工作。昼视觉范围昼视觉范围1010 ，比总适应范围要小比总适应范围要小 32 32 Tsinghua (2)(2)感觉亮度不是简

17、单的强度函数感觉亮度不是简单的强度函数 From Gonzalez book 33 33 除亮度和颜色感觉特性外，视觉还具有空除亮度和颜色感觉特性外，视觉还具有空间和时间特性。间和时间特性。Tsinghua 3 3、视觉的空间和时间特性、视觉的空间和时间特性 (1)(1)视力视力空间上人眼分辨率物体细节的能力空间上人眼分辨率物体细节的能力 1.5mm 1.5mm(1)视距视距5m 7.5mm 照度照度500lx 视力视力1.0 Landolt 兰多尔特环兰多尔特环 34 34 Tsinghua(2)(2)视觉错觉视觉错觉 35 35 Tsinghua 36 36 Tsinghua(3)(3)视

18、觉的时间特性视觉的时间特性 人眼视觉具有暂留特性人眼视觉具有暂留特性 18291829年，比利时著名的物理学家约瑟夫年，比利时著名的物理学家约瑟夫 普拉托普拉托为了考察人眼耐光的限度，以及对物象滞留的时间，为了考察人眼耐光的限度，以及对物象滞留的时间，他曾一次长时间对着强烈的日光凝目而视，结果双他曾一次长时间对着强烈的日光凝目而视，结果双目失明。目失明。但他发现太阳的影子深深地印在了他的眼睛里。但他发现太阳的影子深深地印在了他的眼睛里。约瑟夫约瑟夫 普拉托发现了普拉托发现了“视觉滞留视觉滞留”的原理，即：当的原理，即：当眼前的物体被移走后，该物体在视网膜上的物象不眼前的物体被移走后，该物体在视

19、网膜上的物象不会立即消失，会继续短暂滞留一段时间。实验证明，会立即消失，会继续短暂滞留一段时间。实验证明，物象滞留的时间一般为物象滞留的时间一般为0.10.10.40.4秒。秒。37 37 Tsinghua 人眼“视觉暂留人眼“视觉暂留”特性的应用特性的应用 电视电影就是利用了“视觉暂留”原理。电视电影就是利用了“视觉暂留”原理。电影胶片以每秒电影胶片以每秒2424格画面匀速转动，一系格画面匀速转动，一系列静态画面就会因视觉暂留作用而造成一种列静态画面就会因视觉暂留作用而造成一种连续的视觉印象，产生逼真的动感。连续的视觉印象，产生逼真的动感。38 38 3 3、人的认知控制系统的构成、人的认知

20、控制系统的构成 TH wsj 系统系统 环境环境 传感器传感器 （输入）（输入）控制器控制器 （输出（输出）运算器和记忆器运算器和记忆器 （处理和存储）（处理和存储）通信网络通信网络 （传输（传输）虽然这个模型很像现代信息系统，但是把人的认知系统想象虽然这个模型很像现代信息系统，但是把人的认知系统想象成计算机系统是很局限的！（比如计算机模型很难解释人的成计算机系统是很局限的！（比如计算机模型很难解释人的顿悟）顿悟）39 39 5 5、视觉认知的特点、视觉认知的特点 TH wsj 人们在认知景物时，常常人们在认知景物时，常常注意注意和寻找和寻找其与它事物的相同与不同之其与它事物的相同与不同之处，

21、根据使用目的进行分类。人脑处，根据使用目的进行分类。人脑的这种思维能力就构成了模式和识的这种思维能力就构成了模式和识别的能力。别的能力。从人的认知机理可知，人对物体的检测和识别，从人的认知机理可知，人对物体的检测和识别，不只是与目标特征的学习有关，也与目标所处的背不只是与目标特征的学习有关，也与目标所处的背景特征与目标特征的差异性（或相似度）有关。景特征与目标特征的差异性（或相似度）有关。TH wsj 内内 容容 目目 录录 一、信息与媒体 二、人类感知与认知 三、智能信息处理 四、媒体与认知相互作用 五、媒体认知应用 41 41 TH wsj 信息通过媒体信息通过媒体 三、智能信息处理 媒体

22、，是指信息传播过程中从传者到受者之间，媒体，是指信息传播过程中从传者到受者之间，携带和传递信息的一切形式的传播工具。携带和传递信息的一切形式的传播工具。直接作用于受众直接作用于受众 通过机器间接作用通过机器间接作用于受众于受众 其效果取决于对媒体的认知，而对媒体的认知，其效果取决于对媒体的认知，而对媒体的认知，又依赖于对媒体的智能化处理又依赖于对媒体的智能化处理 42 42 1 1、媒体认知的核心问题、媒体认知的核心问题 TH wsj 是研究媒体内容与媒体形式间的有机联系，是研究媒体内容与媒体形式间的有机联系，通过对媒体内容的智能化处理，认知其属性特通过对媒体内容的智能化处理，认知其属性特征，

23、经直接或间接作用，使受众达到征，经直接或间接作用，使受众达到 “媒体”中包含了丰富的信息内容。信息最“媒体”中包含了丰富的信息内容。信息最本质的概念是客观事物的属性和特征，因此，本质的概念是客观事物的属性和特征，因此，媒体与认知研究的核心，媒体与认知研究的核心，认知媒体的目的 43 43 2 2、媒体信息的本质、媒体信息的本质是信号的集合是信号的集合 TH wsj 媒体中的信息是信号的集合，需要分析信媒体中的信息是信号的集合，需要分析信号的特征，进而认知媒体之内容号的特征，进而认知媒体之内容 信号的集合实例：信号的集合实例：语音：一维信号；图像：二维信号 视频：三维信号 对信号进行分析，对信息

24、进行处理，是媒体认知的基础 44 44 3 3、媒体认知的智能信息处理、媒体认知的智能信息处理 TH wsj(1)(1)信号的基本运算、信号时域分析、信号频域分信号的基本运算、信号时域分析、信号频域分析、傅里叶变换析、傅里叶变换 (2)(2)概率、数学期望、随机变量分布、马尔科夫链概率、数学期望、随机变量分布、马尔科夫链 (3)(3)离散信号分析、离散傅里叶变换、数字滤波器离散信号分析、离散傅里叶变换、数字滤波器 (4)(4)图像语音增强、图像分割、边缘检测图像语音增强、图像分割、边缘检测 (5)(5)计算机视觉、模式识别、目标识别、语音识别计算机视觉、模式识别、目标识别、语音识别 所涉及的主

25、要知识点如下：所涉及的主要知识点如下：45 45 TH wsj 物理上：物理上：信号是信息变化的形式信号是信息变化的形式 数学上：数学上：信号是一个或多个变量的函数信号是一个或多个变量的函数 形态上：信号表现为一种波形形态上：信号表现为一种波形 自变量：时间、位移、周期、频率、幅度、相位自变量：时间、位移、周期、频率、幅度、相位 信号的基本运算、时域分析、信号频域分析、信号的基本运算、时域分析、信号频域分析、傅里叶变换傅里叶变换 通过对各种信号处理，实现媒体认知通过对各种信号处理，实现媒体认知 46 46 TH wsj 信号的分解信号的分解 随机信号的能谱分随机信号的能谱分布及随机信号的参布及

26、随机信号的参数概率分布。数概率分布。傅里叶变换 傅里叶指出：任何周期函数都可以表示为不同频率的正弦、或余弦和的形式。47 47 TH wsj 信号的谱分析：二维离散傅里叶变换信号的谱分析：二维离散傅里叶变换 48 48 图像增强图像增强 TH wsj 目的是对图像进行加工处理，以得到更好、更有目的是对图像进行加工处理，以得到更好、更有用的图像。典型算法：用的图像。典型算法：直方图均衡化直方图均衡化 图像增强、图像复原、图像分割、边缘检测图像增强、图像复原、图像分割、边缘检测 通过对媒体认知，获得高质媒体通过对媒体认知，获得高质媒体 49 49 TH wsj 原图像 33中值滤波 From Go

27、nzalez book 50 50 图像复原图像复原 TH wsj 消除图像模糊，对退化图像进行逆滤波。消除图像模糊，对退化图像进行逆滤波。模糊原因：模糊原因：传感器内部噪声，摄像机未聚焦，传感器内部噪声，摄像机未聚焦，物体与镜头之间的相对移动，物体与镜头之间的相对移动，等等。等等。通过对媒体认知，获得高质媒体通过对媒体认知，获得高质媒体 51 51 TH wsj 52 52 图像分割与边缘检测图像分割与边缘检测 TH wsj 图像分割图像分割是数字图像处理中重要技术，将图像分是数字图像处理中重要技术，将图像分为构成它的子区域，获得感兴趣目标为构成它的子区域，获得感兴趣目标 工业检测中的零件识

28、别工业检测中的零件识别 医学诊断中的组织获取医学诊断中的组织获取 军事侦察与监控中的目标检测军事侦察与监控中的目标检测 通过对媒体的处理，认知媒体内容通过对媒体的处理，认知媒体内容 53 53 图像分割方法图像分割方法 TH wsj 梯度算子与边缘检测梯度算子与边缘检测 yfxfGGfyx_ 对图像求导数可以检测图像中的边缘点对图像求导数可以检测图像中的边缘点 From Gonzalez book 54 54 TH wsj 计算机视觉、模式识别、目标识别计算机视觉、模式识别、目标识别 计算机视觉计算机视觉(CV)(CV)与与 模式识别模式识别 (PR)(PR)研究如何使研究如何使机器机器“看”

29、懂事物，用像机和电脑代替“看”懂事物，用像机和电脑代替人眼对目标进行识别，研究如何从图像中“认知”的人眼对目标进行识别，研究如何从图像中“认知”的学科。学科。http:/ http:/ 55 55 TH wsj http:/ http:/ 模式识别，模式识别，是指对表征事物现象的各种形式的信是指对表征事物现象的各种形式的信息，如语音、波形、图像、文字、生物传感器等信息，如语音、波形、图像、文字、生物传感器等信息进行处理和分析，以对事物进行描述、辨识、分息进行处理和分析，以对事物进行描述、辨识、分类和解释的过程。类和解释的过程。56 56 TH wsj 人脸检测和识别人脸检测和识别 (-78,5

30、2)(-31,-11)(12,-27)(52,11)(0,23)57 57 目标检测目标检测 TH wsj 运动目标检测：运动目标检测：主要是把场景中运动的物体检测出来，通过主要是把场景中运动的物体检测出来，通过 背景建模背景建模图像差分图像差分阈值分割阈值分割目标提取目标提取 输入彩色图像输入彩色图像 对应背景对应背景 目标检测目标检测 通过对媒体的处理，认知媒体内容通过对媒体的处理，认知媒体内容 58 58 TH wsj Image Recognition results 车牌照识别车牌照识别 TH wsj 内内 容容 目目 录录 一、信息与媒体 二、人类感知与认知 三、智能信息处理 四、

31、媒体与认知相互作用 五、媒体认知应用 60 Tsinghua 一方面，一方面，研究认知机理，通过媒体信息智能处理，研究认知机理，通过媒体信息智能处理，创造新的媒体形式（新媒体创造新的媒体形式（新媒体信息新表示形式）信息新表示形式）另一方面，以人类认知机理为基础的新媒体创新，另一方面，以人类认知机理为基础的新媒体创新，又可以为提高人类认知客观世界的能力提供有效的手又可以为提高人类认知客观世界的能力提供有效的手段和工具，（新媒体信息段和工具，（新媒体信息提高认知能力）提高认知能力）媒体与认知的相互作用媒体与认知的相互作用 研究符合人类认知机理的媒体技术，研究符合人类认知机理的媒体技术，设计更符合人

32、类认知机理的新媒体，设计更符合人类认知机理的新媒体，是未来新媒体技术所关注的焦点是未来新媒体技术所关注的焦点 61 61 1 1、新媒体技术、新媒体技术可穿戴设备可穿戴设备 TH wsj 利用新媒体技术利用新媒体技术可穿戴设备实现对主体的信可穿戴设备实现对主体的信息采集，增强主体的自我认知，是未来媒体的新息采集，增强主体的自我认知，是未来媒体的新方向。方向。2013年，是可穿戴设备元年，谷歌、三星、苹果、年，是可穿戴设备元年，谷歌、三星、苹果、微软等都即将或已推出可穿戴设备。微软等都即将或已推出可穿戴设备。可穿戴设备可穿戴设备的增长潜力巨大，是下一个热门领域。的增长潜力巨大，是下一个热门领域。

33、62 62 TH wsj 谷歌眼镜，即Project Glass 谷歌眼镜（谷歌眼镜（Google Project Glass），是由），是由谷歌谷歌公司公司于于2012年年4月发布的一款“新型”眼镜，它具有和月发布的一款“新型”眼镜，它具有和智能手机智能手机一样的功能，可以通过声音控制拍照、一样的功能，可以通过声音控制拍照、视频通话和辨明方向，以及上网冲浪、处理文字视频通话和辨明方向，以及上网冲浪、处理文字信息和信息和电子邮件电子邮件等等 63 2，视觉暂留与电影技术，视觉暂留与电影技术 物体在快速运动时，当人眼所看到的影像消失后，物体在快速运动时，当人眼所看到的影像消失后，人眼仍能继续保留

34、其影像，约人眼仍能继续保留其影像，约0.1-0.4秒左右的图像，秒左右的图像，这种现象被称为视觉暂留现象。人眼观看物体时，这种现象被称为视觉暂留现象。人眼观看物体时，成像于成像于视网膜视网膜上，并由上，并由视神经视神经输入人脑，感觉到物输入人脑，感觉到物体的像，但当物体移去时，视神经对物体的印象不体的像，但当物体移去时，视神经对物体的印象不会立即消失，而要延续会立即消失，而要延续0.1-0.4秒秒的时间，人眼的秒秒的时间，人眼的这种性质被称为“眼睛的视觉暂留”。这种性质被称为“眼睛的视觉暂留”。TH wsj 64 Tsinghua 视觉暂留（视觉暂留（Persistence of vision

35、）：是光对是光对视网膜视网膜所产生的视觉，在光停止作用后所产生的视觉，在光停止作用后，仍保留一段时间的现象。原因是由，仍保留一段时间的现象。原因是由视神经视神经的反应的反应速度造成的，其时值约是十六分之一秒，对于不同速度造成的，其时值约是十六分之一秒，对于不同频率的光有不同的暂留时间。频率的光有不同的暂留时间。比如：直视太阳数秒后，人眼将残留一个强光源的比如：直视太阳数秒后，人眼将残留一个强光源的影像。影像。65 Tsinghua 通常的观点：视觉暂留电影原理 电影是人类史上的重要发明电影是人类史上的重要发明，借助了照相化学、光学、，借助了照相化学、光学、机械学、电子学等多门学科机械学、电子学

36、等多门学科的知识和原理。的知识和原理。电影胶片以电影胶片以每秒每秒24格画面匀速转动，一格画面匀速转动，一系列静态画面就会因视觉暂系列静态画面就会因视觉暂留作用而造成连续的视觉印留作用而造成连续的视觉印象象 66 Tsinghua 关于视觉暂留的讨论 幻觉，似动，暂留？如果电影的原理是视觉暂留的话，那么我们看到的如果电影的原理是视觉暂留的话，那么我们看到的应该是应该是物体的负像物体的负像，然后经过我们视觉暂留的反应，然后经过我们视觉暂留的反应之后才成为逼真的正像。但是谁都知道，我们看到之后才成为逼真的正像。但是谁都知道，我们看到的画面是真真切切的正像画面，而且还是连续不断的画面是真真切切的正像

37、画面，而且还是连续不断的、运动的画面。那么，造成这种情况的原理是什的、运动的画面。那么，造成这种情况的原理是什么呢？恐怕还是需要进一步研究，探明真理。么呢？恐怕还是需要进一步研究，探明真理。电影，电视已经走进我们的生活，但到底是我们人眼的什么机理使得我们可以从一幅一幅的静止图像中感觉到动的影像？67 Tsinghua 类似的，立体视觉与显示也是媒体与认知相互作类似的，立体视觉与显示也是媒体与认知相互作用的一个实例，因时间关系本次课堂不做详细介用的一个实例，因时间关系本次课堂不做详细介绍，感兴趣的同学可以阅读相关资料。绍，感兴趣的同学可以阅读相关资料。立体视觉机理立体视觉机理 立体视觉：交于三维

38、空间一点立体视觉：交于三维空间一点 A 平面视觉：平面视觉：交于屏幕一点交于屏幕一点 A TH wsj 内内 容容 目目 录录 一、信息与媒体 二、人类感知与认知 三、智能信息处理 四、媒体与认知相互作用 五、媒体认知应用 69 69 五、媒体认知应用 TH wsj 通过对媒体的智能处理，可认知媒体通过对媒体的智能处理，可认知媒体 媒体内容、属性特征媒体内容、属性特征 通过对媒体认知，可获得高质媒体通过对媒体认知，可获得高质媒体 媒体设计、产品设计媒体设计、产品设计 高质媒体，可获效果显著，以及更好的认知高质媒体，可获效果显著，以及更好的认知 认识事物本质认识事物本质 70 Tsinghua

39、媒体认知的应用领域媒体认知的应用领域 研究符合人类认知机理的媒体技术，设计更符合人研究符合人类认知机理的媒体技术，设计更符合人类认知机理的新媒体，类认知机理的新媒体，是未来新媒体技术所关是未来新媒体技术所关注的焦点注的焦点 包括：媒体内容表现与媒体设备技术包括：媒体内容表现与媒体设备技术 20世纪80年代是个人计算机的时代；90年代是网络和多媒体时代；21世纪是虚拟现实的时代媒体与认知新时代 媒体与认知技术的应用领域非常广阔媒体与认知技术的应用领域非常广阔 71 71 指指纹纹识识别别 1 1、军事和安全监控、军事和安全监控 主要应用是在侦察方面。目标的检测，跟踪与识别主要应用是在侦察方面。目

40、标的检测，跟踪与识别 军事侦察军事侦察 导弹制导导弹制导 模拟训练模拟训练 军事领域 视频监控视频监控 指纹识别指纹识别 人脸检测人脸检测 公共安全 TH wsj 72 72 侵入目标检测 输入彩色图像输入彩色图像 对应背景对应背景 检测结果检测结果 Wronskian算算法检测结果法检测结果 TH wsj 73 73 2 2、资源与环境保护、资源与环境保护 遥感技术应用遥感技术应用 利用卫星平台，从空中远距离对地面进行观测利用卫星平台，从空中远距离对地面进行观测 TH wsj 地质：资源勘探，地图绘制，地质：资源勘探，地图绘制，GISGIS，河流分布，河流分布 http:/ 74 74 环境

41、：环境：水质及大气污染调查水质及大气污染调查 海洋污染监测海洋污染监测 http:/ TH wsj 3 3、海洋与气象、海洋与气象 云图分析云图分析 利用卫星遥感技术，利用卫星遥感技术，采集云图，通过对云图采集云图，通过对云图的分析，对大气，海洋的分析，对大气，海洋环境进行监测环境进行监测 75 75 4 4、工业与交通、工业与交通 工业产品的无损探伤，表面和外观的自动工业产品的无损探伤，表面和外观的自动检查；检查；机械手确定物体的位置，机械手确定物体的位置，方向，状态，实现自动操作方向，状态，实现自动操作 http:/www.zo- TH wsj 76 76 交通：交通：交通流监测，车牌照识

42、别，路况检测等交通流监测，车牌照识别，路况检测等 特别是特别是智能交通系统智能交通系统(ITS)(ITS)的出现，使图的出现，使图像处理有了更大的应用场所像处理有了更大的应用场所 TH wsj 77 77 5 5、医学与生物学、医学与生物学 X X射线成像，射线成像，计算机断层扫描计算机断层扫描CTCT，核磁共振，超声波等核磁共振，超声波等 不论是基础科学还是临床应用，都是不论是基础科学还是临床应用，都是图像处理种类应用最多的领域。图像处理种类应用最多的领域。美国康奈尔大学的物理学家大卫 哈默（DavidHammer）拍摄的苍蝇X光图像 TH wsj 78 78 传真，电视，实况转播，多媒体通

43、信，文字识别OCR，电子商务，手机等 6 6、多媒体通信、多媒体通信 声音、文字，图像、视频和数据声音、文字，图像、视频和数据结合的结合的多媒体通信。多媒体通信。http:/ wsj Google Project Glass 79 79 媒体与认知的互动媒体与认知的互动 相互作用相互作用 电视图像电视图像 物体形状数据物体形状数据 提取提取 毛衣毛衣 质地质地：棉棉100%颜色颜色：白，红，黑白，红，黑 大小大小：M,L,XL 价格价格：￥100 商品：商品：*商场商场 多媒体交互通信多媒体交互通信 兴趣物品兴趣物品 TH wsj 80 Tsinghua 7 7、虚拟现实与增强现实、虚拟现实与

44、增强现实 人机交互的实质，是媒体信息交互，即媒体与认知的相互作用 虚拟现实，作为一种新媒体和新一代人机交互技术，进而给人类带来了新的认知体验 虚拟现实和增强现实，采用多通道媒体界面技术，显示出未来人机交互的发展趋势，即追求“人机和谐”的多维信息空间交互和自然人机交互方式。81 作为一种新的媒体技术，虚拟现实通过建立一个超越环境条件和因素限制的系统服务于应用，实现现实物理世界无法满足的应用需求，可以为人们带来传统媒体无法体验的认知感受 http:/ 虚拟手表佩戴 82 82 总总 结结 TH wsj 1、媒体是信息的载体：内容和形式 2、信息是信号变化形式的集合 3、研究认知机理，有利于创新新媒体 4、以认知机理为基础的新媒体，可以为提高人类认知客观世界的能力提供有效的手段 5、智能媒体信息处理，是为了让机器系统 （计算机）拥有像人一样的视觉、听觉、和思维，更好地实现人与媒体的交互。谢谢 谢谢 ！TH wsj