面向安全监控的视频内容理解技术与应用.pdf

《面向安全监控的视频内容理解技术与应用.pdf》由会员分享，可在线阅读，更多相关《面向安全监控的视频内容理解技术与应用.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1 面向安全监控的视频内容理解面向安全监控的视频内容理解 技术与应用技术与应用 获奖人：谭铁牛获奖人：谭铁牛 黄凯奇黄凯奇 王宏志王宏志 王亮生王亮生 李尚明李尚明 自9.11事件后,国际社会对反恐、防恐等公共安全问题史无前例的高度关注,同时公共安全技术的研究与应用也是 国家中长期科学与技术发展规划纲要 中部署的重点领域。随着构建和谐社会、提高社会管理科学化水平等战略举措的实施，越来越多的安全监控摄像头被投入使用,常规视频安全监控系统以人为观察主体，已经无法处理海量视频数据。基于计算机技术的智能视频监控技术应运而生，已经成为新一代安全监控的发展方向。但目前相关核心技术主要来源于国外，严重地制约

2、了在我国公共安全和一些重要领域的应用。主要研究内容 该获奖项目以此为背景，重点开展面向公共安全监控的视频内容理解关键技术及系统应用研究。在核心关键技术上,主要解决 3W（Where,Who&What）的问题，也就是监控视频中的目标在哪，目标是什么以及目标在干什么，以达到安全监控的目的。a.目标分类和识别回答”是谁”的问题 目标分类和识别主要是回答“是谁”这一任务。在本项目中，这一任务的完成有赖于两个步骤，即对物体目标的分类和对于人的身份识别。目标的类别信息以及进一步人的身份信息可以用于更高层次的行为理解。比如在交通监控场景中，目标的分类使得在完成车辆计数的同时能排查进出的人或者其他物体；对于特

3、定区域管理，目标的分类使得对于进入到禁区的行人这一特定的目标进行报警，而进一步的人身份识别使得对于犯罪事件的调查成为可能。一般来说，目标识别首先要解决图像或者视频图像序列中出现的目标是哪一类物体，即目标分类。尽管目标分类是计算机视觉中的一个基础性的“经典”问题，但仍然是一个尚未2 完全解决的热点问题。同一种物体在不同的视角、姿态、背景中的表观模型往往存在巨大类内差异，而由于遮挡、或者天然相似等原因，物体目标的类间差异不明显。这些困难给目标分类带来了极大的困难。本项目的一个重要的分类和识别的实例如图 1 示。图 1.实景分类结果。人、影子、小虫的分类结果，P 代表人，X 代表其它目标 b.目标检

4、测和跟踪回答”在哪”的问题 目标检测及跟踪主要解决“在哪”这一任务。在本项目中，运动目标检测是一个重要的底层模块。运动目标给后续跟踪、分类以及高层语义理解提供了关注的范围。在监控场景中利用运动信息进行目标检测的方法目前主要基于背景建模的方法。通过比较前景和背景模型的差异，这类方法提取得到了目标的位置信息。图 2 基于背景建模的目标检测算法示意图 基于目标检测初始化位置，目标跟踪算法根据前后帧中目标特征表达的相关性，进一步对目标进行新位置的预测和提取目标移动轨迹信息。目标跟踪算法主要包含两个步骤，即目3 标的特征表达和目标特征的数据关联。如图所示，在单摄像机得到的视频图像序列中，目标跟踪算法将实

5、时地给出目标的运动位置信息。目标跟踪当前主要有两个问题亟待解决，其中一个是在遮挡条件下的跟踪，其二是在多摄像机条件下对同一运动目标的跟踪。图 3 基于粒子滤波的人体跟踪算法示意图 在实际应用中，运动阴影及光线剧变等问题是需要解决的难点问题，通过分析，我们发现移动阴影的产生是因为运动物体在光源和背景之间移动时遮挡光源所致，而光源随着时间的变化，阴影的位置和亮度都会发生变化，我们提出利用对背景表面折射率建模作为方案。由于背景的折射率分量只与背景有关，而背景在摄像机不动的情况下保持不变，所以我们的特征具有相对其他特征来说更稳定的特点。c.目标行为理解回答”干什么”的问题 基于目标检测、跟踪以及识别等

6、底层算法，高层行为分析与语义理解主要解决“做什么”这个任务。目前主要可分为基于形状的近距离行为分析以及基于轨迹分析的远距离行为分析。基于形状的行为分析经常得到关注。一般来说，算法主要采用剪影和轮廓线这两种特征。剪影方法考虑形状中的所有像素而轮廓线的方法只提取形状的外部边缘。基于这些特征，在近距离条件下，可以进一步实现行为分析。轨迹记录了目标的位置信息，是一种非常重要的远距离行为分析特征。许多基于轨迹分析的工作通过统计学习不同轨迹的模式，得到了关于目标的行为的移动信息。行为以及事件的语义理解是计算机视觉的一个终极目标。与底层信息处理比较，高层处理包括了空间和时间的关系挖掘。4 本项目针对不同行为

7、具有不同的特征和表现，主要解决了单目标、多目标交互及群行为的识别问题。我们根据目标所处的环境以及可利用的信息,对近距离的单人目标考虑了具有几何不变性的 R 变换来表达轮廓特征;对远距离及多目标行为提出了基于句法规则的行为识别框架;针对群行为中目标众多、互相遮挡、特征不易提取的特点，提出了基于全局的统计识别方法以获取准备的识别效果。项目进展过程 从 98 年开始，以谭铁牛研究员为负责人的团队对这一领域展开研究，早期的研究是以玩具模型作为实验平台，2004 年开始，项目组以中国科学院自动化研究所所在的办公地点自动化大厦为平台搭建了一个真实的平台，建立了 100 多个视频监控点，以真实数据作为实验数

8、据。经过将近一年时间的测试，该技术逐渐与实际应用开始结合，并突破了面向安全监控的视频内容理解中的一些关键技术难题，核心技术在2010及2011年的国际著名计算机视觉算法竞赛(PASCAL-VOC)中，从CMU、Stanford和微软研究院等众多计算机视觉领域的国际顶级研究团队中脱颖而出，获得目标检测竞赛的冠军和目标分类的亚军，显示出国际领先的技术水平。研制成功具有自主知识产权的面向安全监控的视频内容理解平台，打破了国外技术与产品的垄断，满足了国家一些重大领域的急需。该项目在包括IEEE T-PAMI,IEEE T-IP,CVPR 等国际权威期刊和国际会议上发表学术论文100 余篇，其中SCI收

9、录40篇，申请国家发明专利21项(其中授权10项)，获得计算机软件著作登记权16项，并曾获得中国发明专利优秀奖。本项目的成果已在工业控制、城市交通、外事领馆、奥运安保等多个重要领域得到推广应用。在北京城铁 13 号线应用以来，通过该项目提供的智能视频监控技术能准确自动地报警，安装初始即帮助抓获盗割电缆团伙8人次，使用该技术后，发案率和应用前同比降低8倍，效果十分显著，有力地保障了交通安全。在 2008 年北京奥运会及残奥会期间该项目成果被奥林匹克公共区指挥中心采用，对安全隐患最多的奥林匹克公园公共区全天候监控和智能分析,为实现平安奥运的理念，确保奥运的成功主办发挥了积极作用。项目成果也已授权多家企业使用，实现了技术成果的转移转化。5 团队 中科院自动化研究所模式识别国家重点实验室智能视频监控团队在1998 年谭铁牛研究员回国时创立，10 多年来始终坚持面向国家公共安全领域的重大需求与计算机视觉领域的学科前沿，开展面向安全监控的视频内容分析与理解研究。目前该团队有固定工作人员10余人、研究生20余人，是国际上专业从事智能视频监控研究的重要团队之一，在国内外享有较高的声誉。研究团队发起了 IEEE国际视觉监控学术研讨会和全国智能视觉监控学术会议,作为主要单位参与了相关行业标准的制定,为推动国内视频安全监控技术的进步和安防产业的发展做出了重要贡献。