超越最新无监督域自适应方法研究人员提轻量CNN新架构OSNet.docx

超越最新无监督域自适应方法，研究人员提轻量CNN新架构OSNet|KaiyangZhou,XiatianZhu,YongxinYang,AndreaCavallaro,andTaoXiang译者|TroyChang编辑|Jane出品|AI科技大本营IDrgznai100CNN新架构OSNet【导读】今天推荐论文?LearningGeneralisableOmni-ScaleRepresentationsforPersonRe-Identification?这是一篇关于行人再识别领域的新研究PersonRe-Identification,re-ID。这篇论文中们提出了一个新的CNN架构OSNet在实验效果方面这一新模型架构击败了最新的无监视域自适应方法。论文地址s:/arxiv.org/pdf/1910.06827.pdfGithubs:/github/KaiyangZhou/deep-person-reid摘要有效的行人再识别模型应该学习特征表示这些特征表示既可以用于区别外观相似的人员又可以在无需任务调整下用于跨数据集部署。在本文中我们提出了新的CNN架构来应对这两个挑战。首先我们提出了一个被称为全尺度网络OSNet的CNN来学习特征它不仅可以捕捉不同的空间尺度而且可以封装多个尺度的协同组合即全尺度特征。根本构建块由多个卷积流组成每个卷积流检测一定范围内的特征。对于全尺度特征学习提出了一种统一的聚合门将多尺度特征与信道权值动态交融。OSNet是轻量级的因为它的构建块包含分解卷积。其次为了改良通用特征学习我们在OSNet中引入实例标准化层来处理跨数据集的差异。为了确定这些层在体系构造中的最正确位置我们提出了一种有效的可微体系构造搜索算法。大量的实验说明在传统的一样数据集设置下尽管OSNet比现有的re-ID模型要小得多但它仍能实现最先进的性能。在更具挑战性以及实用性的跨数据集设置中OSNet击败了最新的无监视域自适应方法同时并不需要任何目的数据来进展模型自适应。引言行人再识别(re-ID)是一个细粒度的实例识别问题其目的是在没有重叠视野的摄像机视图中匹配行人。随着深度学习技术的开展近年度来对人再识别的研究已经从繁琐的特征工程转向了利用深度神经网络进展端到端特征表示学习尤其是卷积神经网络。尽管在CNN的端到端表示学习帮助下re-ID的性能得到了显著提升但是还有两个问题没有解决。第一个问题是判别特征学习。作为一个实例级识别任务在不相交的摄像机视图下重新识别人需要克制类内变化大以及类间模糊两大困难。例如在图1(a)中相机之间的视角变化从正面到反面给背包区域带来了较大的外观变化使对同一个人的匹配变得具有挑战性。此外从远处看就像在监控视频中常见的那样人们看起来非常相似如图1中的错误匹配就是一个例子。这需要使用re-ID特性来捕获细微的细节(例如图1(d)中的太阳眼镜)用以区分具有相似外表的人。图1第二个问题是通用特征学习。由于光线条件、背景、视点等方面的差异造成的re-ID数据集之间存在固有的区域差距(见图1)直接将在源数据集上训练的re-ID模型应用到不可见的目的数据集上通常会导致的性能大幅下降。这说明所学习的re-ID特性严重地过拟合标记数据并且不能进展区域泛化。在本文中我们设计了新的CNN架构来解决这两个问题。OSNet网络构造首先我们认为这些特征需要全尺度的定义为变量同构以及异构尺度的组合每一个都由多个尺度的混合组成。从图1可以明显看出对全尺度特性的需求。为了匹配以及区分人与冒名顶替者与部分小区域(如鞋子、眼镜)以及整体身体区域相对应的特征是很重要的。例如给定图1(a)(左)中的查询图像查看全局范围的特性(例如年度轻人白t恤灰色短裤组合)将搜索范围缩小到真正的匹配(中)以及冒名顶替者(右)。如今部分尺度local-scale特征开场发挥作用鞋子区域暴露了右边的人是骗子的事实(运动鞋vs.凉鞋)。然而对于更具挑战性的情况即使是变量同构尺度的特征也不够。需要更复杂以及更丰富的跨多个尺度的特性。例如要消除图1(b)(右)中的冒名顶替者需要在前面具有特定标识的白色T恤上添加一些特征。请注意这个标志本身并没有什么十分之处假如没有白色T恤作为背景它可能会与许多其他图案混淆。同样白色T恤在夏天随处可见(如图1(a)。它是独特的组合由跨越小(标志尺寸)以及中(上身尺寸)尺度的异构特性捕获这使得这些特性最有效。因此我们提出了一种全新的CNN体系构造OSNetOmni-scaleNetworkOSNet,它是专门为学习全尺度特征表示设计的。托换构建块buildingblock由多个不同的卷积特征流组成(如图2所示)每个流所关注的特征尺度由指数exponent决定指数是一个新的维度因子跨流线性增加以确保每个块中捕获不同尺度。关键的是由统一聚合门(AG)生成的通道权值动态交融得到的多尺度特征图。AG是一种跨所有流分享参数的子网络具有许多有效的模型训练所需的特性。在可训练的AG下生成的信道权值依赖于输入进而实现了动态尺度交融。这种新颖的AG设计为全尺度特征学习提供了极大的灵敏性根据特定的输入图像门可以通过为特定的流/尺度分配主导权重来聚焦于单个尺度或它可以选择以及混合进而产生异构的特征尺度。图2OSNet的另一个关键特性是轻量级。轻量级的ReID模型有两个优点1由于采集跨摄像头匹配的人图像的困难ReID数据集通常是中等大小。因此具有少量参数的轻量级网络不容易出现过拟合2在大规模的监控应用中(例如全市范围内使用数千个摄像头的监控)re-ID最实用的方式是在摄像头端进展特征提取将提取的特征发送到中央效劳器而不是原始视频。对于设备上的处理小型的re-ID网络显然是首选。为此在我们的构建块中我们将标准卷积分解为点卷积以及深度卷积使OSNet不仅在特征学习上有区别而且在实现以及部署上也很高效。解决第二个问题是由不同re-ID数据集造成的差距,我们注意到这些差距通常反映在不同的图像款式如亮度、颜色温度以及角度(参见图1)。这些风格差异是由不同的照明条件以及相机/设置在不同的摄像机网络特征。现有的工作使用无监视域适应(UDA)方法解决了这个问题。这些需要未标记的目的域数据来进展模型调整。相反我们将其视为一个更一般的域泛化问题而不使用任何目的域数据。通过消除给定新目的域的数据采集以及模型更新的繁琐经过使用我们的方法可以对任何未知的目的数据集开箱即用地应用使用源数据集训练的re-ID模型。OSNet是通过将提出的轻量级瓶颈OS块逐层堆叠来构建的。详细的网络架构如图3所示。与标准卷积一样的网络架构有690万个参数以及33849万个多添加操作比精简3×3卷积层设计的OSNet大3倍。图3中的标准OSNet在理论中可以很容易地伸缩以平衡模型大小、计算本钱以及性能。为此我们在之后使用了一个宽度倍增器4以及一个图像分辨率增器。图3实验简单讲一下实验对当前七个广泛使用的re-ID数据集进展实验包括Market1501CUHK03DukeMTMC-reID(Duke)MSMT17VIPeRGRID以及CUHK01。前四个通常被认为是大型的ReID数据集尽管它们的大小相当适中(对于最大的数据集MSMT17大约有30k的训练图像)。其余三个数据集通常太小假如没有适当的训练前就无法训练深度模型。对于CUHK03我们使用767/700split来检测图像。对于VIPeR、GRID以及CUHK01我们遵循对大型的re-ID数据集进展模型预训练然后对目的数据集进展微调平均结果为10个随机分割。对于re-ID评价指标我们使用累积匹配特征(CMC)秩精度以及平均精度(mAP)其中结果以百分比报告。本文在同区域行人再识别以及跨区域行人在识别问题上分别与当前SOTA的方法进展了比拟。从上图可以看出在VIPeR上可以观察到OSNet的性能显著优于所有其他选择(超过11%)。GRID比VIPeR更具挑战性因为除了额外的干扰物之外它只有250张125个身份的训练图像。在CUHK01上有大约1900张训练图像OSNet的表现明显优于主轴以及JLML分别为6.7%以及16.8%。总体而言OSNet在这些小数据集上的性能是优越的这说明它在没有大规模训练数据的实际应用中有很大的优势。总结在本文中我们提出了一种轻量级的CNN架构OSNet它可以学习人的全方位特征表示。与现有的ReIDCNNs相比OSNet具有在每个构建块内显式学习多尺度特征的独特才能其中统一聚合门动态交融多尺度特征生成全尺度特征。为了改良跨域的泛化我们通过可微架构搜索为OSNet装备了实例标准化进而产生了一种称为OSNet-ain的域自适应变体。在一样域的re-ID设置中结果显示OSNet在比基于resnet的竞争对手小得多的同时还能到达最先进的性能。在跨域的ReID设置中OSNet-AIN在不可见的目的数据集上表现出了非凡的泛化才能甚至在没有对目的域数据进展每域模型自适应的情况下也击败了最新的UDA方法。*本文为AI科技大本营编译文章转载请微信联络1092722531精彩推荐2019中国大数据技术大会BDTC再度来袭豪华主席阵容及百位技术专家齐聚15场优选专题技术以及行业论坛超强干货技术剖析行业理论立体解读深化解析热门技术在行业中的理论落地。即日起限量5折票开售数量有限扫码购置先到先得推荐浏览你点的每个“在看我都认真当成了AIAI科技大本营