大疆、港科大联手！双目3D目标检测实验效果大放送.docx

《大疆、港科大联手！双目3D目标检测实验效果大放送.docx》由会员分享，可在线阅读，更多相关《大疆、港科大联手！双目3D目标检测实验效果大放送.docx（6页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大疆、港科大联手！双目3D目标检测实验效果大放送|heryms责编|JaneCVPR2019的文章出来了今天聊聊双目的3Dobjectdetection。这是一篇来自DJI大疆与港科大合作的文章?StereoR-CNNbased3DObjectDetectionforAutonomousDriving?分别是PeiliangLi陈晓智(DJIMV3D的)以及港科大的ShaojieShen教师。论文链接文中称代码将开源s:/arxiv.org/abs/1902.097381.Introduction2018年度在3D检测方面的文章层出不穷也是各个公司无人驾驶或机器人学部门关注的重点包含了点云点云

2、图像交融和单目3D检测但是在双目视觉方面的奉献还是比拟少自从3DOP之后。总体来讲图像的检测间隔、图像的density和context信息在3D检测中是不可或者缺的一局部因此在这篇文章中挖掘了双目视觉做3D检测的的潜力。2.NetworkStructure整个网络构造分为以下的几个局部。1).RPN局部将左右目的图像通过stereoRPN产生相应的proposal。详细来讲stereoRPN是在FPN的根底上将每个FPN的scale上的featuremap的进展concat的构造。2).StereoRegression在RPN之后通过RoiAlign的操作得到eachFPNscale下的lef

3、tandrightRoifeatures然后concat相应的特征经过fc层得到objectclass,stereoboundingboxesdimension还有viewpointangle(下列图所示)的值。这里解释一下viewpoint根据Figure3.假定物3).keypoint的检测。这里采用的是类似于maskrcnn的构造进展关键点的预测。文章定义了4个3Dsemantickeypoint即车辆底部的3Dcornerpoint同时将这4个点投影到图像得到4个perspectivekeypoint这4个点在3Dbboxregression起到一定的作用我们在下一局部再介绍。在key

4、point检测任务中利用RoiAlign得到的14*14featuremap经过convdeconv最后得到6*28*28的featuremap注意到只有keypoint的u坐标会提供2DBox以外的信息因此处于减少计算量的目的aggregate每一列的feature得到6*28的output其中前4个channel代表4个keypoint被投影到相应的u坐标的概率后面两个channel代表是leftorrightboundary上的keypoint的概率。3.3DBoxEstimation通过网络回归得到的2Dbox的dimensionviewpoint还有keypoint我们可以通过一定的

5、方式得到3Dbox的位置。定义3Dbox的状态xx,y,z,。Figure5给出了一些稀疏的约束。包含了特征点的映射经过。这里也表达了keypoint的用途。上述公式即为约束方程因此可以通过高斯牛顿的方法直接求解。详细可以参考论文的引文17。这里我们简单证明一下第一个公式。注意这里的假设都是uv坐标都已经经过相机内参的归一化了。4.Dense3DBoxAlignment这里就回到shenshaojie教师比拟熟悉的BA的经过了由于part3仅仅只是一个objectlevel的深度这里文章利用最小化左右视图的RGB的值得到一个更加refine的经过。定义如下的误差函数求解可以利用G20或cere

6、s可以以完成。整个alignment经过其实相对于深度的直接预测是更加robust的因为这种预测方法防止了全局的depthestimation中的一些invalid的pixel引起的illproblem的问题。5.experiment在实验这块到达了双目视觉的state-of-the-art同时对于各个module也做了很充足的实验这块请查看原论文。下面是图a、b、c为处理结果例如每幅图像内部上中下三局部分别为左眼图像检测结果、右眼图像检测结果、鸟瞰视图检测结果。图a图b图c6.Insight最后谈谈文章给我的一些insights首先整个文章将传统的detection的任务结合了geometr

7、yconstraint优化的方式做到了3D位置的估计想法其实在不少文章sfm-learner之类的文章已经有表达过了不过用在3Ddetection上面还是比拟新颖防止了做双目匹配估计深度的经过。也属于slam跟深度学习结合的一篇文章感兴趣的朋友可以继续看看下面链接相关文章arxiv.org/abs/1802.0552谈几点我个人意义上的缺乏吧首先耗时经过0.28s的inferencetime不过可能的重点也不在这个方面特征的利用上可以更加有效率在实现上。其次能不能采用deep3dbox的方式预测dimension然后添参加优化项呢.总体来讲是一篇不错的值得一读的文章原文地址s:/zhuanlan.zhihu/p/58077936本文为AI科技大本营转载文章转载请微信近期CVPR2019论文解读推荐首发|旷视14篇CVPR2019论文都有哪些亮点假如你也想共享自己的论文欢送投稿可扫描下方二维码与营长联络推荐浏览点击“浏览原文查看历史精彩文章。