RANet - 分辨率自适应网络效果和性能的best trade.docx

RANet:分辨率自适应网络效果和性能的besttrade|VincentLee来源|晓飞的算法工程笔记简介深度CNN带来了性能提升的同时也带来了过高的计算量许多研究放在了怎样进展网络加速上面其中比拟直接的是根据样本难易程度进展自动调整的自适应网络。基于对自适应网络的研究论文提出了自适应网络RANet(ResolutionAdaptiveNetwork)思想如图1所示网络包含多个不同输入分辨率以及深度子网样本先从最小的子网开场识别假设结果知足条件那么退出否那么继续使用更大的子网进展识别子网的特征不是独有的下一级别的子网会交融上一级别的子网特征从实验来看论文在效果以及性能上获得了很不错的trade-off。方法AdaptiveInferenceSetting构建包含K个分类器的自适应模型对于输入图片第个分类器的输出如公式1为分类器对应的子网参数局部参数是分类器间分享的为类别置信度。自适应网络根据图片的复杂程度动态选择适宜的计算分支即假设当前分类器的输出到达预期那么退出论文采用softmax输出的置信度来进展判断如公式2以及公式3所示。OverallArchitectureRANet的整体构造如图2所示包含初始层(InitialLayer)以及个对应不同分辨率的子网每个子网包含多个分类器。详细流程先使用初始层获得不同分辨率的特征图然后使用最低分辨率的子网进展预测假如子网没有获得可靠的结果那么使用下一个分辨率稍大的子网进展预测重复直到获得可靠的结果或到达最大分辨率子网。在重复迭代预测的经过中高分辨率层会交融低分辨率层的特征。尽管RANet已经在初始层对图片进展了从细粒度到粗粒度的处理子网仍然会继续对其进展下采样直到特征图大小为scale(表示初始层产生的最小分辨率)分类器只加在最后几个特征图大小scale的block上。NetworkDetailsInitialLayer初始层用于生成个根底特征特征有个尺寸图2的初始层包含3个不同尺寸的特征第一个特征通过Regular-Conv层产生后面的特征通过Strided-Conv层产生。Sub-networkswithDifferentScalesSub-network1处理分辨率最低的特征图使用图3(a)的层regularDenseBlocks每层的输出都将传递到Sub-network2中。输入大小为scale的Sub-network()处理根底特征并且使用图3(b,c)的FusionBlocks来交融自Sub-network()的特征包含两种类型一种为图3b的保持特征图大小的类型另一种为图3c的降低特征图大小类型。对于低维特征的上采样视当前特征的大小使用Up-Conv(Regular-ConvBilinearinterpolation)或者Regular-Conv对于前后特征也会进展连接详细构造细节见图3。对于输入为scale的Sub-network的建立如下假设子网包含blocksblock1至block为FusionBlocks特征会下采样次保证输出的特征图为scale进展分类剩余的block为regularDenseBlocks。TransitionlayerRANet也使用了DeseNet稠密的transitionlayer详细为卷积BNReLU为了简单没有在图2表达。Classifiersandlossfunction分类器加在每个子网的后几个block中在训练阶段样本会按顺序传给所有的子网最终的损失是每个分类器计算穿插熵损失加权累积详细逻辑以及权重跟MSDNet一样。ResolutionandDepthAdaptationRANet的整体构造以及MSDNet特别类似论文与其进展了比照MSDNet的分类器放到分辨率最低的途径中假如中间的分类器没有得到符合预期的结果那么会进展下一步全部尺寸的推理预测。而RANet那么是从低尺寸到高尺寸逐步使用不同的子网进展推理预测这样的方式能更好地自适应结合深度以及分辨率。实验AnytimePrediction限制单图的计算量FLOPs直接记录自适应网络中所有分类器的性能和其计算量进展比照。BudgetedBatchClassification限制一批图片的资源总量需要根据资源总量设定阈值来控制推理的提早退出记录自适应网络的性能和对应的资源限制。VisualizationandDiscussion图7展示了RANet识别的一些样例easy为前阶段的分类器能识别成的样本hard为前阶段识别失败但后阶段能识别成功的样本主要的挑战为多目的、小目的以及类间特征不明显的物体。结论基于对自适应网络的研究论文提出了自适应网络RANet(ResolutionAdaptiveNetwork)来进展效果与性能上的取舍该网络包含多个不同输入分辨率以及深度的子网难易样本的推理睬自动使用不同的计算量并且子网间的特征会进展交融从实验结果来看在性能以及速度上获得了很不错的trade-off。参考内容MSD:Multi-Self-DistillationLearningviaMulti-classifierswithinDeepNeuralNetworks-s:/arxiv.org/abs/1911.09418论文地址s:/arxiv.org/abs/2003.07326论文代码s:/github/yangle15/RANet-pytorch【end】欢送所有开发者扫描下方二维码填写?开发者与AI大调研?只需2分钟便可收获价值299元的AI开发者万人大会在线直播门票!推荐浏览全球呼吸机告急医疗科技巨头美敦力“开源设计图以及源代码使用大batch优化深度学习训练BERT仅需76分钟|ICLR2020互联网之父确诊新冠一代传奇任谷歌副总裁、NASA访问科学家微软为一人收买一公司破解索尼程序、写黑客小讲看他彪悍的程序人生在Kubernetes上部署一个简单的、类PaaS的平台原来这么容易2020年度这20个大众都认识的加密交易所过得怎么样你点的每个“在看我都认真当成了AIAI科技大本营