火爆 GitHub！这个图像分割神器开源了.docx

火爆GitHub！这个图像分割神器开源了最近全球各大新权力造车公司简直不能再火看着蹭蹭飙升的股价实在是眼红的不要不要的。而懂行的人都知道以Telsa为首各大公司都采用计算机视觉作为自动驾驶的技术底座而其中正是通过图像分割技术汽车才能分清楚哪里是路哪里是人。今天CV君要给大众介绍的这个开源套件就涵盖业界最前沿的图像分割算法并效果超群这就是PaddleSegOMG还在等什么盘他盘他盘他除了在自动驾驶技术拥有绝对重要的地位图像分割技术在抗疫最前线的医疗阵地也发挥了宏大作用比方基于图像分割技术开发的?CT影像的肺炎筛查与病情预评估AI系统?可快速识别CT影像上的肺炎病灶信息帮助我们的白衣战士节省了大量诊断以及评估时间那么图像分割还有哪些应用呢比方可以做人像分割背景交换。你以为我在旅游其实我在加班。还可以做人体解析同全球冠军模型分析全球冠军运发动的行为轨迹像?夺冠?里描绘的如今体坛也已经是全面的数字化战争我们还可以基于分割技术进一步把彩色图像变素描。在工业巡检场景中图像分割技术还可以细致的分割出的表计盘刻度以及指针实现自动读数系统。遥感图像分割技术还可以帮助国土资源监控保护单位、气象单位等实现地面、大气检测建筑物检测、农耕用地检测、地块变化检测、地面目的检测、气旋检测等等看到这里你还在等什么PaddleSeg又有用、又好玩强烈建议大众去尝试并点击Star支持一下开源。点击文末浏览原文或者以下链接立即Stars:/github/PaddlePaddle/PaddleSeg也欢送大众进入QQ沟通群1004738029或是扫码入群以及各位志同道合对的小伙伴们沟通。那么PaddleSeg到底是个啥呢去Github上去扒了一下官方的解释PaddleSeg是基于飞桨开发的端到端图像分割开发套件涵盖了高精度以及轻量级等不同方向的大量高质量分割模型。通过模块化的设计帮助开发者完成从训练到部署的全流程图像分割应用。下面就给大众说说PaddleSeg的特点以及近期更新的内容精度全面领先的开源模型目前PaddleSeg开源了在Cityscapes验证集上到达87%mIoU的语义分割模型是目前业界最高精度的实现。该模型基于HierarchicalMulti-ScaleAttention构造通过损失函数、训练策略、评估方法等方面的优化相比HRNet的81.5%更是高出了5.5个百分点。s:/github/PaddlePaddle/PaddleSeg/tree/release/v2.0/contrib/CityscapesSOTA国际冠军都在用的PaddleSegPaddleSeg不仅才能覆盖全面而且里面的独立算法还极其优秀在刚刚完毕的神经信息处理系统大会NeurIPS2020ConferenceandWorkshoponNeuralInformationProcessingSystems上百度团队就是使用PaddleSeg中的HRNet一举夺冠准确性得分领先第二名0.37推理速度更是第二名的7倍目前该代码已经开源链接如下s:/github/PaddlePaddle/PaddleSeg/tree/release/v2.0/legacy/contrib/NeurIPS_SN7焕然一新的PaddleSeg是不是感觉PaddleSeg很厉害呢其实咱们刚刚看到的只是冰上一角而已近期随着飞桨框架晋级了2.0版本PaddleSeg也随之进展了晋级。在新的版本中PaddleSeg提供了更加丰富的高精度模型算法包括20分割网络、50预训练模型模型精度均优于其它实现方式。优秀的动转静功能PaddleSeg依托飞桨框架集成了优秀的动转静功能让用户在部署上具有更好性能。更加灵敏易用的开发体验PaddleSeg在原先配置文件运行方式之外又新增了API接口调用方式更加灵敏易用。下面将为大众细细分解PaddleSeg全景图更加丰富的高精度模型PaddleSeg支持U-NetPSPNetDeepLabV3OCRNet等20多种主流分割模型提供了Xception、MobileNet、ResNet、HRNet等多种骨干网络同时目前开源的模型的精度均高于业内同类产品的实现。为了进一步验证PaddleSeg模型的精度我们分别在两个主流数据集Cityscapes以及PASCALVOC2021上以及其它同类产品的模型做了详细的比照实验。下列图展示了比照结果。左边模型使用ResNet50做为骨干网络右边模型使用ResNet101做为骨干网络。可以看到与其它实现相比PaddleSeg模型的精度明显更加优秀Cityscapes数据集比照实验其中FCN以及OCRNet使用HRNet_w18作为主干网络基于PASCALVOC2021数据集比照实验(FCN以及OCRNet使用HRNet_w18作为主干网络)优秀的动转静功能基于飞桨框架2.0的PaddleSeg提供了更加易用完备的动态图体验。固然动态图在训练经过中更加方便调试但是在部署上却明显吃力。为此飞桨提供了一套模型动转静的方式在PaddleSeg中仅需添加一个装饰器并调用API接口paddle.jit.save即可完成模型的转换。详细我们可以看下面的例子定义网络importnumpyasnpimportpaddle#定义了一个简单全连接网络SimpleFcLayerclassSimpleFcLayer(paddle.nn.Layer):def_init_(self,batch_size,feature_size,fc_size):super(SimpleFcLayer,self)._init_()self._linearpaddle.nn.Linear(feature_size,fc_size)self._offsetpaddle.to_tensor(np.random.random(batch_size,fc_size).astype(float32)#添加装饰器paddle.jit.to_staticdefforward(self,x):fcself._linear(x)returnfcself._offset模型转换importpaddlefc_layerSimpleFcLayer(3,4,2)in_npnp.random.random(3,4).astype(float32)input_varpaddle.to_tensor(in_np)outfc_layer(input_var)#使用paddle.jit.save接口存储模型paddle.jit.save(fc_layer,./fc_layer_dy2stat,input_specinput_var)转换成静态图模型做部署就可以获得更好的性能实现单车变跑车的进化更加灵敏易用的开发体验在用户使用体验上PaddleSeg提供了两种使用方式用户通过PaddleSeg中组合好的配置文件使用简单的命令实现训练到部署的全流程。PaddleSeg还提供了API形式用户通过几行代码即可实现模型的训练、评估以及推理。完毕语介绍了这么多小伙伴一定心动了想要跃跃欲试吧假如大众觉得PaddleSeg给您带来更好的体验那就请您动动小手star支持一下Github地址s:/github/PaddlePaddle/PaddleSeg也欢送大众进入QQ沟通群1004738029或是扫码入群以及各位志同道合对的小伙伴们沟通。关于文中模型精度比照更详细的数据可参考s:/arxiv.org/pdf/2101.06175v1.pdf飞桨官网地址s:/飞桨开源框架工程地址GitHub:s:/github/PaddlePaddle/PaddleGitee:s:/gitee/paddlepaddle/Paddle飞桨图像分割套件PaddleSeg工程地址GitHub:s:/github/PaddlePaddle/PaddleSegGitee:s:/gitee/paddlepaddle/PaddleSegOpenCV中文网公众号