从服装关键点、信息检索、个性化推荐到智能试衣电商AI技术如何进化？.docx

《从服装关键点、信息检索、个性化推荐到智能试衣电商AI技术如何进化？.docx》由会员分享，可在线阅读，更多相关《从服装关键点、信息检索、个性化推荐到智能试衣电商AI技术如何进化？.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、从服装关键点、信息检索、个性化推荐到智能试衣，电商AI技术如何进化？【导读】近日ICCVDeepFashion2Challenge2019公布了比赛结果首次参赛的美图影像实验室MTlab凭借其在综合检测精度上的优势以明显差距斩获服饰关键点估计LandmarkEstimation赛道的冠军。DeepFashion2Challenge此次共吸引18支国内外顶级技术团队介入包括清华大学、阿里巴巴等知名企业及学术机构。图1ICCVDeepFashion2Challenge2019据介绍DeepFashion2Challenge是基于DeepFashion1以及DeepFashion2公开数据集根底上的

2、计算机视觉领域技术竞赛。今年度的比赛分为两个赛道服饰关键点估计及服饰检索ClothesRetrieval。此次美图介入的是服饰关键点估计赛道服饰关键点估计比赛包含193,000个图像训练数据32,000个验证集图像数据63,000个测试集图像数据。比赛任务中包含13个不同的服饰类别每个类别都有独立的8到37个关键点共计294个关键点。怎样实现同时检测多个类别共294个关键点是此次比赛的难点之一。此外如图2所示DeepFashion2数据集包含了多种尺度、遮挡、视角等复杂情况下的服饰图像数据因此提升模型对服饰在不同情况下的鲁棒性也是比赛的一大挑战需要投入大量的研发精力。图2DeepFashion

3、2数据类型分布在本次比赛中MTlab团队所建立的模型在综合检测精度表现出明显优势该模型可以同时对13个类别的服饰进展关键点估计相较于多个模型而言大大降低了算法复杂度和使用本钱。其次该模型还具备良好的扩展性通过类别信息的使用可以一次应对多类别的数据。目前基于多目的的关键点估计方法大致可以分为自下而上Bottom-up以及自上而下Top-down两类。自上而下的方法主要包含两个步骤首先通过目的检测算法将图像中的每一件服饰检测出来随后针对每一个检测出来的服饰区域图像估计其关键点位置。自下而上的方法也包含两个步骤首先将图片中所有的服饰关键点检测出来然后通过一定计算方式将关键点聚类到不同的服饰上。为了进

4、步模型的扩展性与应用性并且缓解单图多目的穿插重叠导致的关键点错位等问题MTlab采用了基于自上而下方法的关键点检测方案即将该任务分解成多目的框检测及单目的关键点估计并将这两步操作进展单独优化。基于自上而下的方法第一步是进展服饰检测。目的检测是计算机视觉中的核心任务之一。目的检测即自动找到图像中所有目的物体包含物体的定位以及物体分类两个子任务同时确定物体的类别与位置。当前对目的检测的研究是学术界的一个热点R-CNN、FastR-CNN、FasterR-CNN、YOLO及SSD等一系列模型的提出大大加速了该领域的开展比方人脸检测、行人检测及车辆检测等在工业界也得到了很好的应用。但是针对服饰数据的目

5、的检测任务当前少有研究也应用缺乏一个主要的原因是服饰数据标注难度较大且公开的高质量标注数据集少。此次比赛的数据集除了服饰关键点标签外还提供了包含服饰检测框外的多种标注标签据此MTlab团队可以进展服饰检测的模型训练学习。此外基于自上而下的方案由于最终关键点是基于目的检测的结果来做估计的所以服饰检测的好坏对最后成绩的影响至关重要。第二步进展单服饰的关键点估计。目前对关键点的估计应用最多的是人体骨骼点估计,已有的方法在模型上可分为单阶段的One-stage和多阶段的Multi-stage在输出上可分为基于坐标回归Coordinate、热力图Heatmap和热力图结合偏移信息HeatmapOffse

6、ts。相对于人体骨骼数据服饰关键点数据在遮挡、角度、尺度和非刚性变形尤为严重这也使得服饰关键点估计异常困难。在最终的施行方案中MTlab首先在图上做目的框检测找出可能为服饰的目的框由此可以获得较多粗略的服饰框。再基于这些框的检测结果去做单服饰目的框的关键点估计并同时对框进展额外的打分给出最终有效的关键点。通过这种方案可以分开优化多目的框检测模型以及单目的关键点估计模型降低模型优化复杂度进而可以更充分地利用计算资源以进步该模型的准确度。而在应用层面上服饰检测与服饰关键点识别有不同的应用领域两个模型均可独立使用后续模型仍可以有效地通过不同数据持续优化进步。图3服饰关键点预测流程图在比赛的多目的框检

7、测阶段MTlab采用了HybridTaskCascademodel(如图3上图所示)作为根底模型。而在单目的关键点估计阶段那么以Multi-stagePoseEstimationNetwork(图3下列图所示)的肢体关键点估计模型作为根底模型。在两个根底模型上MTlab基于服饰关键点检测任务的特点和评价指标针对模型的不同方面进展了深化的优化及改良由于服饰检测任务较为复杂各种尺度及遮盖等情况往往会造成误检、漏检等问题所以MTlab使用多尺度训练及多尺度测试的检测方案对模型进一步优化。同时利用该方案twostage的特性在目的框检测经过中优化了模型的召回率在关键点估计模型中除了给出关键点还会对目的

8、检测阶段给出的框基于置信度打分这样有助于进步算法的准确度进而到达在mAP指标上的的整体优化。该任务中需要检测的关键点一共包含13个不同服饰类别的294个关键点每个类别都有自己独立的一组关键点。为了实现一个模型可以同时检测所有类别的关键点MTlab将第一步目的框检测中给出的类别信息作为先验知识通过与输入数据在通道维度上的concatenate参加到关键点估计模型中给予一个强的先验知识可以帮助关键点估计模型降低学习难度并且进步了置信度打分的精度。在关键点估计模型中各个类别中的关键点间存在着一定的构造关系为了更好地挖掘这种空间相关信息MTlab在模型中引入non-local的构造进展特征信息交融计算

9、替代了局部原始模型的resblock进而进步整体关键点的准确性。在关键点模型中为了让模型能一步步地定位到更为精细的关键点位置在计算各个scale以及stage的损失函数时MTlab针对不同scale以及不同stage采用不同的损失权重。除此之外为了进步较难检测关键点的预测准确度MTlab通过对不同scale的输出采用不同的OHKM的策略来计算损失权重。固然最终以最后一个stage的最大scale输出作为模型但它依赖于前面所有尺度的计算结果因此对不同尺度的输出进展优化那么相当于优化了最终的输出结果。通过图4不难发现DeepFashion2官方给出的数据集中有较为严重的数据不平衡情况数据量最多的类

10、别的数目是最少的约180倍之多该情况对模型的训练带来了较大的影响。为解析决这个问题MTlab的模型在目的框检测阶段与关键点估计阶段的loss计算中引入了针对不同类别的attention以减少训练中不同类别数据不平衡的情况对关键点模型的影响。图4DeepFashion2衣服类别数量分布通过对根底模型进展多维度的强化MTlab团队最终在测试集上获得了0.5775mAP的分数意味着在结合召回率与准确度的综合指标上超过了其他参赛团队。图5预测结果图MTlab作为美图公司的核心算法研发部门在计算机视觉、深度学习、增强现实等领域深耕多年度具备强大的研发实力。其中基于服饰的计算机视觉技术也是MTlab重点研

11、究方向之一。据悉服饰信息识别技术目前已成功应用在美图秀秀动漫化身功能中系统可以识别用户上传人像的服装风格并匹配生成穿着同款服饰的卡通形象。谈及该技术将来的应用前景MTlab负责人讲道“服饰作为衣食住行的一个重要方面是一项刚需。因此与服饰相关的视觉识别技术有着广泛的应用场景比方时尚趋势分析、营销数据分析等对商品精准推荐、服饰潮流捕捉等方面都有着重要意义。据MTlab介绍服饰信息识别技术是人工智能算法在服饰电商、内容媒体以及线下服装零售等行业实现应用落地的根底。对于商家而言该技术有利于在实现数据智能化管理平台智能化运营降低人力本钱的同时进步运营效率。而对于用户来讲该技术可以为用户提供个性化推荐、智

12、能搭配、虚拟试穿以及一键购物等效劳有效提升了用户的购物体验。详细来看在服饰电商领域该技术可以融入到电商平台的一些智能化业务之中包括拍照购物、搭配推荐以及用户个性化等。一方面有助于电商平台为用户提供更优质的用户购衣体验进而进步店铺转化率以及客单价另一方面电商平台可以实现智能化运营降低人力本钱的同时进步运营效率。在内容媒体方面该技术可以辅助内容媒体更高效地产出时尚图片、短视频等优质内容可以以让时尚媒体的优秀内容产品被轻松检索、关联以及推荐。而在线下服装零售中该技术在将来可以结合到智能硬件及其他技术一体化解决方案中进而为门店客户提供一键购衣试衣、智能搭配以及推荐等效劳。通过智能化效劳为消费者带来全新

13、购衣体验。从服装电商、信息检索、个性化推荐到智能试衣服饰相关技术日趋成熟为科技赋能商业增添了更多的可能性。MTlab负责人对此表示“将来我们会加速服饰相关技术算法的应用落地将算法与更多的业务结合对模型进展优化以适配不同的使用场景。同时也将充分利用该模型构造的可拓展性效劳于服饰以外的更多领域。值得一提的是美图公司于今年度4月正式上线美图AI开放平台并且已成功效劳于众多业务场景包括医疗美容、美妆门店、智能硬件、挪动互联网等领域。References: 1KaiChenetal.Hybridtaskcascadeforinstancesegmentation.In:IEEEConferenceonC

14、omputerVisionandPatternRecognition.2019. 2WenboLietal.RethinkingonMulti-StageNetworksforHumanPoseEstimation.2019.arXiv:1901.00148 (*本文为AI科技大本营投稿文章转载请联络)精彩推荐由易观携手CSDN结合主办的第三届易观算法大赛正在炽热进展中冠军奖3万元每团队不超过5人参赛。本次比赛主要预测访问平台的相关事件的PV,UV流量包括Web端挪动端等大赛将会提供相应事件的流量数据和对应时间段内的所有事件明细表以及用户属性表等数据进展模型训练并用训练好的模型预测规定日期范围内的事件流量。推荐浏览卷积神经网络中十大拍案叫绝的操作