数十篇推荐系统论文被批无法复现：源码、数据集均缺失性能难达预期.docx

《数十篇推荐系统论文被批无法复现：源码、数据集均缺失性能难达预期.docx》由会员分享，可在线阅读，更多相关《数十篇推荐系统论文被批无法复现：源码、数据集均缺失性能难达预期.docx（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、数十篇推荐系统论文被批无法复现：源码、数据集均缺失，性能难达预期|MaurizioFerrariDacrema译者|凯隐责编|Jane出品|AI科技大本营ID:rgznai100【导读】来自意大利米兰理工大学的Maurizio团队近日发表了一篇极具批判性的文章剑指推荐系统领域的其他数十篇论文指出这些论文中基于深度学习的推荐算法大局部都存在不同程度的数据集缺失以及源码缺失导致它们无法复现而那些可复现的算法其性能也难以到达预期甚至难以超越基于传统的、简单的机器学习推荐算法。推荐系统领域研究的潜在问题近年度来基于深度学习的算法是非常热门的研究方向其在许多领域如计算机视觉自然语言处理等领域都获得了宏大

2、的成功因此许多研究人员也期待能借助深度学习方法在推荐系统领域获得突出的进展例如基于长期依赖配置以及基于场景的top-n推荐算法。近年度来也有许多基于深度学习的推荐算法发表在知名会议以及期刊上然而过去有工作指出这些深度学习推荐算法并不是完全可信的主要存在以下三个问题许多声称有提升的方法事实上并不能超越经过合理调参的基准比照工作甚至不能超越很简单的传统方法。详细来讲这些方法在实验上存在一定的缺陷。基准比照工作的选择问题许多方法选择的比照工作本身就有问题不是广义上的基准工作。并且该领域的基准工作很混乱不太统一。不同工作采用的数据集验证方法性能指标数据预处理步骤都不同这使得性能比照很困难无法确定哪个工

3、作在一样的应用环境中表现最好。而且很多工作不开源数据以及代码这不符合如今的代码开源趋势甚至即使开源了也不把完好代码放出来。系统的算法评估标准为了深化探究基于深度学习的推荐算法是否存在以上问题制定了两个算法评估标准可复现性能否通过代码以及数据集重现文中的实验结果性能评估这些工作以及基准工作相比能进步多少在此标准的根底上评估了近几年度发表在顶尖会议上运用深度学习方法来实现top-n推荐的18篇工作最后发现只有七篇工作是可复现的而这7篇工作中有6篇都没能超越传统的、经过合理调参的启发式方法。即使是简单地将最流行的items推荐给每个用户TopPopular也能在特定的性能指标衡量下超越深度学习方法到

4、达最优。文章可复现性判断一调研文章范围采集了2021年度到2018年度KDD、SIGIR、WWW以及RecSys会议上的研究工作这些论文都是采用基于深度学习的方法来解决top-n分类问题的。在此根底上只考虑与精度评估有关的工作因此最终挑选出了18篇文章。二可复现性的数据以及代码标准首先尽量通过文章原提供的源码以及数据来复现结果。由于有过多的实现细节和验证程序需要考虑想要单纯的依靠提供的资源来重现文中的结果是很难的。为解析决这个问题扩大了代码以及数据的搜索范围只要是以及原文章有关的代码即便不是官方代码也考虑在内假如实在找不到现成的实当代码以及数据就联络原文并等待30天。在进展了以上步骤后将同时知

5、足以下两个条件的文章定性为可复现文章详细的1、有源代码并且源代码只需要微小的细节改动例如调整途径调整工作环境就能正确运行。假如只是有一个代码框架而缺少许多细节是不知足这个要求的。2、至少有一个文中用到的数据集是可以获得并使用的某些文章用的数据集是自建数据集或不是公开数据集对于而言很难获取。而且训练集以及验证集的划分方法也是在文中或源码中进展明确阐述的。最终18篇文章中只有7篇知足以上条件具备可复现性。还表示“这是一个惊人的结果假如深化追究可能会涉及到学术造假问题就不贴那些结果不能复现的文章编号了。可复现工作的性能评估在挑选出7篇可复现的工作后进一步的评估了它们的性能。为了保证不同方法之间的可比

6、照性本文介绍了两种评估策略。第一种评估策略是将所用的方法以及基准方法在同样的测试流程以及测试集上进展评估这有助于横向比照不同的方法在同一数据集上的性能差异固然这种策略在之前的类似文章中已经用过但会导致验证方法以及每个方法的原始文章中采用的方法有一定的差距因此不能完全反响原始方法的性能不完全复现。为解析决这个问题提出将超参调优经过以及测试经过分开进展保证所有的方法包括基准方法都使用一样的测试代码但是允许它们有不同的调参经过这样每种方法都可以按照原文中提出的调参策略在自己的数据集上即保证完全复现了原文方法又保证不同方法之间具有可比照性。基准方法的选择所有的基准方法都是简单的非神经网络启发式算法或讲

7、基于传统机器学习以及统计学的方法。选择简单的非深度学习方法作为基准方法通过以及基于深度学习的方法进展比照以验证模型复杂度的提升能否带来性能上的显著提升得到的结论是不能。一方面是因为该领域的研究过于跟风使用深度学习方法没有细致严谨地去研究问题的本质另一方面也是因为神经网络本身没有那么强大如今有许多工作都是对神经网络的真实才能提出了质疑当然学术上的不严谨也是一个重要原因可能存在的造假行为。本文主要采用了如下几种基准方法TopPopular直接统计“最流行的items物品工程并推荐给每个用户这里的“最流行可以用不同的指标来衡量。ItemKNN基于K最近邻算法的一种推荐算法衡量指标是物品之间的间隔因此

8、是基于相似物品的推荐算法。首先通过TF-IDF或者BM25算法获取每个物品对每个用户的隐式评分评价向量ratingvector可以简单理解为该用户对该物品的需求程度然后按照以下公式计算两个物品之间的间隔UserKNN基于相似用户的推荐算法类似于ItemKNN只不过计算样本点变成了每个用户自身的评级。ItemKNN-CBF基于内容过滤的相似物品推荐算法CBF表示content-based-filtering在标准ItemKNN的根底上将物品自己的特征向量作为间隔衡量向量。ItemKNN-CFCBF将每个物品的排名向量以及特征向量结合这样每个物品就由两个向量表示通过计算两个物品的向量之间的余弦夹角

9、来衡量相似度。基于随机游走的方法从用户u游走到物品i的概率为是物品i对用户u的评级向量是用户u的评级是阻尼因子。同理从商品i游走到用户u的概率为其中是商品i的评级。最后两个商品ij的相似度计算公式为是另一个版本将输出的相似度进一步地按系数扩张所有基准方法都采用贝叶斯搜索来获取最优参数。算法性能测试与比照结果通过将可复现的7个方法与基准方法在一样数据集上进展测试可以评估这些可复现方法的真实性能。这里主要评估之前挑选的7中可复现方法其中只有CollaborativeVariationalAutoencoderCVAE能在同等训练条件下超越传统方法其他算法都不如同等测试条件下的传统方法。CMN方法的

10、实验结果MCRec方法的实验结果CVAE实验结果CDL实验结果NCF实验结果SpectralCF实验结果结论本文主要关注近年度来发表在热门会议上的基于深度学习的top-n推荐算法聚焦于它们的可复现性以及真实性能。结果说明大局部算法都无法重现理想结果甚至无法超越传统的启发式算法这讲明推荐算法领域的研究以及审核需要更加严谨以及仔细算法的性能评估需要更加标准正确的方法。文中提到的那些无法复现以及效果低于预期的工作肯定会被重新审核甚至退回。原文链接s:/arxiv.org/pdf/1907.06902.pdf (*本文为AI科技大本营编译文章转载请联络微信1092722531)精彩推荐 “只讲技术回绝空谈2019AI开发者大会将于9月6日-7日在北京举行这一届AI开发者大会有哪些亮点一线公司的大牛们都在关注什么AI行业的风向是什么2019AI开发者大会倾听大牛共享聚焦技术理论以及万千开发者共成长。大会早鸟票倒计时最后一天速抢进展中.推荐浏览肖仰华知识图谱怎样解决行业智能化的工程问题你点的每个“在看我都认真当成了喜欢