干货丨11位机器学习大牛最爱算法全解.docx

《干货丨11位机器学习大牛最爱算法全解.docx》由会员分享，可在线阅读，更多相关《干货丨11位机器学习大牛最爱算法全解.docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、干货丨11位机器学习大牛最爱算法全解机器学习资源合集：海量资源免费下载机器学习全套学习资料/习题/算法总结/实例源码等资源内容1来源Quora译者朱焕【导读】“你最喜欢的机器学习算法是什么这个问题有些像“你最喜欢的颜色是什么讲不重要吧细究起来颇有深意。本文摘选一些机器学习大牛在Quora的答复看看他们爱用的算法以及原因。YannLeCunFacebookAI研究总监纽约大学教授Backprop。CarlosGuestrin机器学习Amazon教授DatoCEO以及看电影一样没有哪个机器学习算法是我的唯一最爱但有假设干的算法是我最喜欢的每个有每个的理由。下面是我最喜欢的几个算法以及模型最简洁的感

2、悟器算法。它于1950年度代被Rosenblatt等人创造。这个极其简单的算法可以被视为如今一些最成功的分类器的根底这些分类器包括支持向量机以及Logistic回归并使用随机梯度下降来解决问题。对感悟器算法的收敛性证明是我在机器学习领域见过的最简洁的数学工作。最有用的Boosting算法十分是boosted决策树。这一直观方法让你可以结合多个简单模型以建造高度准确的机器学习模型。Boosting是机器学习领域最实用的方法之一它被广泛应用于业界可以处理范围广泛的数据类型并能被大规模实现。我推荐在实现可扩展的boosted树时可以去解析一下XGBoost这个工具。Boosting也拥有特别简洁的证

3、明。最重大的复兴卷积神经网络深度学习。这种类型的神经网络在1980年度代早期已经出现。尽管从1990年度代后期到2000年度代后期人们对它的兴趣下降了它却在过去五年度里出现了令人惊叹的复兴。尤其是卷积神经网络构成了计算视觉以及语音识别等影响宏大的深度学习模型的核心。最优美的算法动态编程例如Viterbiforward-backward,variableeliminationbeliefpropagationalgorithms。动态编程是计算机科学中最优雅简洁的算法技术因为它使得人们可以通过搜索指数级空间找到可选的解决方案。这个想法已在机器学习中以不同方式得到应用十分是在图模型领域例如隐马尔可

4、夫模型、贝叶斯网络以及马尔科夫网络等。最强大的基准算法最邻算法Nearest-neighboralgorithm。通常在写作论文时你祈望展示出“你的曲线优于我的曲线。其中一个方法是引入一种基准方法并展示你的方法比它更准确。最邻算法是最容易实现的基准算法人们经常会首先尝试它以为自己能轻易击败它并证明自己的方法非常棒。然而令人惊讶的是最邻算法极难击败实际上假如你有足够多的数据最邻算法是非常强大的并且这个方法在理论中特别管用。AlexSmola亚马逊研究员前CMU教授或者许所有人都最喜欢感悟机算法。它是许多重要方法的起点。略举一二核方法只需切换感悟器算法的预处理经过深度网络只需增加更多的层随机梯度下

5、降只需改变感悟器算法的目的函数学习理论只需让算法更新具有对抗性保证那什么是感悟器算法呢假设我们有一个线性方程其形式为f(x)w,xbf(x)w,xb。我们想估算出向量w以及常量b以实现每当输入类别1时f总是为正每当输入类别-1时f总是为负。那么我们可以按下面几步来做将w以及b初始化为0或者任何可能更好的其他值持续对数据对x,y进展迭代直到不再出现错误。假如yf(x)0那进展如下更新wyxby该算法一定会收敛而它所花的时间取决于问题有多困难。更详细地讲取决于你在分隔正集合以及负集合时有多困难。更要紧的是你会祈望让算法尽可能快地经历所有错误。FranoisChollet谷歌深度学习研究员、Kera

6、s矩阵分解它是一种简单、优雅的维数约简dimensionalityreduction方式而维数约简是认知的本质。推荐系统是矩阵分解的一大应用领域。它的另一个我从2020年度处理视频数据开场曾涉足多年度的应用领域是分解特征之间的对间互信息pairwisemutualinformation或者更常见的点间互信息pointwisemutualinformation而这可以被用于特征提取、词嵌入计算、标签嵌入计算这也是我的一篇近期论文要讨论的见注释1等。在卷积环境中该算法可以胜任图像以及视频的无监视特征提取器。不过它有一个重大缺点从根底上讲它是一个浅度算法。假如有监视标签可用的话深度神经网络很容易超越

7、它。XavierAmatriainQuora机器学习负责人我喜欢简单灵敏的算法。假如我必须选一个我要讲我最喜欢的算法是集成算法Ensemble我认为它是我的“主算法。无论你从什么算法开场你总是可以使用集成算法来提升它。集成算法获得了Netflix奖并常常展示出优秀业绩而且它们还比拟容易理解、优化以及监控。假如你责怪我不该用集成算法这样的“超级算法来糊弄人我会选择Logistic回归算法。该算法特别简单、高效、灵敏适用于许多应用十分是分类以及排序。IanGoodfellowOpenAI研究员我喜欢dropout算法因为“从单一模型中构建出指数级集成这一思想特别简洁优雅。同样让我赞叹的是它通过把权

8、重除以2就能很好地逼近对集成的预测。我不知道到底是什么理论原因让它能在深度非线性模型中表现出众但确实如此。ClaudiaPerlichDstillery首席科学家纽约大学兼任教授是Logistic回归算法再配上诸如随机梯度下降、特征哈希等吸引人的方法。我知道在这个深度学习时代这可能听起来乖僻。所以让我先谈谈背景在1995-1998年度期间我使用神经网络1998-2002我使用基于树的方法而2002年度之后logistics回归和包括分位数回归以及泊松回归在内的线性模型逐渐成为我的最爱。2003年度我发表了一篇机器学习论文在35个当时的大数据集上比照了树方法以及logistic回归方法。略过这篇

9、30多页的论文论文的简短结论是假如信噪比高树方法会赢。但假如问题的噪音很高那么最优模型的AUC将小于0.8这logistic模型几乎总会击败树模型。最后假如信号非常弱高变异的模型将会迷失在噪音中。这在理论中意味着什么呢我常常处理的是那些噪音极高、可预测性很低的问题。想象一下在各种问题中一端是决定论式的问题例如国际象棋另一端是那些随机式问题例如股市。给定数据后有些问题比其他问题更具有可预测性。可预测性的上下不是算法的问题而是对世界是什么样的陈述。我感兴趣的大多数问题都接近像股市那样的随机式问题。深度学习在解决“这张照片是猫吗这样的决定论式问题时表现优越。但在不确定性的世界里偏向-方差权衡常常会更

10、倾向于偏向的那一侧这就是讲你需要的是一个“简单的、高度约束的模型。而这正是logistic回归的有用之处。我发现通过增加复杂特征来做出一个简单线性模型这比约束一个强大高变异的模型类要容易得多。实际上每一次我赢得数据挖掘竞赛KDD,CUP07-09时使用的都是线性模型。除了绩效之外线性模型也很强健不需要人手调整好吧我成认随机梯度下降以及惩罚确实让线性模型变得更难了。当你想在工业界做预测性建模时这一点非常重要因为在业界你没有时间花3个月去建立完美模型。ShehrozKhan机器学习研究者多伦多大学博士后我没有最爱的机器学习算法因为这样的算法并不存在1。不过我实现的第一个算法是朴素贝叶斯分类器。因此

11、在某种意义上它对我来讲很重要。不过当时它未能帮我完成工作。因为我当时想进展单类别分类2。朴素贝叶斯算法基于每个类别的频率计数来计算其先验概率。然而假如单一类别的数据在训练期间不存在它的先验概率就会是0这样你就没法计算它的似然度因为没有任何训练数据、没有任何东西被归到那个类别。对该工作的实现使我认识到了这个简单算法在这个特定问题上的局限性。RicardoVladimiroMiniclip游戏分析师以及首席数据科学家是随机森林算法。对我来讲学习随机森林的经过特别美妙。各个集成最终拥有了意义。那些漂亮但无用的决策树也有了存在的理由。Bootstrapping特征最让人惊喜它真的很神奇。我觉得我对随机

12、森林的看法是带感情的因为我只用了较少时间就从它那里学到了如此多的东西。LucaParlamento量化交易/机器学习博士候选人最喜欢的算法是能解决详细问题的恰当算法原那么上我认为从业者的一大陷阱便是坚持某个自己最爱的算法。在理论中使用某个你不太解析其怎样运转的算法是很危险的因此你需要找到一个平衡点不要爱上特定的算法但也不要钻牛角尖地认为切个洋葱也需要解析17种不同的分类算法。这是一个优化问题没有“免费午餐式的一刀切解法。ThorstenJoachims康奈尔大学教授用机器学习研究人类行为让我先答复一个更简单的问题有一些算法具有不必要的缺陷是我所不喜欢的。但讲到最喜欢的有许多机器学习算法都很重要属于是机器学习空间中的帕累托集。实际上机器学习根本理论告诉我们不存在在所有问题上都最优的单一算法。例如假如我拥有高维度的稀疏数据例如根据话题对文本分类训练实例却很少那么我会使用SVM或者logistic回归等归一化线性回归模型。但是假如我拥有低维度致密数据以及大量训练实例例如语音识别或者视觉我就会使用深度网络。人工智能爱好者俱乐部