随机森林算法研究报告.docx

《随机森林算法研究报告.docx》由会员分享，可在线阅读，更多相关《随机森林算法研究报告.docx（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、I I随机森林算法研究报告随机森林算法研究报告目录目录前言.1一、随机森林算法概述.11：随机森林算法的基本概念.12：随机森林算法的应用.13：随机森林算法与其他算法的比较.2二、随机森林算法的研究.21：随机森林算法的设计思路.22：随机森林算法的优点.33：随机森林算法的缺点.3结论.3参考文献.4第第 1 1 页页前言前言在机器学习领域，随着计算机硬件软件的快速发展，各种新的算法不断涌现。随机森林算法作为一种主流的数据挖掘方法，有很多特点，比如在分类中有很高的性能，在操作中需要调整的参数很少，而且运算很快，对噪声的容忍力较强，过拟合性较低。由于随机森林良好的性能，使得其在故障诊断、智能

2、自动化、图像识别、金融以及生物等等的领域都得到了极大的应用。本文主要研究随机森林算法的设计思路、以及其优点。一、随机森林算法概述一、随机森林算法概述1：随机森林算法的基本概念：随机森林算法的基本概念随机森林在本质上是一个分类器，里面包含了很多的决策树，这些决策树形象的组成了森林。这个概念最早是在上世纪九十年代由贝尔实验室的 Tin Kam Ho 所提出的随机决策森林演化而来的。随机森林在机器学习领域中，属于集成学习的范畴，还是一个比较新的算法策略，主要用来预测问题。在该算法中，通过在分类器中构建很多的决策树，然后根据各种特征对原数据样本进行各自的投票表决，最后根据投票数量占优的选择机制作出优选

3、决策。2：随机森林算法的应用：随机森林算法的应用（1）：特征选择：随机森林在分析复杂特征方面具有很强的适应能力，即便是原数据有较多的缺失值或者存在较多的噪音，随机森林依旧有较快的学习速度。特征选择主要分为filter 和 wrapper 两种，filter 在计算效率上面更高，而 wrapper 在特征子集上的数量要少很多。（2）：分类：由于随机森林算法本身就是分类器，所以其在分类问题上的表现良好。森林中的每一棵树都是一个分类器，有 N 棵树就有 N 个分类器，所以该算法可以很好得进行并行训练。但是在数据集相对小的时候，随机森林也会产生过拟合。（3）：回归问题。由于该算法的随机性，使其具备了更

4、好的泛化性能，对于减少模型方差很有帮助。在回归中，跟分类的不同在于使用平均预测值来计算，而不是使用最优选择。第第 2 2 页页而且随机森林非常适用于分类变量或分类变量与连续变量混合的情况。3：随机森林算法与其他算法的比较：随机森林算法与其他算法的比较在集成分类器领域，有非常多的种类，按照不同的特点我们可以把集成分类器作出一些分类。比如，按照元分类器构建方式可以把集成分类器算法划分成两类：一类是生成的元分类器之间没有显而易见的关联关系，能够并行同时生成各元分类器，如 Bagging 算法、随机森林算法等；另一类则是生成的元分类器之间存在比较强的关联关系，各个元分类器必须按照一定的顺序依次生成，比

5、如 AdaBoost 算法等。在算法策略上面，随机森林是 Bagging的改进版。二、随机森林算法的研究二、随机森林算法的研究1：随机森林算法的设计思路：随机森林算法的设计思路随机森林算法底层还是对于集成学习思想的应用，是将多棵树最终集成到一起，它的基本单位还是一棵棵的决策树，而且每棵树都对应一个独特的分类器，也就意味着虽然只输入了一个样本，但是实际产生了多少棵树就会有多少个分类结果。在所有的分类结果投票中，最终选出一个获得投票数最多的结果作为最终输出。随机森林作为一个树型分类器 h(x,k),k=1,2,3,4.,ntree的集合，其中，元分类器 h(x,k)是用 CART 算法生成充分生长

6、、没有剪枝的分类回归树；x 是输入向量，k是独立同分布的随机向量，决定了单棵树的生长过程。在处理分类问题时，随机森林采用最终多数投票法输出结果；而在处理回归问题时，随机森林采用平均法输出结果。在随机森林的运算过程中，每棵树的建造上面都会采用特定的算法：（1）：用 N 来表示在数据分析过程中所采用的的样本的个数，用 M 来表示特征数目。（2）：输入特征数目 m，用于确定决策树上一个节点的决策结果；其中 m 应远小于 M。（3）：从 N 个训练用例（样本）中以有放回抽样的方式，取样 N 次，形成一个单独的训练集，并用未抽到的用例作预测，评估其误差。（4）：对于每一个节点，随机选择 m 个特征，决策

7、树上每个节点的决定都是基于这些第第 3 3 页页特征确定的。根据这 m 个特征，计算其最佳的分裂方式。（5）：每棵树都会完整成长而不会进行剪枝，这有可能在建完一棵正常树状分类器后会被采用。2：随机森林算法的优点：随机森林算法的优点（1）：对于有多种资料的源数据，它能够产生相对高准确度的分类器；（2）：由于泛性较强，它能够处理大规模的输入变数；（3）：在通过特征建立类别时，随机森林还能够评估变数的重要程度；（4）：在创建随机森林时，由于其使用的是无偏估计，使其具备较强的泛化能力，容噪性能更好；（5）：对于存在有遗失的数据集来说，它能够估计遗失的资料，来实现对误差的平衡；（6）：由于需要提供的参数

8、少，让其在实现起来变得非常简单；（7）：由于其并行的特点，能够极大得提升训练的效率；（8）：它能够在数据挖掘过程中根据侦测点来计算各个树之间的亲进度，在实现可视化的时候会非常有用；（9）：随机森林算法是一种相对简单的算法，即便是新手也能够比较快的上手。3：随机森林算法的缺点：随机森林算法的缺点（1）：据观测，如果一些分类/回归问题的训练数据中存在噪音，随机森林中的数据集会出现过拟合的现象；（2）：比决策树算法更复杂，计算成本更高；（3）：由于其本身的复杂性，它们比其他类似的算法需要更多的时间来训练。结论结论随机森林算法在个机器学习算法中具有较高的使用率，而且鲜有短板。由于其对噪声数据不敏感而导致了较低的过拟合性，分类性能较高，同时还拥有较强的泛化能力，在实践中对随机森林算法的测试和应用，对学习和理解算法有非常大的帮助。第第 4 4 页页参考文献参考文献1朱明.数据挖掘导论M.合肥.中国科学技术大学出版社.2012-12孙丽丽.基于属性组合的随机森林D.河北大学.2011-53关晓蔷.基于类别随机化的随机森林算法J.太原.山西大学计算机与信息技术学院.2019-24陈凯.深度学习模型的高效训练算法研究D.中国科学技术大学.20165腾讯云.机器学习与统计.数据和特征决定了机器学习的上限M/OL.2019https:/