《大数据》第4章大数据挖掘工具324.pptx

《《大数据》第4章大数据挖掘工具324.pptx》由会员分享，可在线阅读，更多相关《《大数据》第4章大数据挖掘工具324.pptx（37页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据BIGDATA第四章大数据挖掘工具4.1Mahout4.2SparkMLlib4.3其他数据挖掘工具习题of4424.1Mahout大数据配套PPT课件uMahout简介定义：ApacheMahout是一个由Java语言实现的开源的可扩展的机器学习算法库2008年之前2010年以后ApacheLucene开源搜索引擎的子项目实现Lucene框架中的聚类以及分类算法吸纳协调过滤项目Taste成为独立子项目发展历史成为Apache顶级项目实现聚类、分类和协同过滤等机器学习算法既可以单机运行也可在Hadoop平台上运行目标：机器学习平台，提供类似R的DSL以支持线性代数运算（如分布式向量计算）

2、、大数据统计等基本功能驱象人of4434.1Mahout大数据配套PPT课件uMahout在各平台支持的机器学习算法算法单机MapReduceSparkH2O聚类算法Canopydeprecateddeprecatedk-meansxx模糊k-meansxx流k-meansxx谱聚类x分类算法逻辑回归x朴素贝叶斯xx随机森林x隐马尔可夫模型x多层感知器x协同过滤算法基于用户的协同过滤xx基于物品的协同过滤xxx基于ALS的矩阵分解xx基于ALS的矩阵分解（隐式反馈）xx加权矩阵分解x降维算法奇异值分解xxxxLanczosdeprecateddeprecated随机SVDxxxxPCAxxxx

3、QR分解xxxxof4444.1Mahout大数据配套PPT课件1.下载Mahout安装包2.解压并安装Mahout3.启动并验证Mahout安装环境：Linux操作系统（CentOS6.5）、Hadoop平台（Hadoop2.5.1）镜像网站http:/ R语言语言R中处理大数据RHadoopRHDFSRHBaseSparkRMapReduceof44304.3其他数据挖掘工具大数据配套PPT课件uH2O服务于数据科学家和开发者的开源机器学习和深度学习的平台of44314.3其他数据挖掘工具大数据配套PPT课件u腾讯大规模主题模型训练系统Peacock与深度学习平台MarianaPeacoc

4、k：大规模LDA主题模型训练系统，用于语义理解、兴趣挖掘、用户拓展、QQ群推荐等大规模矩阵分解隐含语义学习Peacock应用于QQ群推荐Mariana应用于微信语音识别Mariana：大规模并行化机器学习处理，用于微信语音和图像识别的深度学习平台大规模样本数据处理Peacock多GPU的深度神经网络并行计算系统MarianaDNN多GPU的深度卷积神经网络并行计算系统MarianaCNNCPU集群的深度神经网络并行计算系统MarianaClusterMarianaof44324.3其他数据挖掘工具大数据配套PPT课件u百度大规模机器学习框架ELF与机器学习云平台BMLELF：大规模分布式机器学

5、习框架，基于ParameterServer模型的通用化大规模机器学习系统BML：大规模并行化机器学习处理，用于微信语音和图像识别的深度学习平台ELF（EssentialLearningFramework）吸收了Hadoop、Spark和MPI等大数据平台的优点，用类似于Spark的全内存DAG计算引擎，可基于数据流的编程模式，通过高度抽象的编程接口，让用户方便地完成各种机器学习算法的并行化设计和快速计算BML（BaiduMachineLearning）支持数据预处理算法、分类算法、聚类算法、深度学习等20多种机器学习算法，通过分布和并行化计算实现优异的计算性能，承载百度公司如网页搜索、百度推广

6、（凤巢、网盟CTR预估）、百度地图、百度翻译等业务应用4.3其他数据挖掘工具大数据配套PPT课件u阿里数据挖掘平台DTPAIDTPAI基于阿里云大数据处理平台ODPS构建，集成了阿里巴巴核心智能算法库，包括特征工程、数据探查与统计、大规模机器学习、深度学习，以及阿里在文本、图像和语音处理方面的数据技术数据分析挖掘用户行为预测行业走势预测图形化编程1.简述常用机器学习系统和大数据挖掘工具有哪些？2.安装好Mahout环境后，演示Mahout操作实例？3.Mahout的适用场合与特点有哪些？5.SparkMLlib的适用场合与特点有哪些？6.简述SystemML的体系结构。7.简述GraphLab的体系结构。8.简述ParameterServer的工作原理。9.简述scikit-learn的主要模块及开发案例。10.简述WEKA的工作原理。11.基于R语言的机器学习库有哪些？12.简述H2O机器学习系统的主要功能。习题：感谢聆听演讲完毕，谢谢观看！