hadoop数据挖掘解决方案.docx

《hadoop数据挖掘解决方案.docx》由会员分享，可在线阅读，更多相关《hadoop数据挖掘解决方案.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、百度文库 - 让每个人平等地提升自我hadoop,数据挖掘,解决方案篇一：基于 HADOOP 的数据挖掘平台分析与设计基于HADOOP 的数据挖掘平台分析与设计【摘要】云计算技术的出现为数据挖掘技术的发展带来了新的机遇。云计算技术通过使存储和计算能力均匀的分布到集群中的多个存储和计算节点上，从而实现了对超大数据集的巨大的存储和计算能力。HADOOP 是一个用于构建云平台的 Apache 开源项目。使用 HADOOP 框架有利于我们方便、快速的实现计算机集群。在 HADOOP 平台上，采用了 HDFS（分布式文件系统）来实现超大文件的存储和容错，而使用了MapReduce 的编程模式来进行计算。

2、【关键词】HADOOP；数据挖掘；平台；分析；设计 一、数据挖掘技术概述作为一门快速发展的技术，数据挖掘引起了信息产业 界和社会的广泛关注。数据挖掘技术跨越多个学科，无论是 数据库技术、机器学习、统计学、模式识别，还是神经网络， 还是人工智能，数据挖掘都能从中吸取营养，不断发展。如 今，随着云计算的出现和发展，数据挖掘技术迎来了新的机 遇和挑战。1. 数据挖掘发展历程与分类7数据挖掘由单个算法，单个系统到并行数据挖掘与服 务的模式，经历了数据挖掘软件开始和数据库结合、多种数 据类型融合、分布式挖掘等多个过程。到今天，数据挖掘软 件发展的历程，可以说是进入基于云计算的数据挖掘。由于数据挖掘是一个

3、交叉学科领域，是在包括机器学 习，模式识别等多个学科的基础上发展而来。依赖于我们所 用的数据挖掘方法，我们又可以使用其他学科的多种技术， 如神经网络、模糊或粗糙集合论、知识表示等。所以，对数 据挖掘的研究，我们会期望出现大量的各种类型的数据挖掘 系统。这样，我们就需要对数据挖掘系统给出一个很清楚的 分类。有了这种认识，我们才可以帮助用户根据其需求，确 定最适合其需要的数据挖掘系统。因此，数据挖掘的分类标准也必定会出现多样化。我 们可以根据挖掘的数据库类型分类，或是技术类型分类，也 可以根据运用的场景分类。但是大部分情况下，我们会根据 挖掘产生的知识类型进行分类，也即是根据数据挖掘的功能 进行分

4、类。2. 数据挖掘流程数据挖掘就是从大量的、不完全的、有噪声的、模糊 的、随机的数据中，提取隐含在其中的、人们事先不知道的、 但又是潜在有用的信息和知识的过程，表现形式为规则、概念、规律及模式等。数据挖掘主要由以下步骤组成：数据预处理数据篇二：Hadoop：大数据解决方案的常胜将军Hadoop：大数据解决方案的常胜将军?结构化数据、面向文档数据存储及大型处理。猜猜它 是什么。关键词：大数据解决方案 Hadoop Hive Mahout HBase Cassandra架构大数据解决方案的软件工程师们都知道，业务分析有一项技术跨越了 SQL 数据库、NoSQL 数据库，非结构化数据、面向文档数据存

5、储及大型处理。如果你猜到了 Hadoop， 那你回答正确。Hadoop 也是许多巨头公司具有的一个共性， 如亚马逊、雅虎、AOL、Netflix、eBay、微软、谷歌、Twitter 和 Facebook。IBM 甚至是走在时常的前沿，促进 Hadoop 进行企业分析。此开源模型无处不在，它在这个舞台上停留的五年，是一个真的角色，我们不得不为此感到惊讶。导读：架构大数据解决方案的软件工程师们都知道， 业务分析有一项技术跨越了 SQL 数据库、NoSQL 数据库，非Hadoop 的未来为了了解过去几年发生了什么，我们走访了 Chuck Lam，Hadoop 在行动（Hadoop in Actio

6、n）一书的作者。Chuck说Hadoop 还没有停下来休息。“整个生态系确实是进化，而且改变了许多。现在甚至出现了官方版本。更重要的是， MapReduce 的基础编程模型已经重新修订，且做了不少的改变。”一般来说，这些改变都向着有利的方面发展的。开发方向已经使得这个框架易于部署在企业中，并解决一系列的 问题，如对于风险规避公司是问题之首的安全问题。好处越来越多，包括高水平的可扩展性。此框架中的分布式计算意味着添加越来越多的数据，而不必改变添加它 的方式。没有必要去改变格式，或打乱工作编辑的方式或决 定哪一个应用完成的此工作。你只是随着工作的进行添加更 的节点即可。你不必挑剔你存储的数据类型或

7、它来源。无模 式是此游戏的名称。该框架的并行计算能力还使商品服务器 存储究竟的利用率更高。这意味着企业可以保存，使用更多 的数据。无论哪个节点出现故障，它都没事。即使系统出现 故障，也不会丢失数据，降低性能。助力Hadoop 技术Hadoop 现在也更加的灵活，允许业务做更的事情，处理更多的数据类型。如此强大的功能源于 Hadoop 的许多同伴项目，包括像Pig 这样的语言，以及如下的可扩展解决方案：1. Hive (数据仓库)(机器学习和数据挖掘)(大型表格的结构化存储) (多主机数据库)当然，此类型的解决方案并不一直都是美好好。Lam 说主要的陷阱就是处理做出的假设。换言之，错不在我们的系

8、统而在我们自己。“新技术并不是所有问题的灵丹妙药。正如NoSQL 这类的一样简单，但你必须要更深一层地弄清楚你要解决的问题。”这可能意味着慎重地查看你的算法，而不是只是把你的员工扔给 MapReduce，然后期望 Hadoop 自动扩展。使用模式的数据会影响你的扩展模式尤其是当使用不平均是。然后线性扩展可能就不起作用了。再一次，这个并不是Hadoop 本身的问题。Lam 相信有工具在手的企业已经足够成熟了。这只是确保 IT 管理员熟悉这些工具，确保使用Hadoop 的软件架构师知道怎样更有效地使用用这项技术。篇三：数据挖掘：巧用 Hadoop 大数据处理功能数据挖掘：巧用 Hadoop 大数据

9、处理功能?导读：Hadoop 的大数据处理功能可用来挖掘数据、探索看起来没有关联的信息之间的关系、以及快速解决软件工 程师使用传统技术正在努力解决的问题挖，对人们从来没感 到奇怪。关键词：数据挖掘 Hadoop 大数据 大数据处理Hadoop 的大数据处理功能可用来挖掘数据、探索看起来没有关联的信息之间的关系、以及快速解决软件工程师使 用传统技术正在努力解决的问题挖，对 Hadoop 的大数据处理功能如此之多的用途软件专业人士从来就没有感到奇怪过。住院的病人是否正在饱受着葡萄球菌感染的痛苦？ 当谈论到使用多种 NoSQL 和 Hadoop 的方法解决真实世界问题时， 全球教育 Hortonwo

10、rks 的高级主管 Danielle Tomlinson，谈论了一个很有意思的案例，此案例中，通过在健康保健专业人员的徽章中使用射频识别技术，收集了关 于他们卫生习惯的一些数据。“他们把一个传感器放在洗手槽中，” Tomlinson 说。“他们能够看哪些医生没有在洗手站上花费足够的时间，导致疾病的传播。”实时解决大数据问题当然，Hadoop 最好的一方面是它的实时处理巨大量数据的能力。一个久居数据中心深处的开发人员是如何了解高速公路上的交通如何的？据 Tomlinson 所说，有些城市只是追踪数百万手机用户上的 GPS 位置，分析那些数据，然后基于那手机在交通中的走向如何，来建立实时流量报告。

11、那些大数的收集及大数据处理，都是在 Hadoop 平台完成的。当然，对于大多数企业 Java 专业人士，大数据仍然是个迷， 但Hortonworks 决定改变这一现象。对于那些对学习 Hadoop 的人来说，Hortonworks Sandbox 是一个聪明的开始，因为它提供了一个个人的、便携的 Hadoop 环境，还有一系列交互式的 Hadoop 指导。所有这些都打包在一个虚拟环境中， 你可以在 15 分钟之内得到它并运行它。对于那些正在寻找解决大数据问题方法的软件架构师，或者对于那些正在复习新技术的应用开发人员来说，Hortonworks Sandbox 是一个很好的开始。但要注意：Hadoop 会上瘾。很快，所有的问题都看起来像大数据问题，然后你就会想要使用 Hadoop 来解决每一个大数据处理问题。