大数据分析相关技术,软件工程硕士论文.docx

《大数据分析相关技术,软件工程硕士论文.docx》由会员分享，可在线阅读，更多相关《大数据分析相关技术,软件工程硕士论文.docx（10页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据分析相关技术,软件工程硕士论文本篇论文目录导航：【题目】【文章里 hadoop可能会出现 n 屡次，那么 map 输出文件冗余就会很多，因而在 reduce 计算前对一样的 key 做一个合并操作，那么文件会变小，这样就提高了宽带的传输效率，毕竟 hadoop 计算力宽带资源往往是计算的瓶颈也是最为难得珍贵的资源，但是 combiner 操作是有风险的，使用它的原则是combiner 的输入不会影响到 reduce 计算的最终输入，例如：在求总数，最大值，最小值时能够使用 combiner,但是做平均值计算使用 combiner 的话，最终的 reduce 计算结果就会出错。 dshuf

2、fle 阶段： shuffle 就是将 map 的输出结果作为 reduce 的输入的数据的经过，这个是 mapreduce 优化的重点地方。这里我不讲怎么优化 shuffle 阶段，说说 shuffle 阶段的原理，由于大部分的书籍里都没讲清楚 shuffle 阶段。Shuffle 一开场就是 map 阶段做输出操作， mapreduce 计算的一般都是海量的数据，map 在输出时并不能将所有的文件都放到内存中进行操作，所以 map 写入磁盘的经过特别的复杂，更何况 map 输出时候要对结果进行排序，内存在开销方面花费是宏大的，map 在做输出时候，map 会在内存中打开一个类似环状内存缓冲

3、区，该缓冲区是专门用来做数据输出的，默认大小是 100mb,这个缓冲区在配置文件里被设定了一个默认是 0.80阀值，这个大小和阀值都是能够在配置文件里进行配置的，同时 map 也会启动守护线程在输出操作时，当缓冲区的内存到达了阀值 80%,那么守护线程就会在磁盘上写入内容，我们称这个操作经过叫 spill,其他磁盘的数据能够写进其他 20%内存，写入磁盘和内存这两个操作是互不干扰的，假如撑满了缓存区，那么写入内存的操作就会被 map 阻塞，让写入磁盘操作完成后再继续执行写入内存操作，前面我说到写入磁盘之前有一个排序操作，这个操作在是在写入磁盘时候进行，而不是在读入内存时候进行的，假如我们当时定

4、义了一个 combiner函数，那么 combiner 操作就会在排序前执行。 spill 操作就是在写入磁盘操作时候，写一个溢出文件。这个经过里还会有一个 Partitioner操作，对于这个操作很多人都很迷糊，其实 Partitioner 操作和 map 阶段的输入分片Input split很像，一个 Partitioner 对应一个 reduce,假设 mapreduce 只要一个 reduce 操作，那么 Partitioner就只要一个，假如我们有多个 reduce 操作，那么 Partitioner 对应的就会有多个，Partitioner 因而就是 reduce 的输入分片，这个

5、程序员能够编程控制，是根据 key 和 value 的值，根据实际业务或者更好的 reduce 负载平衡要求而进行，这也是提高 reduce 效率的关键。reduce 阶段一般合并 map 输出的文件，相对应的 map 输出文件会被 Partitioner 找到，接着进行复制操作，几个复制线程也会在复制操作时开启，这些线程通常默认是 5 个，复制线程的个数可以以被程序员在配置文件时更改，它的复制经过和 map 写入磁盘经过类似，也有阀值和内存大小，可以以在配置文件里配置阈值文件，能够直接使用 reduce 中的 tasktracker 的内存大小作为内存大小，合并文件和排序操作也会在 redu

6、ce 时进行，reduce 操作也会在这些操作结束后进行。 ereduce 阶段：和 map 函数一样也是程序员编写的，最终结果是存储在 hdfs 上的。 2HDFS 分布式文件系统。 hadoop 的分布式文件系统 hdfs 是一个用于在多个节点之间存储大型数据集的框架。HDFS主要由三个主要部分组成，namenode,datanodes 和 client.Namenode 存储 metadata 比方数据块的地址和文件的名字。Datanode 存储实际的数据。Client 是用来连接文件系统的。 3YARN:集群的管理和资源调度YARNYet Another Resource Negoti

7、ator,另一种资源协调者是一种新的 Hadoop 资源管理器，它是一个可为上层应用提供统一资源管理调度的通用资源管理系统，它的引入为集群在利用率、资源统一管理和数据分享等方面带来了宏大好处。Yarn 主要由下面几个部分组成： Client:资源管理的接口，用来提交 mapreduce 程序到集群。 Resource manager:管理资源。 Node manager:管理单节点的资源。 Application manager:管理但应用的任务。 Container:单节点的资源收集器。 同时，Hadoop 框架也存在着很大的缺点，对于低延迟数据访问无法适应、对同时存储大量小文件也无法做到、

8、对多用户写入和修改文件也不支持30.围绕 Hadoop 而开发的开源项目为了弥补 Hadoop 这些方面存在的缺陷正在逐步兴起，例如： Hive: 是一种按列式存储的分布式数据仓库，这种数据仓库能够管理存储在 HDFS 中的数据，并提供基于类似于 SQL 查询语言用来查询数据； Zookeeper:使一种可用性高的分布式的协调服务，它能够提供分布式锁之类的基本服务，这种服务能够用于构建分布式应用31; HBase:它是一个分布式按列存储数据库，HDFS 作为它的底层存储，同时也支持MapReduce 的批量计算与点查询。 2.3.2 SPARK 集群。 1简介。 Spark 使 UC berk

9、eley AMP lab 所开发的类似于 hadoop 的 mapreduce 的分布式通用计算框架。Spark 拥有所有 mapreduce 的优点，但是有一点不同的是 spark 的中间计算结果能够保存在内存中，所以不需要从 hdfs 中读写文件，所以 spark 对于机器学习和数据挖掘等迭代式的算法效率非常高32. Spark 能够很容易与 yarn 结合，并且能够直接从 hdfs,hbase 等文件系统中读取数据，它同时可以以架设在 hadoop 之上，近年来，spark 技术发展特别迅猛，而且这种计算框架也比hadoop 愈加灵敏方面，它一方面建设了数据处理的延时，另一方面提高了性能

10、和使用等灵敏性。 Spark 的核心部分叫做 RDD弹性分布式数据集。Spark SQL、Spark Streaming、MLlib、GraphX、Spark R 等核心组件分别解决了很多的大数据问题，其完美的框架日受欢迎。其相应的生态环境包括 zepplin 等可视化方面，正日益壮大。大型公司争相实用 spark 来代替原有hadoop 上相应的功能模块。Spark 读写经过不像 hadoop 溢出写入磁盘，都是基于内存，因而速度很快。另外 DAG 作业调度系统的宽窄依靠让 Spark 速度提高。 2Spark 核心组成。 aRDD. 是弹性分布式数据集，完全弹性的，假如数据丢失一部分还能够

11、重建。有自动容错、位置感悟调度和可伸缩性，通过数据检查点和记录数据更新金象容错性检查。通过SparkContext.textFile加载文件变成 RDD,然后通过 transformation 构建新的 RDD,通过 action将 RDD 存储到外部系统。 RDD 使用延迟加载，也就是懒加载，只要当用到的时候才加载数据。假如加载存储所有的中间经过会浪费空间。因而要延迟加载。一旦 spark 看到整个变换链，他能够计算仅需的结果数据，假如下面的函数不需要数据那么数据也不会再加载。转换 RDD 是惰性的，只要在动作中才能够使用它们。 Spark 分为 driver 和 executor,driv

12、er 提交作业，executor 是 application 早 worknode 上的进程，运行 task,driver 对应为 sparkcontext.Spark 的 RDD 操作有 transformation、action. Transformation 对 RDD 进行依靠包装，RDD 所对应的依靠都进行 DAG 的构建并保存，在worknode 挂掉之后除了通过备份恢复还能够通过元数据对其保存的依靠再计算一次得到。当作业提交也就是调用 runJob 时，spark 会根据 RDD 构建 DAG 图，提交给 DAGScheduler,这个 DAGScheduler 是在 Spark

13、Context 开创建立时一同初始化的，他会对作业进行调度处理。当依靠图构建好以后，从 action 开场进行解析，每一个操作作为一个 task,每碰到 shuffle 就切割成为一个 taskSet,并把数据输出到磁盘，假如不是 shuffle 数据还在内存中存储。就这样再往前推进，直到没有算子，然后运行从前面开场，假如没有 action 的算子在这里不会执行，直到碰到 action 为止才开场运行，这就构成了 spark 的懒加载，taskset 提交给 TaskSheduler 生成TaskSetManager 并且提交给 Executor 运行，运行结束后反应给 DAGSchedule

14、r 完成一个taskSet,之后再提交下一个，当 TaskSet 运行失败时就返回 DAGScheduler 并重新再次开创建立。 一个 job 里面可能有多个 TaskSet,一个 application 可能包含多个 job. bSpark Streaming. 通过对 kafka 数据读取，将 Stream 数据分成小的时间片段几秒，以类似 batch 批处理的方式来处理这一部分小数据，每个时间片生成一个 RDD,有高效的容错性，对小批量数据能够兼容批量实时数据处理的逻辑算法，用一些历史数据和实时数据联合进行分析，比方分类算法等。可以以对小批量的 stream 进行 mapreduce、

15、join 等操作，而保证其实时性。针对数据流时间要求不到毫秒级的工程性问题都能够。 Spark Streaming 也有一个 StreamingContext,其核心是 DStream,是通过以组时间序列上的连续 RDD 来组成的，包含一个有 Time 作为 key、RDD 作为 value 的构造体，每一个 RDD都包含特定时间间隔的数据流，能够通过 persist 将其持久化。在接受不断的数据流后，在blockGenerator 中维护一个队列，将流数据放到队列中，等处理时间间隔到来后将华而不实的所有数据合并成为一个 RDD这一间隔中的数据。其作业提交和 spark 类似，只不过在提交时拿

16、到 DStream 内部的 RDD 并产生 Job 提交，RDD 在 action 触发之后，将 job 提交给 jobManager中的 JobQueue,又 jobScheduler 调度，JobScheduler 将 job 提交到 spark 的 job 调度器，然后将 job 转换成为大量的任务分发给 spark 集群执行26.Job 从 outputStream 中生成的，然后触发反向回溯执行 DStreamDAG.在流数据处理的经过中，一般节点失效的处理比离线数据要复杂。Spark streaming 在 1.3 之后能够周期性的将 DStream 写入 HDFS,同时将 off

17、set 也进行存储，避免写到 zk.一旦主节点失效，会通过 checkpoint 的方式读取之前的数据。当 worknode节点失效，假如 HDFS 或文件作为输入源那 Spark 会根据依靠关系重新计算数据，假如是基于 Kafka、Flume 等网络数据源 spark 会将手机的数据源在集群中的不同节点进行备份，一旦有一个工作节点失效，系统能够根据另一份还存在的数据重新计算，但是假如接受节点失效会丢失一部分数据，同时接受线程会在其他的节点上重新启动并接受数据。 c Graphx. 主要用于图的计算。核心算法有 PageRank、SVD 奇异矩阵、TriangleConut 等。 dSpark

18、 SQL是 Spark 新推出的交互式大数据 SQL 技术。把 sql 语句翻译成 Spark 上的 RDD 操作能够支持 Hive、Json 等类型的数据。 e Spark R. 通过 R 语言调用 spark,当前不会拥有像 Scala 或者 java 那样广泛的 API,Spark 通过 RDD类提供 Spark API,并且允许用户使用 R 交互式方式在集群中运行任务。同时集成了 MLlib机器学习类库。 f MLBase从上到下包括了 MLOptimizer给使用者、MLI给算法使用者、MLlib给算法开发者、Spark.可以以直接使用 MLlib.ML Optimizer,一个优化机器学习选择更适宜的算法和相关参数的模块，还有 MLI 进行特征抽取和高级 ML 编程 抽象算法实现 API 平台，MLlib分布式机器学习库，能够不断扩大算法。MLRuntime 基于 spark 计算框架，将 Spark 的分布式计算应用到机器学习领域。MLBase 提供了一个简单的声明方式方法指定机器学习任务，并且动态地选择最优的学习算法。 g Tachyon. 高容错的分布式文件系统。宣称其性能是 HDFS 的 3000 多倍。有类似 java 的接口，也实现了 HDFS 接口，所以 Spark 和 MR 程序不需要任何的修改就能够运行。当前支持 HDFS、S3 等。