大数据与并行计算.docx

《大数据与并行计算.docx》由会员分享，可在线阅读，更多相关《大数据与并行计算.docx（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、西安科技大学计算机科学与技术学院实习报告课程:班级:大数据和并行计算网络工程姓名:学号:大数据技术（big data）,或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工 具，在合理时间内到达撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。在维克托迈 尔-舍恩伯格及肯尼斯库克耶编写的大数据时代中大数据指不用随机分析法（抽样调查）这样的捷径, 而采用所有数据进行分析处理。大数据的4V特点：Volume （大量）、Velocity （高速）、Variety （多样）、 Value （价值）o特点具体有：大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特

2、点。计算机学报刊登 的“架构大数据：挑战、现状与展望” 一文列举了大数据分析平台需要具备的几个重要特性，对当前的主 流实现平台一一并行数据库、MapReduce及基于两者的混合架构进行了分析归纳，指出了各自的优势及不 足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第 二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，处理速度快，1秒定 律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。 第四，只要

3、合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。业界将其归纳为4个 “V” Volume （数据体量大）、Variety （数据类型繁多）、Velocity （处理速度快）、Value （价值密 度低）。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价 值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜 力。1 .大数据概念及分析毫无疑问，世界上所有关注开发技术的人都意识到“大数据”对企业商务所蕴含的潜在价值，其目的 都在于解决在企业开展过程中各种业务数据增长所带来的痛苦。现实是，许多问题阻碍了大

4、数据技术的开展和实际应用。因为一种成功的技术，需要一些衡量的标准。现在我们可以通过几个基本要素来衡量一下大数据 技术，这就是一一流处理、并行性、摘要索引和可视化。大数据技术涵盖哪些内容？L1流处理伴随着业务开展的步调，以及业务流程的复杂化，我们的注意力越来越集中在“数据流”而非“数 据集”上面。决策者感兴趣的是紧扣其组织机构的命脉，并获取实时的结果。他们需要的是能够处理随时发生 的数据流的架构，当前的数据库技术并不适合数据流处理。L2并行化大数据的定义有许多种，以下这种相对有用。“小数据”的情形类似于桌面环境，磁盘存储能力 在1GB到10GB之间，“中数据”的数据量在100GB到1TB之间，“

5、大数据”分布式的存储在多台机器上， 包含1TB到多个PB的数据。如果你在分布式数据环境中工作，并且想在很短的时间内处理数据，这就需要分布式处理L3摘要索引摘要索引是一个对数据创立预计算摘要，以加速查询运行的过程。摘要索引的问题是，你必须为 要执行的查询做好计划，因此它有所限制。数据增长飞速，对摘要索引的要求远不会停止，不管是长期考虑还是短期，供应商必须对摘要索 引的制定有一个确定的策略。1.4数据可视化可视化工具有两大类。探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系，这是一种可视化的洞 察力。叙事可视化工具被设计成以独特的方式探索数据。数据会按照地域逐月展示，并根据预定义的

6、公式 排序。2 .并行处理2.1 并行处理技术-概念并行性是指在同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的工作，只要在时间 上互相重叠，都存在并行性。计算机系统中的并行性可从不同的层次上实现，从低到高大致可分为：2.1.1 指令内部的并行：是指指令执行中的各个微操作尽可能实现并行操作。2.1.2 指令间的并行：是指两条或多条指令的执行是并行进行的。2.1.3 任务处理的并行：是指将程序分解成可以并行处理的多个处理任务，而使两个或多个任务并行 处理。2.1.4 1.4作业处理的并行：是指并行处理两个或多个作业。如多道程序设计、分时系统等。另外，从数 据处理上，也有从低到高的并行

7、层次。2.1.5 字串位并：同时对一个二进制字的所有位进行操作。2.1.6 1.6字并位串：同时对多个字的同一位进行操作。2.1.7 全并行：同时对许多字的所有位进行操作。2. 2三种形式2.1.1 1时间并行时间并行指时间重叠，在并行性概念中引入时间因素，让多个处理过程在时间上相互错开，轮流重叠 地使用同一套硬件设备的各个局部，以加快硬件周转而赢得速度。？时间并行性概念的实现方式就是采用流水处理部件。这是一种非常经济而实用的并行技术，能保证计 算机系统具有较高的性能价格比。目前的高性能微型机几乎无一例外地使用了流水技术。2.1.2 空间并行空间并行指资源重复，在并行性概念中引入空间因素，以“

8、数量取胜”为原那么来大幅度提高计算机的 处理速度。大规模和超大规模集成电路的迅速开展为空间并行技术带来了巨大生机，因而成为实现并行处 理的一个主要途径。空间并行技术主要表达在多处理器系统和多计算机系统。但是在单处理器系统中也得 到了广泛应用。2.1.3 时间并行+空间并行指时间重叠和资源重复的综合应用，既采用时间并行性又采用空间并行性。显然，第三种并行技术带 来的高速效益是最好的。2. 3并行计算机21世纪的计算机系统在不同层次上采取了并行措施，只有当并行性提高到一定层次时，具有了较高的 并行处理能力，才能称为“并行处理系统”。一般有以下三种并行措施。2. 3. 1时间重叠时间重叠是在并行性概

9、念中引入时间因素，即多个处理过程在时间上相互错开，轮流重叠地使用同一 套硬件设备的各个部件，以加快硬件周转而赢得速度。这各并行措施表现在指令解释的重叠及流水线部件 与流水线处理机。2. 3. 2资源重复资源重复是在并行性概念中引入空间因素。这种措施提高计算机处理速度最直接，但由于受硬件价格 昂贵的限制而不能广泛使用。目前，随着硬件价格的降低，已在多种计算机系统中使用，如多处理机系统、 陈列式处理机等。2. 3.3资源共享资源共享也是在并行性概念中引入时间因素，它是通过软件的方法实现的。即多个用户按一定的时间 顺序轮流使用同一套硬件设备；既可以是按一定的时间顺序共享CPU,也可以是CPU与外围设

10、备在工作时 间上的重叠。这种并行措施表现在多道程序和分时系统中，而分布式处理系统和计算机网络那么是更高层次 的资源共享。并行计算机具有代表性的应用领域有：天气预报建摸、VLSI电路的计算机辅助设计、大型数据库管理、 人工智能、犯罪控制和国防战略研究等，而且它的应用范围还在不断地扩大。并行处理技术主要是以算法 为核心，并行语言为描述，软硬件作为实现工具的相互联系而又相互制约的一种结构技术。本文就并行处 理技术的算法策略、描述性定义及软硬件方面的实现做一个简单的介绍。2.4并行算法的基本策略在并行处理技术中所使用的算法主要遵循三种策略：2. 4.1分而治之法：也就是把多个任务分解到多个处理器或多个

11、计算机中，然后再按照一定的拓扑结 构来进行求解。2. 4. 2重新排序法：分别采用静态或动态的指令词度方式。2. 4. 3显式/隐式并行性结合：显式指的是并行语言通过编译形成并行程序，隐式指的是串行语言通过 编译形成并行程序，显式/隐式并行性结合的关键就在于并行编译，而并行编译涉及到语句、程序段、进程 以及各级程序的并行性。2. 5并行软件并行软件可分成并行系统软件和并行应用软件两大类，并行系统软件主要指并行编译系统和并行操作 系统，并行应用软件主要指各种软件工具和应用软件包。在软件中所牵涉到的程序的并行性主要是指程序 的相关性和网络互连两方面。程序的相关性主要分为数据相关、控制相关和资源相关

12、三类。2. 5.1数据相关：说明的是语句之间的有序关系，主要有流相关、反相关、输出相关、I/O相关和求 知相关等，这种关系在程序运行前就可以通过分析程序确定下来。数据相关是一种偏序关系，程序中并不 是每一对语句的成员都是相关联的。可以通过分析程序的数据相关，把程序中一些不存在相关性的指令并 行地执行，以提高程序运行的速度。3. 5.2控制相关：是语句执行次序在运行前不能确定的情况。它一般是由转移指令引起的，只有在程 序执行到一定的语句时才能判断出语句的相关性。控制相关常使正在开发的并行性中止，为了开发更多的 并行性，必须用编译技术克服控制相关。4. 5.3网络互连将计算机子系统互连在一起或构造

13、多处理机或多计算机时可使用静态或动态拓扑结构的网络。静态网 络由点一点直接相连而成，这种连接方式在程序执行过程中不会改变，常用来实现集中式系统的子系统之 间或分布式系统的多个计算结点之间的固定连接。动态网络是用开关通道实现的，它可动态地改变结构， 使之与用户程序中的通信要求匹配。动态网络包括总线、交叉开关和多级网络，常用于共享存储型多处理 机中。在网络上的消息传递主要通过寻径来实现。常见的寻径方式有存储转发寻径和虫蚀寻径等。2 . 6开展概况遵循不同的技术途径，采用不同的并行措施，在不同的层次上实现并行性的过程，反映了计算机体系 结构向高性能开展的自然趋势。在单处理机系统中，主要的技术措施是在

14、功能部件上，即改进各功能部件，按照时间重叠、资源重复 和资源共享形成不同类型的并行处理系统。在单处理机的并行开展中，时间重叠是最重要的。把一件工作 分成假设干相互联系的局部，把每一局部指定给专门的部件完成，然后按时间重叠措施把各局部执行过程在 时间上重叠起来，使所有部件依次完成一组同样的工作。多机系统是指一个系统中有多个处理机，它属于 多指令流多数据流计算机系统。按多机之间连接的紧密程度，可分为紧耦合多机系统和松耦合多机系统两 种。在多机系统中，按照功能专用化、多机互连和网络化三个方向开展并行处理技术。功能专用化经松散耦合系统及外围处理机向高级语言处理机和数据库机开展。多机互连是通过互联网 络

15、紧密耦合在一起的、能使自身结构改变的可重构多处理机和高可靠性的容错多处理机。计算机网络是为 了适应计算机应用社会化、普及化面开展起来的。它的进一步开展，将满足多任务并行处理的要求，多机 系统向分布式处理系统开展是并行处理的一种开展趋势。3 .并行处理在大数据时代的挑战对大数据来讲最主要的是在模型中做计算的约束是非常大的。我们看BSP模型，为什么在过去用到高 性能计算上，今天在大数据不能用。之后再做并行计算，之后再做篡数，过去做的所有的高性能计算都是 围绕这个模型来的。今天为什么要做并行计算，并行计算给我们带来了什么样的障碍？ 2011年10PB的数据用了 6小 时27分钟。我们比拟要有非常高的并行度。我们在高并行度下面遇到的第一个困难是，没有特殊的通信硬 件来给我们支持。这不像高性能计算。另外，当你放下了数据以后是不能传输的，基本上是不能动的。我 们必须要有高可用性的大数据。