(精品)P2P技术简介.ppt

《(精品)P2P技术简介.ppt》由会员分享，可在线阅读，更多相关《(精品)P2P技术简介.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、P2P技术简介2006年5月7日一点体会v资料检索google等搜索引擎；中国学术期刊网；万方数据库；国内外相关技术网站；草案、标准等v跟踪国内外研究现状人家在做什么，怎么做的？存在的问题是什么，相关的问题？v找到研究的共性和个性一点体会v找到自己感兴趣的研究方向研究兴趣建立在专业基础之上；兴趣是培养的；v确定研究思路与方案需要制定你自己的研究思路；计划是必须的；v从最基本的做起，跟踪、模仿、寻求突破跟踪是科研的第一步；尝试着实现别人提出的方法；找出问题，自己解决.报告内容vP2P概念vP2P分类 vP2P的网络典型拓扑结构讨论vP2P的查询算法vP2P网络技术应用领域vP2P的研究方向探讨P

2、2P网络技术的概念和定义v1、Peer-to-peer is a type of Internet network allowing a group of computer users with the same networking program to connect with each other for the purposes of directly accessing files from one anothers hard drives.v2、Peer-to-peer networking(P2P)is an application that runs on a personal

3、 computer and shares files with other users across the Internet.P2P networks work by connecting individual computers together to share files instead of having to go through a central server.P2P网络技术的概念和定义(cont)v3、P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源（处理能力、存储能力、网络连接能力、打印机等），这些共享资源需要由网络提供服务和内容，能被其它对等节点(Pee

4、r)直接访问而无需经过中间实体。在此网络中的参与者既是资源（服务和内容）提供者（Server），又是资源（服务和内容）获取者（Client）。P2P网络技术的概念和定义(cont)vP2P is a special distributed system on the application layer,where each pair of peers can communicate each other through the routing protocol in P2P layers.vOverlay网络（为实现某一应用目标，若干peer互联形成一个overlay network）vOve

5、rlay网络是在应用层之上的网络。由对等点连结而成的网络。v对等联网模式的理念在资源共享中，表现为“人人为我，我为人人”的思想。P2P的特点v非中心化非中心化v可扩展性可扩展性 v健壮性健壮性 v高性能高性能/价格比价格比 v隐私保护隐私保护v负载均衡负载均衡 根据具体应用不同，可以把P2P分为以下这些类型：v提供文件和其它内容共享的P2P网络，例如Napster、Gnutella、eDonkey、emule、BitTorrent等；v挖掘P2P对等计算能力和存储共享能力，例如http:/setiathome.ssl.berkeley.edu/、Avaki、Popular Power等；v基于

6、P2P方式的协同处理与服务共享平台，例如JXTA、Magi、Groove、.NET My Service等；v即时通讯交流，包括ICQ、OICQ、Yahoo Messenger等；v安全的P2P通讯与信息共享，例如Skype、Crowds、Onion Routing等。P2P体系结构v根据对象查询机制的区别和P2P的逻辑拓扑结构分为三类：v1、完全集中式、完全集中式研究目标及重点是应用模式从C/S模式向对等模式的转变优点：应用模式消除了应用服务器的瓶颈问题并缓解了应用流量的不均衡性，在目录服务器获取资源索引信息之后的所有数据的交换都是在节点间完成的。简单易部署。可以模糊查询。缺点：单点失效。尽

7、管可以用并行服务器解决。拓扑结构：非结构化、集中式。典型代表：NapsterP2P体系结构（cont）v2、非集中式、非结构化、非集中式、非结构化研究目标和重点是去除体系结构上的单点失效问题。对象查询是分布式的。查询是逐跳的，泛洪式直到成功或失败或超时。优点：自组织的管理模式使得整个系统的鲁棒性得以大幅度增强。可以模糊查询。缺点：消息传递（泛洪、回溯等）的资源定位模式制约了网络规模的可缩放性。查询效率低。典型代表：Gnutella、Freenet、KaZaA拓扑结构：非结构化、非集中式、无规则分布式P2P体系结构（cont）v3、非集中式且结构化、非集中式且结构化需要解决的问题则是如何增强网络

8、规模的可缩放特性。对象查询也是分布式的。使用DHT技术构造结构化拓扑。对象的查询也是逐跳的执行，经过确定的步跳可以确信是成功的。拓扑结构：非集中式、结构化。如：mesh、ring、d-dimension torus and butterfly。典型P2P网络如：CAN、Chord、Oceanstore等。优点：在资源管理过程中同时拥有自组织特性、规模的强可缩放特性以及部署的廉价性等等。为规模庞大的资源整合及共享提供了可能性。缺点：节点仅存在局部视图。缺少权威第三方的控制。不支持模糊查询。P2P按出现的时间和目的分类v第一代 早期的P2P网络。v如Napster和Gnutella，目标是容易和快

9、速部署。但是可伸缩性差且查询效率低。vNapster是众所周知的音乐交换系统。每个节点登录到服务器上并发送它们的文件清单，发布查询到服务器上查找哪些节点是它们拥有的想要的文件，并直接与目标节点连接下载文件。支持模糊匹配。central indexjoinqueryanswergetfile.Directory-based P2P of Sharing Music:NapsterHow does Naspter Work(very simple!)lApplication-level:(1)client/server protocol over point-to-point TCP/IP;(2)

10、central directory server.lUser operation steps:connect to Napster server(http:/)upload a request list and the IP address in the server.Index server searches the list and returns results to the IP.User pings the music hosts,looking for best transferrate.User chooses a music provider for data transfer

11、.lThe index server does not scale its P2P system.flooding queryUnstructured P2P:GnutellaSuper Node based P2P:KaZaA(Morpheus).super peerflooding query拓扑结构示例e.g.NapsterHybrid P2PdirectoryPure P2Pe.g.Freenet&GnutellaContent Delivery NetworksServerDuplicated Duplicated ServerServere.g.AkamiK1K3K4K2AB014

12、7拓扑结构示例(cont)发展历程第二代v没有集中的目录服务器，但是拓扑结构有意义。这个结构意味着P2P网络拓扑被紧紧的控制。比如：Mesh,Ring,d-dimension Torus,K-ary tree。v使用DHT技术，有较好的可伸缩性和查询效率。提供负载均衡和确定性的搜索保证。但是容错性或弹性不好，尤其是在恶意攻击下。文件不是被 随机地而是以特定的位置放置，这样使得连续的查询更加容易满足。v它使用精确的定位算法和特殊的路由协议使得搜索效率提高。支持精确查询不能支持模糊查询。vBut it is not clear how well such designs work with an

13、extremely transient population of nodes and adversarial node failures(except Butterfly).第二代的代表vTapestry:用于覆盖网络的定位和路由机制。Tapestry具有自我管理、容错和灵活平衡负载等特点。vPastry：是一个路由定位协议，与Tapestry有许多相似性。vCAN：可以在Internet规模的大型对等网络上提供类似哈希表的功能，提供查询服务。CAN具有可扩展、容错和完全自组织等特点。vCHORD：是一个分布式的非集中式的P2P查询服务，存储关键字/值对。给定一个关键字（key），将key映

14、射到某个结点。如果给对等网络应用的每个数据都分配一个key，那么对等网络中的数据查找问题就可以用Chord很容易地解决了。vOceanStore的目标是提供全球的持久存储系统。vPAST是基于Internet的，P2P的全球存储应用，它可以提供持久存储、高可用性、可扩展性和安全性。vCFS（Cooperative File System）是一个用于对等网络的只读的存储系统，它可以提供高效率的、鲁棒的和负载平衡的文件存取功能。InternetMedia ServerFirewallMedia ProxyP2P OverlayContent Addressable NetworkIntranet

15、DHT DHT DHT DHT DHT DHT DHT发展历程第三代v近期的研究目标提供高度弹性P2P网络；使用的技术包括目标对象复制、在节点之间扩展连接数、构造特殊的结构化拓扑结构等。v后面两代是分布式的和结构化的覆盖网发展历程第四代v此种说法未必准确。v任何网络技术的发展，最终目标是面向用户、面向应用的。第四代应该是P2P网络技术走向应用的阶段。因此，综合考虑影响结构化P2P网络可用性的多方面因素，分析其成因，研究相应的解决方案来增强P2P网络的可用性是当前P2P技术走向实用阶段的研究重点。v主要目标是提出的增强P2P网络可用性的解决方案能够同时维护网络本身的自组织特性及网络规模的可缩放特

16、性，且方案易于部署。P2P查询算法v目标查询的算法研究是P2P网络的关键部分。算法的优劣决定了P2P网络性能的优劣。v随机地和确定性地，非泛洪和泛洪式的，集中式的和非集中式的。v除了Napster集中式的查询外，所有其他的P2P网络使用分布式的和逐跳的转发请求查询方式。P2P查询算法（cont）v随机查询被转发到一个随机选择的邻居节点。通常有一个较长的路径长度。应用于非结构化P2P网络中。如Gnutella。v泛洪式查询方法是在纯粹分布式结构中采用的方法,不需要向目录服务器报告共享的信息,而是将请求泛洪到直接相连的邻居,直到收到响应,或者达到了最大的泛洪步数。由于这种模型需要很多的网络带宽来进

17、行资源的搜索工作,因而这种模型的扩展性并不是很好,但是在像公司这样的小型团体里还是很有效的。v为了解决扩展问题,引入了混合式结构,把查询请求集中到超级节点,这样就减少了网络带宽的消耗。TTL/Hops ExampleTTL=7Hops=0TTL=6Hops=1TTL=5Hops=2TTL=4Hops=3TTL=3Hops=4Horizon exampleTTL=1TTL=2TTL=4TTL=3TTL=5TTL=6TTL=7More about TTL and HopsvIn general,you greatly increase the nodes you can connect to as

18、 you broaden your horizonvWhere nhosts is the number of hosts reachable,nhops is the number of hops,and d is the average number of hosts reachable from each host(degree of connectivity)(assumes acyclic graph)Ping and PongvAfter knowing where to go to join a network,a servent uses Ping and Pong to lo

19、cate other nodes to connect tovOriginally,Ping message sent to the node connected to,which forwarded to all neighborsvAll those servents willing to connect to the sender respond with PongvPongs convey IP,Port,Files shared,and distance(hops)泛洪式算法的改进v有各种方法可以控制和减少在分布式无结构P2P网络中基于泛洪搜索方法带来大量不必要流量,这大致可归为三类

20、基于改进转发机制的方法；基于缓存的方法；拓扑结构的优化。v“dynamic TTL setting or expanding ring”and“k-walker random walk”.But“k-walker random walk”may have large lookup length(latency).So object replication mechanisms(such as uniform replication,proportional replication,square-root proportional replication,and log-form replica

21、tion)are proposed at the same time to reduce the lookup length.Lookup message and length can be simultaneously decreased using cache mechanisms such as:cache some objects in the reverse path of queriesv这些改进方法会使得无结构P2P网络在将来会有更广阔的应用。Ping/Pong ExamplePONGPing/Pong ExamplePONGPing/Pong ExamplePONGPINGPi

22、ng/Pong ExamplePONGPINGPINGPINGPing/Pong ExamplePONGPINGPINGPINGPINGPINGPing/Pong ExamplePONGPing/Pong ExamplePONGPONGPONGPing/Pong ExamplePONGPONGPONGPing/Pong ExamplePONGPONGPing/Pong ExamplePing/Pong Example文档路由模型（Document Routing Model)v这种文件路由模型需要用分布式哈希表(Distributed Hash Tables,DHT),这是有结构对等网络采用的

23、搜索方法,也是有结构和无结构对等网络的根本区别。是确定性的算法。v在这种模型下,每个对等体都有一个ID,每个文件有一个关键字Key,当宣告一个关键字为K1的文件时,先通过哈希映射得到对应的K1 ID1,然后将该文件存到ID号为ID1 的节点,文件的存放过程需要将文件路由到该节点ID1。反过来,当查找一个关键字为K1 的文件时,先进行哈希映射得到K1 ID1,然后将该文件从ID号为ID1 的节点上取到该文件,从该网络中取文件需要将请求消息路由到ID1 节点,然后文件从ID1 节点原路返回。P2P研究的意义v低成本或成本共享v资源积聚和互操作性v改进的可伸缩性和可靠性v增强的自治性v隐私性和匿名性

24、v动态性v使ad-hoc自组织通讯和协作的可能性对等网络中的安全问题vP2P作为分布式的网络模型,在系统安全中面临着巨大的挑战,它需要在没有中心节点的情况下,提供身份验证、授权、数据信息的安全传输、数字签名、加密等机制。还要避免大量信息传输拥塞、病毒的入侵和恶意代码攻击等问题。vP2P网络的安全问题,归结为以下三类:1)数据安全问题,包括数据的完整、真实和保密;2)网络对等节点安全问题,对等机相互信息和个人环境安全;3)信息安全问题,网络信息内容和版权的管理。v研究内容：上述三类问题即可以作为研究对象。P2P网络中的信任问题v在纯分布式对等网络中,没有中心控制,具有高度的动态性、自治性和异构性

25、,即:每个用户参与网络是随机的、自愿的,并且不同的用户有不同的能力和可靠性,由此导致不可靠的服务质量及大量欺诈行为的存在,网络的可用性差。目前解决这一问题的有效方法是在P2P网络中建立信誉体制。v所谓信誉体制是指用户通过自己的过去经历或他人的推荐来选择符合自己要求的交互端的一种体制。此体制能激励用户提供可靠高质量的服务,节省时间和通信开销,减少交互风险和损失,促进网络的良性发展。v许多学者对此进行了研究，主要是提出合理的信誉评价方案和信誉计算方法。而信誉体制的安全和有效性是影响网络可用性的关键因素。P2P网络中的激励机制v在P2P 系统中所有节点往往更多地表现出自兴趣和理性,单个节点的目标往往

26、是使自身的网络效用 最大化,这样导致了以下问题:(1)搭便车(free riding)问题,70%的Gnutella用户不共享任何文件,接近50%的 文件查询命中仅来自1%的Gnutella用户;(2)公共的悲剧(tragedy of common)问题,即网络资源作为非排他性占有的公共资源,被大多数 P2P节点无节制地使用.v 如何使节点根据自身的期望,主观上愿意参与共享其资源不仅是困扰P2P系统的问题,同样也严重 困扰着大规模计算资源共享系统.有论文指出了使用微支付(micro payment)和虚拟流通(virtual currency)的方法来解决P2P文件共享网络中的共享激励问题.P

27、2P进一步研究的问题vQOS问题 链路延迟、查询响应延迟（难以避免）v阻塞问题 热链接（文件复制、负载均衡的搜索算法）v弹性问题v安全问题v信任机制和激励机制P2P的计算模式三项工作v资源放置资源放置在P2P系统中，并非个人资源（比如数据）都放置在各自的机器上，很可能是所有机器共同管理资源，比如在P2P存储系统中经常采用分布式哈希表放置数据，各人数据可能放置在他人的机器上，于是如何进行资源放置就成了必须回答的第一个问题。v资源定位资源定位数据的查找与资源放置方法是直接相关的。对于以DHT方式放置的数据，可以直接定位，但在多数文件共享系统中，用户的文件都是放在各自的机器上，如何知道哪些机器放有用

28、户需要的数据就成为一个关键问题，常常需要较大规模的搜索才可以完成。资源定位就是研究如何更有效率地找到需要的资源所处的位置，尤其是一些在网络中稀有（rare）的数据。P2P的计算模式三项工作（cont）v资源获取资源获取资源定位后就需要获得资源，有些资源并不能直接获得，比如计算资源、大文件、流媒体资源。这里的问题主要在于如何才能更高效的获取资源，或者说如何使一些热点资源服务更多的需要该资源的用户，通常这需要尽量发挥P2P系统中所有参与者的能力。而使用P2P模式充分地利用了所有结点的带宽资源，使得并行下载能力得到了极大的扩展。P2P和GridvPeer-to-peer and Grid compu

29、ting are two approaches to distributed computing,both concerned with the organization of resource sharing in large-scale computational societies.vGrids are distributed systems that enable the large-scale coordinated use and sharing of geographically distributed resources,based on persistent,standard

30、s based service infrastructures,often with a high-performance orientation.vAs Grid systems increase in scale,they begin to require solutions to issues of self configuration,fault tolerance,and scalability,for which peer-to-peer research has much to offer.vPeer-to-peer systems,focus on dealing with i

31、nstability,transient populations,fault tolerance,and self adaptation.To date,however,peer-to-peer developers have worked mainly on vertically integrated applications,rather than seeking to define common protocols and standardized infrastructures for interoperability.v“Grid computing addresses infras

32、tructure,but not yet failure,while peer-to-peer addresses failure,but not yet infrastructure”Foster and Iamnitchi 2003.我们能做什么？vBewildered with itvApplication development:determinedvAlgorithm improved?vTopology designing?vPerformance study?vvdiscussion参考文献v典型的P2P路由算法 Chord I.Stoica,R.Morris,D.Karger,

33、M.F.Kaashoek,and H.Balakrishnan.Chord:A scalable peer-to-peer lookup service for internet applications.In Proceedings of the ACM SIGCOMM 01 Conference,San Diego,California,August 2001.v典型的P2P路由算法Tapestry B.Y.Zhao,J.D.Kubiatowicz,and A.D.Joseph.Tapestry:An infrastructure for fault-tolerant wide-area

34、location and routing.Technical Report UCB/CSD-01-1141,UC Berkeley,Apr.2001v典型的P2P路由算法Pastry A.Rowstron and P.Druschel.Pastry:Scalable,distributed object location and routing for large-scale peer-to-peer systems，In Proc.of the 18th IFIP/ACM International Conference on Distributed Systems Platforms(Mi

35、ddleware 2001).Heidelberg,Germany,November 2001.v典型的P2P路由算法Pastry开源代码 The Pastry Project,http:/www.cs.rice.edu/CS/Systems/Pastry/P.Druschel and A.Rowstron.v P2P网络的典型应用 海量数据存储 基于Pastry基本路由架构 PAST:A large-scale persistent peer-to-peer storage utility.In Proc.HOTOS Conf.,2001.vP2P网络的典型应用 海量数据存储 基于Chord

36、基本路由架构 F.Dabek,M.F.Kaashoek,D.Karger,R.Morris,and I.Stoica.Wide-area cooperative storage with CFS.SOSP 01,October 2001.vP2P网络的典型应用 网络存储 Tapestry基本路由架构 J.Kubiatowicz,D.Bindel,Y.Chen,S.Czerwinski,P.Eaton,D.Geels,H.W.FL Gummadi,S.FI.hea,W.Weimer,C.Wells,and B.Zhao.Oceanstore:An architecture for global-

37、scale persistent storage.In Proceedings of the Ninth International Conference on Architectural Support for Programming Languages and Operating Systems(ASPLOS),2000.vP2P网络的典型应用 应用层多播 基于Pastry基本路由架构 A.Rowstron,A.-M.Kermarrec,M.Castro,and P.Druschel.Scribe:The design of a large-scale event notification

38、 infrastructure.In Third International Workshop on Networked Group Communications,Nov.2001.vD.Joseph and John D.Kubiatowicz.Routing Algorithms for DHTs:Some Open Questions,Electronic Proceedings for the 1st International Workshop on Peer-to-Peer Systems(IPTPS 02)2002-MIT Faculty Club,Cambridge,MA,USA.参考文献（cont）参考文献（cont）vGGF,http:/www.gridforum.orgvJxta,http:/www.jxta.org.vSETIhome，http:/setiathome.ssl.berkeley.edu/vGnetella，http:/