第五届ccs云计算高峰论坛-微软-郭鸿飞-大数据的新世界.docx

大数据的新世界2012 第五届CCS云计算高峰论坛暨展览吸引了近3000名来自运营商、政府部门、金融、保险、电力、能源、医疗 、公安、军队、教育、制造等行业的企业IT、信息部门主管及专家学者积极参与，深度探讨政企私有云应用现状及发展趋势，分享与交流云计算的优秀案例。该盛会于9月13日、14日在上海浦东展览馆隆重举行，60多家国内外知名厂商以云计算高峰论坛为平台展示了其最新的产品及解决方案，成为众多线上线下观众的关注的焦点。“微软”亮相“云计算高峰论坛”并发表精彩主题演讲，其演讲主题为“大数据的新世界”。以下是现场快递。（声明：本稿件来源为现场速记，可能有笔误和别字，仅供参考）主持人：微软作为软件行业巨头，在大数据市场上也有着许多方案。接下来，我们将请出来自微软美国总部的SQL Server 大数据研发团队高级项目经理郭鸿飞。他将和我们分享大数据的新世界. 掌声有请！微软SQL Server 大数据研发团队高级项目经理郭鸿飞郭鸿飞：各位嘉宾、各位朋友、各位同行，早上好！我很高兴今天来到这里跟大家分享一下，微软对大数据这个领域的战略想法、构想，以及我们提供的平台。刚才讲了大数据对于一个特殊的行业，电信方面，会有哪些机遇以及他们做哪些努力提升他们的业绩。我的演讲中，我将会退一步不是对某个行业，作为软件平台作为基础设施方面，作为软件的提供商，微软我们提供什么样的，不仅仅是给电信行业，象政府、教育、IT、以及零售行业各种各样的行业，我们怎么使大家每个行业都能从大数据里抓住新的发展机遇。我主要讲几个方面，首先我跟大家讲一下，是什么样的技术趋势，推动了大数据的这种新的技术的兴起。到底我们是怎么样定义大数据的。然后讲讲大数据的技术含义是什么？什么是端到端的解决方案。我们说现在大数据为什么会出现，事实上是两个方面的趋势，很简单，大家看，这个幻灯片上，第一个趋势是绿色的方块，这些方块是数据量爆炸性的增长，传感器的数据，设备的数据，通讯量的数据，这样的数据在先进的社会是爆炸性的增长。另外一个是计算成本的垂直下降，无论是计算还是存储他们的成本都在急剧的下降，数据的增长和成本的下降。我们关心的不仅仅是从这个系统里面得到数据，我们想这个数据里面的智能能提取出来吗？因为计算成本的下降，这种大规模海量数据的挖掘成为可能。这张图讲到的是，我们会从横坐标，数据的种类，还有数据厂商的速度，以及数据厂商的量，我这里有三个框，从最左下角到最右上角，不同数据发展的阶段，我们看最左下角的阶段，我们进行数据管理，大家关心的是企业产生的数据，顾客的数据，交易的数据，这样的数据都是结构性，我们有很成熟的技术管理这样的数据，随着WEB2.0的发展，刚开始大家都是消耗数据，Internet会浏览新闻，但是随着各种各样的交互式成为可能，每个人不仅仅是内容的消费者，也成为内容的提供者，这就极大程度上改变了数据量产生数据的种类和数据的速度都发生了质的变化。在这种量引起的质变上，到了右上角的大数据的词提出来是大量的设备大量的传感器，大量的比如说手机这种设备都在每天每时每刻产生各种各样的数据，你在开车上面一个黑匣子会上传你现在的路况怎么样你在哪里？这些数据就带来了大家的变化，我们在新的时候可以做一些什么样的事情，它会怎么样来改变我们运作的方式？我们就讲到这里我列了三个比较具有代表性的三个应用产地，第一个是社交网络和互联网分析方面，第二个是实时数据源处理方面，第三个是高级分析功能。在互联网上国内现在很出名的一些互联网公司，百度、腾讯、阿里云、这些社交网络，他们都早就利用大数据对他们的用户进行分析，用户的行为进行分析，更好的服务用户，使用户得到更增值的服务，同时他们的企业也能够更蓬勃的发展。在实时数据源比如说你开车从各个地方来到会场，哪条路好一点，不堵，我怎么样最短的时间从A达到B，这样的计算，以前是不太可能的，现在随着计算的高速的这种速度的提高，你可以想象一下，你开着车，你的传感器告诉某个服务器你现在在哪里？路况怎么样。服务器可以传来你的路已经堵了，你要去浦东展览中心你要换一条路，更快到了那里，这样的话用户的行为就得到了质的改变。高级分析功能，我们不仅仅要知道现在是怎么样，未来是怎么样？我们怎么样预测将来，根据现在我对未来用户的行为精确的掌握，我在进行运作数据的分析。我能不能从中发现一些规律？我们能不能很智能知道。我要怎么样改变我的预测让我的企业更好的发展？比如说电信我要怎样深度挖掘数据从中得到数据告诉我们更多的东西，让我知道我在这块应该投入更多的人力物力，在另外一块不是那么重要，我就应该减少人力物力。这就是给我们带来的机遇。事实上接近半数企业的决策者他们或多或少在利用数据在探索，到底怎么样可以用这些新技术来调整他们的新技术。这样的市场驱动，就引起了右边，蓝色的方框，带来了软件业的增长，这也是对软件业的机遇。软件服务行业如何提高我们软件以及服务来响应市场的需求？使每个用户的需求这种潜力能够得到充分的激发出来，使他充分利用大数据的机遇？这事实上即对软件服务提供商也是对各行各业提供功能的机遇。刚才大家知道大数据真正很好，大家现在也会有深刻的了解。下面我想从技术的层面给大家讲一下，大数据到底意味着什么？你要怎样才能应用这个技术？我想从三个方面来讲，大数据的技术含义首先是管理然后是丰富，最后是洞察力，管理和丰富为洞察力做铺垫。管理是什么意思？你要对大数据进行洞察，事实上最早要做的就是把大数据汇总完，要能监测它，要能有认证，谁可以访问什么样的信息，你的数据存储必须是安全的，这些就是怎么样来管理大数据，我们还没讲到成本价值，你有那么多的数据我怎么样来管理它，SQL  Server，大数据事实上大家都很容易想到这是新技术，什么都是新的，我要新学起。其实管理的方面微软的产品SQL  Server我们十年前有这样的愿景，任何时候任何种类的数据任何来源的数据，任何时候都可以看到。SQL  Server2011年刚刚发布，给大家看一下使用者对于这个产品的反馈。（播放视频）这是一个快速的视频，我每次看了之后都很惊动人心，因为我也参与了2012的研发，事实上刚刚强调一点，这个技术平台事实上是一个每个人都有这种机会都有这种能力来利用这种新技术，这是它最大的理想。我知道其中强调他的几个特点，第一个是说HADOOP集成，有多少人听说过HADOOP的这个词，不是很多，只有很少的一个部分听过这个词，HADOOP是一个分布式计算，很多人把它跟大数据连在一起，认为这两个是等同的，事实上这种看法是片面的，我会下面讲到，它和已有的工具是什么样的关系，以及在怎么样端到端的解决方案。但是SQL  Server管理平台发展，我们已经把怎么样和HADOOP的集成排上议程。然后它提供的很多特性是怎么样把这些技术使企业继续，一个新技术提出来，很多人对于技术有一个定义，你是这方面的专家的话，你会需要用很精深的知识才知道怎样搭建HADOOP的平台，企业怎么样利用这样的技术，企业安全性的保障怎么样监测等等，微软的平台就是提供企业这方面的。这就是最大的价值。很多人提到了开源，在座有谁对开源很了解，都使用开源的东西？不是很多。看见几位在举手。如果说到开源，大家对它了解的话，会说到很多很多开源，这是一个很强壮的社区，很多人在使用开源的技术，他们会有一个焦虑，如果微软支持HADOOP会不会限制我的可选择性。微软会全面的进行开源社区，所有开源社区支持的技术微软都支持，以前开源设计了所有的代码运行在Linux上，现在也有很多的数据可以应用在微软上。有很多的数据我们这些数据有什么样的价值，我们怎么样发现他们的关联，这就是数据的丰富。我们有不同数据源产生的数据，有的是企业内部产生的数据源有的是社会单位产生的，比如说有天气的数据，有路况的数据，还有一些数据，是某些厂商所拥有的，比如说电影评级的数据，再比如，餐馆的评级数据，以及你的社交网络你喜欢做什么样的事情，你去做Search你会找什么样的东西，这种种种的数据都是属于不同的单位，或者是属于不同的人，那么当这些数据分散的时候带给你的价值是有效的，要求你的用户是很厉害的那种搜索的本领，你要怎么去那里找到什么样的数据来符合你的需要。数据发展是整个时代，如果那些数据共同工作，他们能不能给我们一些关联方面的价值，我们能不能发现更多的规律，我们有一个平台是数据警示，就是允许我们把数据的供应商和数据的信息整合人员把他们联系起来，信息的整合人员能够很简单利用一些标准接口从信息的供应商里头拿到很多的数据，对这些数据进行整合进行分析进行关联，提供价值给消费者。这就是这样一个平台。它带来的价值是什么呢？就是其中的洞察，我通过个人数据，通过各个企业内部的数据，通过事件数据，卫生数据天气数据也好，告诉我们一些新的东西，给我们一些新的洞察，最重要是能够给我们什么样的价值，这个平台想给大家带来的就是这么很简易的整合的能力。它其实是把三个不同的内容提供商、软件的集成者有效结合在一起，使他们互相工作，最终提供价值给消费者。这是数据整合方面，我们的看法，要有先管理，现在有各个方面的数据跟我们进行关联。怎么样从中得到洞察？有多少人听说过数据科学家？不是很多，有谁没有听说过数据科学家？数据科学家其实是和大数据这个角色是由于大数据的出现而被提出来的，它这个词的出现事实上强调了一件事，大数据对于各个企业的重要性，所谓的数据科学家要做事情是什么？他这个人有几个方面的特点，这个人更多想象为一个角色，不要想象为某个人，他这个人有这么几个特点，他熟悉各种各样的数据挖掘工具，他熟悉自己的数据源，同时他还对你某个领域有很深刻的了解，他会跟整个企业内部的我的业务分析人员，商务业务分析人员合作，更多了解这个领域的事情，要从海量的数据里面发现价值，然后把这些价值从很大量的数据里头，大量的数据消耗事实上不太可能，单看某个数据源不会给你任何的数据，只有你提供了洞察才会真正起到了作用，这个人就是把海量的数据推取出来，然后后面的人对这些数据进行分析。然后这个对应成数量级的概念，数据科学家处理的TB级的数据，一个巨大的量化、精简，然后给商业智能分析人员，大家对这个角色就比较熟悉了，就是做BI的，会产生各种各样的报表，会产生各种各样的图形，使你更加清晰地看到你的商业上的运行，你的运行的成果你的顾客的反应各种各样的情况。然后给业务分析人员之后，更精确地洞察，知道我下一步怎么做。这个过程是一个循环的过程，不是做一遍就行，业务分析人员有很多的反馈，每个不同的角色都会跟下一个角色有很多的反馈，探讨，最终发现其中的价值。我们讲到蓝色的方块里面是不同的工具，这三个角色对不同的工具很熟悉，第一个是数据科学家会用很多的数据挖掘的工具，发现很多其中的数据，趋向方面的知识。然后商业智能人员使用BI这些工具，从中做一些分析。业务分析人员事实上更多得用很直观的视觉的工具来看哪些数据会产生什么样的效果。下面我们给大家看一个，看之前，大家都知道数据如果是一个表的形式给你的话，你如果一行一行看，你说油价和节能车之间的需求是有什么样的关系，一行一行看数据很难看出来，如果画一个图这是我的节能车价格的趋势，油价的趋势，你很容易看到他们之间的关联是什么？我们就提供这么一套视觉化的工具给大家发觉数据之间的一些趋势。然后这个工具是很直观的工具。使你能够更好的发觉。在这个视频里面这个人在做的是什么？有很多各种车的销售的曲线，各个季度销售的量，同时又油价在各个季度的变化，他在想，这两者之间有什么样的联系呢？他就开始把这些数据，他关心的那个连，拉过来，画成各种各种各样的图，他没有写一行语句，也没有编程，他不是数据库的专家，他觉得我要看这个域，我就把这个域拖过来，我要看另外一个域拖过来，他看到当汽油的价格上涨的时候，节能车的价格也会上涨，油价上涨的时候大家就会在想我应该买节能车了，这就是用是觉得工具可以很轻易地达到类似的任务。这里我要提一个客户的事例，有多少人听说过Klout这家公司？美国的一家公司。Klout这家公司是利用很多很多的数据源，包括排名前十五位的社交网络，比如说点数，在国内比如说人人网，Twitter，他利用各种各样的社交网络做了一个事，他给每个人有一个Klout的分数，这个分数可以提供给很多其他的厂商来做分析，比如说我要做广告的时候，什么样的人群我要投放什么样的广告。它提供很好的支持，这是很重要很成功的公司，他跟我们合作，他做的事情事实上很简单，他连到很多很多数据源，社交数据源，从中进行关联，尽可能发现这个人的各种各样的行为，爱好，以及根据你的朋友来，给你一个分数，这个分数就给其他很多的合作伙伴提供分析，听以及定向，以及最后的社交图提供给第三方，第三方通过这样的知识和洞察从中更好的实现他们商业的运作。这是我们紧密的合作伙伴使用的是微软的技术平台。大数据事实上不是某个基数，不仅仅是存储，它是端到端的整合。从数据的管理到最后产生洞察力，缺一不可。而且对于行业，行业对软件厂商的要求是？我能不能提供这种连接，让我不用专家团队就可以建立这样一个平台，使对我们领域充分了解的人，能够用这个技术的价值。而不是把这个技术变成一个附带。微软大数据管理方面有SQL  Server、数据警示，在洞察方面我们提供了很多的试图分析工具让大家很直观发现数据的关联。这是端到端架构案例，中国电信也提到他们的一些架构，事实上这是一个非常实用的一个架构，看起来复杂，我们可以从左看到右，最左边是各种各样的数据源，操作方面产生的数据，维护方面产生的数据，以及机器产生的机器日志等等这样的数据源，这样的数据我们看做是一个数据的流程，然后这样的数据源有两种处理方式，一种是时时处理，举一个例子，就像是数据库管理一般你数据先进去你再去查询，我过去一个季度我卖了多少车，实时处理是一种不同的处理方式，它是说我过去的十分钟卖了多少辆车，如果我们销售数据数据流的形式不停的上涨，我过去的数据是一个移动的窗子，你会有实时答案实时跟踪，比如说你的车到了哪里，上面的服务器给你一个数据对你来说是相关的，这些都是实时处理，然后是流处理、实时处理的一个分析引擎。另外所有的数据都下载，这是跟以前的数据处理有极大不同。以前数据处理我先要知道我的问题是什么？我要知道每个季度的销售，我要知道每年的销售，我才会设计数据长什么样，什么样的模式传输，然后我才知道这个数据是可以怎么样做。现在由于计算成本的下降，存储的发展，我们想保存住每个数据，甚至我们要问问题以前就保存这些数据，这些数据上传之后HADOOP擅长大规模的分析，大家说以前的木头，一匹马装两根木头，一些高端的马，每个马匹装十根木头，如果是大象一样的马就可以装更多的木头但是不实际，大家想到我们用一群马就可以，其实HADOOP就是这样的技术，大规模的进行计算，用一批很廉价的计算资源，它还从编程人员身上减低了运行程序的复杂，你的计算节点是多少，HADOOP会把你的程序运行化。事实上它就是这么一个工具，所以HADOOP非常擅长做趋势分析，假设分析，这两个数据有关联就验证一下，它可以给你很准确的结果。做分析之后，再往上，事实上是商业智能的工具，SQL  Server也好，就是当我把数据都进行了一个精简的时候，我可以人工消耗的方式来看这些数据，看它带给我们的到底是什么样的含义？这就是一个很具有典型意义的架构图。下面我想用一分钟来讲讲HADOOP到底是什么？HADOOP的英文大家都应该没有问题吧？HADOOP的核心就是两个部分，一个部分文件的存储系统，上面有一个处理器，它充分利用了很多文件的属性来进行运行计算，把结果汇总。这个是开源的，围绕着HADOOP大家想说，你要怎么样利用HADOOP，有一个很好的比喻，当初我们汇编语言就是一个篮子，大家说汇编语言只有专家可以掌握的，我怎么也可以编程呢？我们发明了高级语言，HADOOP上面做了一个支持脚本语，还支持怎样管理数据，所有的都是怎样包装低级语言，来访问底层的分布式计算技术。还可以连接到很多数据挖掘这些算法，把它变成固定计算，变成HADOOP的工作。还有一个工作流的支持，以及怎么样来分析一些日志文件。所有的都是开源提供的，这个家族每天都在看着数据的增长，这是一个很好很好的事情，会有无线的支持，大家根据对技术的激情和需要，每天都创造每个人都使用的技术是很健康的生态系统。我们微软把所有的开源系统在Windows上运行提供附加的价值，它可以连接到我们商业智能工具，这样就完成了整个端到端的无缝连接，对于以前的技术，现在很自然的把这个技术延伸到又可以利用HADOOP。我在讲演里面讲过，很简单的几件事什么样的技术趋势下产生了所谓的大数据这样流行的服务。然后大数据的定义是什么？处理的数据量大主要是数据的访问现在变成了数据价值的发觉，这才是大数据真正的含义，我们要从大量的数据中学到智慧，我们要对大数据进行管理，进行各种数据的分析和关联，最后发现洞察，微软的技术是怎样解决端到端的解决方案，使大家最小的一个障碍能够分享到这个技术，不要成为技术的负担者而是技术实惠的受用者。我这里有一些资源大家如果感兴趣也可以进去看，也可以联系我，谢谢大家！-主办方：企业网（D1N）- 企业IT网络通信 第1门户。 企业网D1Net是亚洲最大的专注于企业信息网络通信领域的媒体之一，在中国区，拥有企业会员约五百家，专业个人注册会员39万人，主要读者为政企用户及其信息主管、境内外运营商、厂商和渠道、集成商等。面向政企IT主管，提供：资讯类及采购指南，市场分析，商情，产品点评等内容。面向厂商，运营商，提供品牌和产品宣传服务：广告，热点专题报道，行业会展，行业分析/定制报告，技术型公关/媒体发布推送，数据库营销，企业传资料和内部刊物的设计制作等服务。 涵盖范围：云计算；数据中心；虚拟化；存储；数据通信；服务器；安全；UC协作；视频会议；视频监控；呼叫中心；IP语音；测试；移动办公；企业应用软件等。我们在中国区的另一家姐妹媒体为运营与增值D1Com:运营与增值（D1C）- 运营商及SP 第1门户。面向运营商及SP，提供资讯类服务。 云计算；移动互联网；增值业务；智能终端；物联网；数据通信；光通信；三网融合；3G；4G/LTE；运营支撑/计费； 测试；芯片；线缆；网优；NGB；NGN；PON, IMS；FMC；PTN; IPTV；原文链接： 版权所有：非特殊申明，均为本网站原创，转载请指明出处：企业网D1Net无线城市等