大数据分析解决方案5016137.docx

《大数据分析解决方案5016137.docx》由会员分享，可在线阅读，更多相关《大数据分析解决方案5016137.docx（82页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据分析的三个技巧 2013年01月08日09：03 来源：CIO时代网【文章摘要】大大数据的性质质是有他的三三个特点（数数据量大、种种类多、处理理速度快）决决定的，数据据分析的角色色和作用理所所当然是由大大数据的性质质决定的。当当数据分析作作用于大数据据时，大数据据必须身兼数数职。意思就就是数据分析析在一个组织织中扮演着多多种角色和担担负着多重责责任。数据分析的的职位是由DDJ Pattil和Jeff Hammeerbachher制定的的，他们试图图称呼数据组组的同事们，而而又不想因为为称呼而限制制他们的能力力。（beccause of immpropeer jobb titlle lik

2、ke bussinesss anallyst oor ressearchh scieentistt Buillding Data Sciennce Teeams）随着大数据据在驱动企业业成功中越来来越有决定性性作用，数据据分析也变得得越来越受欢欢迎。然而，一一些领导者对对数据分析扮扮演的角色和和它所起的作作用仍然不是是很了 解，就像很很多时候领导导者不知道怎怎么从大数据据中抽取有用用的信息，虽虽然很清楚的的知道这些大大数据是很可可信的。他们们的脚步落后后了他们们的眼光在大大数据的利用用上其 实是模糊的的。大数据的性性质是有他的的三个特点（数数据量大、种种类多、处理理速度快）决决定的，数据据分析

3、的角色色和作用理所所当然是由大大数据的性质质决定的。当当数据分析作作用于大数据据时，大数据据必须身兼数数职。意思就就是数据分析析在一个组织织中扮演着多多种角色和担担负着多重责责任。多种知识的的掌握为了解决数数据量大的问问题，大数据据平台（例如如：Apacche Haadoop、LexissNexiss HPPCC）要求数据据是被整理过过的。数据分分析员应该具具有大数据平平台应用的全全方位知识，这这样才能熟练练的应用数据据平台处理大大数据。数据据分析元应当当具有以下知知识：1、了解大大数据平台的的框架，例如如：DFS和MapReeduce，他他们的编程框框架提供强大大的应用程序序设计。这就就意味

4、着数据据分析员还要要有软件构筑筑和设计的能能力。2、精通大大数据平台支支持的编程语语言，例如：Java, Pythhon, CC+, oor ECLL, 等等。3、具有熟熟练的数据库库知识，特别别是用到SQQL语言的数数据库，像：HBasee, CouuchDB, 等等。因因为大数据平平台经常需要要数据库来存存储和转换数数据。4、具有数数学/统计学、机机器学习、数数据挖掘领域域的专业知识识。一个企业的的成功不是由由数据量决定定的，而是由由能否成功的的从大数据中中发现和抽取取有用的知识识模式和关系系决定的，然然后用这些有有价值的信息息创造出有价价值的产 品。统计学学、机器学习习和数据挖掘掘可以很

5、好的的用于理解数数据和发掘数数据的价值。自自然，为了成成功数据分析析者必须具备备这些领域的的专门知识。会会使用一些数数据挖掘工具具 或者平台（例例如：R, Excell, SPSSS andd SAS）是是最好的，可可以Topp Anallyticss and big ddata ssoftwaare toools这这本书。5、熟练应应用自然语言言处理的软件件或工具。大大数据的内容容大都来自于于文本文件、新新闻、社交媒媒体和报告、建建议书等等。因因此了解和掌掌握至少一种种自然语言处处理软件或工工具对于做一一个成功的分分析者起着决决定性的作用用。6、应用至至少一种数据据可视化工具具。为了更有有效

6、的演示数数据存在的模模式和关系，能能应用好数据据可视化工具具无疑是对数数据分析员的的一个加分。这这里有20款数据可可视化工具的的链接。创新好好奇随着数据变变化速度的加加快，经常也也会有新的发发现和问题出出现，数据分分析员应该对对那些变化敏敏感、对新发发现好奇，并并且找出应对对新问题的方方法。他/她也要热情情的及时相互互沟通，从新新问题中探索索新产品的思思路和解决方方案，成为产产品创新的驾驾驭者。商业技能首先，数据据分析员多元元化的性质决决定了数据分分析员要好很很强的沟通能能力，在企业业里数据分析析员必须和不不同的人沟通通，其中包括括：沟通和理理解业务需求求、应用程 序的要求、把把数据的模式式和

7、关系翻译译给市场部、产产品开发组和和公司高管看看。对于企业业来说有效的的沟通是及时时采取行动应应对大数据新新发现的关键键。数据分析析员应该是能能 联系所有，很很好的沟通者者。第二、数据据分析员要具具有良好的规规划和组织能能力。这样他他/她才能巧妙妙地处理多个个任务、树立立正确的优先先顺序、保证证按时完成任任务。第三，数据据分析员应该该具有说服力力、激情、和和演讲能力。才才能引导人们们基于数据的的发现做出正正确的决定，让让人们相信新新发现的价值值。数据分析析员在某种意意义上说是领领导者，驱动动产品创新。所有这些大数据据的性质决定定了数据分析析员该具备的的技巧和他们们在企业中扮扮演的角色。盘点大数

8、据分析析的十二大杀杀手锏分类：BIMapReeduce22011-111-19 13:122218人人阅读评论(0)收藏举报当数据以成百上上千TB不断增长长的时候，我我们需要一种种独特技术来来应对这种前前所未有的挑挑战。大数据分析迎来来大时代全球各行各业的的组织机构已已经意识到，最最准确的商务务决策来自于于事实，而不不是凭空臆想想。这也就意意味着，他们们需要在内部部交易系统的的历史信息之之外，采用基基于数据分析析的决策模型型和技术支持持。互联网点点击数据、传传感数据、日日志文件、具具有丰富地理理空间信息的的移动数据和和涉及网络的的各类评论，成成为了海量信信息的多种形形式。极具挑战性的是是，传统

9、的数数据库部署不不能处理数TTB数据，也也不能很好的的支持高级别别的数据分析析。在过去十十几年中，大大规模并行处处理（MPPP）平台和列列存储数据库库开启了新一一轮数据分析析史上的革命命。而且近年年来技术不断断发展，我们们开始看到，技技术升级带来来的已知架构构之间的界限限变得更加模模糊。更为重重要的是，开开始逐步出现现了处理半结结构化和非结结构化信息的的NoSQLL等平台。大数据分析迎来来大时代本文中，我们将将向大家介绍绍迄今为止，包包括EMC的Greennplum、Hadooop和MapReeduce等等提供大数据据分析的产品品。此外，惠惠普前段时间间收购实时分分析平台Veerticaa、I

10、BM独立的的基于DB22智能分析系系统和Nettezza的的相关产品。当当然，也有微微软的Parrallell Dataa Wareehousee、SAP旗下公公司Sybaase的Sybasse IQ数数据仓库分析析工具等。下下面，就让我我们来了解业业界大数据分分析的这十二二大产品：1.模块化EMMC Apppliancce处理多种种数据类型2010年EMMC收购了Greeenpluum，随后，利利用EMC自身存存储硬件和支支持复制与备备份功能的GGreenpplum大规规模并行处理理（MPP）数据据库，推出了了EMC GGreenpplum DData CComputting AApplia

11、ance (DCA)。通通过与SASS和MapR等合合作伙伴，DDCA扩大了了对Greeenplumm的数据库支支持 。支持大数据分析析的EMC Appliiance今年5月，EMMC推出了自自己的Haddoop软件件工具，而且且该公司还承承诺，今年秋秋季发布的模模块化DCAA将支持Greeenpluum SQLL/关系型数数据库，Haadoop部部署也能在同同样的设备上上得到支持。借借助Hadooop，EMC能够解解决诸如网络络点击数据、非非结构数据等等真正大数据据分析的困难难。模块化的的DCA也能够够在同样的设设备上支持长长期保留的高高容量的存储储模块，从而而满足监测需需求。2.Hadoo

12、op和MapReeduce提提炼大数据Hadoop是是一个开放源源码的分布式式数据处理系系统架构，主主要面向存储储和处理结构构化、半结构构化或非结构构化、真正意意义上的大数数据（通常成成百上千的TTB甚至PB级别数据据）应用。网网络点击和社社交媒体分析析应用，正在在极大地推动动应用需求。Hadoop提供的MapReduce（和其他一些环境）是处理大数据集理想解决方案。MapReduuce能将大大数据问题分分解成多个子子问题，将它它们分配到成成百上千个处理节点之之上，然后将将结果汇集到到一个小数据据集当中，从从而更容易分分析得出最后后的结果。MapReduuce结构图图Hadoop可可以运行在低

13、低成本的硬件件产品之上，通通过扩展可以以成为商业存存储和数据分分析的替代方方案。它已经经成为很多互互联网巨头，比比如AOL、eHarmmony（美美国在线约会会网站）、易易趣、Faccebookk、Twittter和Netfllix大数据据分析的主要要解决方案。也也有更多传统统的巨头公司司比如摩根大大通银行，也也正在考虑采采用这一解决决方案。3.惠普Verrtica电电子商务分析析今年二月被惠普普收购的Veerticaa，是能提供供高效数据存存储和快速查查询的列存储储数据库实时时分析平台。相相比传统的关关系数据库，更更低的维护和和运营成本，就就可以获得更更快速的部署署、运行和维维护。该数据据库

14、还支持大大规模并行处处理（MPPP）。在收购购之后，惠普普随即推出了了基于x866硬件的HP Vertiica。通过过MPP的扩展展性可以让VVerticca为高端数数字营销、电电子商务客户户（比如AOOL、Twittter、 Grouupon）分分析处理的数数据达到PBB级。惠普Vertiica实时分分析平台其实，早在惠普普收购之前，Vertica就推出有包括内存、闪存快速分析等一系列创新产品。它是首个新增Hadoop链接支持客户管理关系型数据的产品之一，也是首个基于云部署风险的产品平台之一。目前，Vertica支持惠普的云服务自动化解决方案。4.IBM提供供运维和分析析数据仓库去年，IBM

15、推推出了基于DDB2的Smartt Anallytic Systeem（图中左左侧），那么么它为何还要要收购另外的的Netezzza方案平平台呢？因为为前者是具备备高扩展性企企业数据仓库库的平台，可可以支持成千千上万的用户户和各类应用用操作。比如如，呼叫中心心通常拥有大大量的雇员需需要快速回拨拨客户的历史史通话记录。Smart Analytic System提供了整合信息的DB2数据库，预配置Cognos BI软件模块，可以在IBM Power System（RISC或者X86架构）上运行。Smart AAnalyttic Syystem及及NetezzzaNetezzaa致力于为数数字化营销

16、公公司、电信、和和其他挖掘成成百上千TBB甚至PB级别数据据的公司，提提供高可扩展展分析应用的的解决方案。IBM的Netezza TwinFin数据仓库设备，支持大规模并行处理，可以在一天时间内部署完毕。Netezza支持多种语言和方式进行数据库分析，其中包括Java、C、C+、Python和MapReduce。与此同时，它还支持如SAS，IBM SPSS使用的矩阵操作方法和R编程语言。IBM Netezza最近增加了一个高容量长期存档设备以满足更多要求。5.Infobbrightt减少DBA工作量量和查询时间间Infobriight列存存储数据库，旨旨在为数十TTB级别数据据提供各类分分析服

17、务。而而这一块也正正是甲骨文和和微软SQLL Servver的核心心市场之一。InfoBright还表示，建立在MySQL基础之上的数据库也提供了另外一种选择，它专门针对分析应用、低成本简化劳动力工作、交付高性能的服务进行设计。列存储数据库能能够自动创建建索引，而且且无需进行数数据分区和DDBA调整。相相比传统数据据库，它可以以减少90%的人工工作作量，而且由由 于其采用高高数据压缩，在在数据库许可可和存储等方方面的开支也也可以减少一一半。Knowleddge Grrid查询引引擎InfoBriight最新新的4.0版本产产品，新增了了一个DommainExxpert的的功能。企业业用户可以借

18、借此忽略不断断重复的那些些数据，比如如邮箱地址 、URL和IP地址。与与此同时，公公司还可以增增加与呼叫记记录、业务交交易或者地理理位置信息相相关的数据。Kowledge Grid查询引擎则可以帮助过滤那些静态数据而只关注那些变化的数据。也就是说，它可以帮助节省数据查询的时间，因为那些无关的数据无需进行解压缩和筛选。6.Kogniitio提供供三倍速度和和虚拟多维数数据集Kognitiio是一家本本身不生产硬硬件产品的数数据库厂商，它它看到了客户户对快速部署署的广泛兴趣趣和市场需求求，推出了在在惠普、IBBM硬件产品上预预配置有WX2数据库库的Lakees、Riverrs和Rapidds解决方

19、案案。Lakes能够够以低成本、10TB数据存储和每个模块48个运算核心提供大容量存储服务。电信或金融服务公司，可以使用这种配置来扫描大量的分支结构的各种信息记录。Rivers则提供了容量和速度之间的平衡，预配置为2.5TB存储容量，它的每个模块拥有48个运算核心。而追求查询性能的Rapids，其预配置提供有96个运算核心，每个模块仅仅为1.5TB。该产品方案主要针对金融公司在算法交易或者其他高性能要求方面的需求。Kognitiio基于内存存运算的数据据仓库和数据据分析今年， Koggnitioo新增了一个个虚拟化OLLAP风格的的Pabloo分析引擎。它它提供了灵活活的、为企业业用户进行分分

20、析的解决方方案。用户可可升级选用WWX2构建一一个虚拟多维维数据集。因因此，WX22数据库中任任何一个维度度的数据都可可在内存中用用于快速分析析。这种分析析的前端接口口是我们常见见的Micrrosoftt Exceel。7.微软SQLL Servver新增PDW功能今年年初微软发发布的SQLL Servver R22 Paraallel Data Warehhouse（PDW，并行行数据仓库），一一改以往SQQL Serrver部署署时间需要花花 费两年半时时间的历史，它它可以帮助客客户扩展部署署数百TB级别数据据的分析解决决方案。支持持这一产品的的包括有合作作伙伴惠普的的硬件平台。发发布之初

21、，虽虽然微软官网网提供有让利利折扣，但PPDW售价仍仍超过130000美元/TB（用户户和硬件访问问量）。SQL Serrver PPDW和很多产品一样样，PDW使用了了大规模并行行处理来支持持高扩展性，但但微软进入这这一市场实属属“姗姗来迟”，而且在一一定程度上说说，数据仓库库分析和内存存分析计算市市场落下了后后腿。目前，微微软寄希望于于其整体数据据库平台在市市场上带来的的差异化竞争争力。这意味味着，所有沿沿袭了基于微微软平台的数数据和数据管管理，将被广广泛应用在信信息集成领域域Repportinng andd Anallysis Serviices，而而这一切都基基于SQL Serveer

22、数据库。微软在今年100月12日通过推推出Apacche Haadoop和和相关的SQQL Azuure Haadoop服服务，宣布进进入大数据领领域。Azuure服务将将在20111年底亮相，而而相应的本地地配套软件要要在明年上半半年推出，现现在也不清楚楚微软是否会会与其他硬件件合作伙伴或或者相关大数数据设备厂商商合作。8.甲骨文讲述述Enginneeredd Systtems的故故事甲骨文表示，EExadatta（图中左左侧）是迄今今以来发布的的产品中最为为成功的产品品，自从20008年推出出以来，已经经拥有超过11000名客客户。而enngineeered ssystemm使得甲骨文文1

23、1g数据库库，可以支持持基于X866的数据处理理和磁盘存储储层，其闪存存缓存也使得得可以实现超超快速查询处处理。它既可应用在任任意事务环境境中，也可以以应用在数据据仓库（但不不能同时进行行）。Exaadata的的混合柱状压压缩能够实现现列存储数据据库的某些高高效率特点，提提供高达100:1的压缩缩比，而大部部分行存储数数据库的平均均压缩比为44:1。甲骨文在9月通通过宣布Orracle SuperrClustter（图中中右侧），扩扩展了enggineerred syystemss产品家族。它它采用了最新新的Sun Sparcc T-4芯芯片。SupperCluuster支支持全机架/半机架配

24、置置，而且用户户可以在半机机架容量基础础上进行扩容容。满额配置置提供有12200个CPU线程，4TBB内存，97TTB至198TBB磁盘存储，88.66TBB闪存。甲骨文大数据分分析系统设施施甲骨文声称，SSuperCClusteer事务处理理和数据仓库库性能相比传传统服务器架架构能分别带带来10倍和50倍速度提提升。但作为为一个专有的的Unix机器器，甲骨文想想通过SupperCluuster，在在面向x866硬件的数据据仓库部署迁迁移大潮中力力挽狂澜。甲甲骨文的Exxadataa和Exaloogic都基基于x86架构而而且运行Liinux系统统。在十月召开的OOraclee OpennWo

25、rldd中，甲骨文文宣布将新增增一个分布式式pachee Hadooop软件和和相关的大数数据设备。甲甲骨文也计划划推出一个独独立的基于开开源BerkkeleyDDB产品的NoSSQL。9.ParAcccel大打打列存储、MMPP和数据据库分析组合合拳ParAcceel是ParAcccel AAnalyttic Daatabasse（PADB）的的开发厂商提供快速速、选择性查查询和列存储储数据库，并并基于大规模模并行处理优优势特点的产产品。该公式式表示，其平平台支持一系系列针对各种种复杂、先进进应用的工作作负载报告和和分析。ParAcceel大数据解解决方案内置的分析算法法可以为分析析师提供高

26、级数数学运算、数数据统计、和和数据挖掘等等各种功能，同同时，它还提提供一个开放放的API，可以以扩展数据库库的各种数据据处理能力和和第三方分析析应用。Table ffunctiions被用用来传送和接接收第三方和和采用C、C+等编写写的定制算法法的数据结果果。ParAAccel与与Fuzzyy Logiix一家家提供各种描描述统计学、统统计实验模拟拟和模式识别别功能库功能能的服务商。此此外， Taable ffunctiions还支支持MapRReducee和广泛应用用在金融服务务的700多种分分析技术。10.Sybaase推进IQ列存储数数据库SAP旗下的SSybasee是列存储数数据库管理

27、系系统的首批厂厂商，而且目目前仍然是拥拥有20000多个客户的的畅销厂商。今今年夏天推出出了Sybaase IQQ 15.33版本，该版版本产品能够够处理更多数数据和更多数数据类型，也也能胜任更多多查询，当然然这主要得益益于其包含了了一个名叫PPlexQ 的大规模并并行处理功能能。基于MPP大规规模并行处理理的PlexxQ分布式查查询平台，通通过将任务分分散到网格配配置中的多台台计算机，加加速了高度复复杂的查询。有有报道说，它它能提供比现现有的IQ部署快12倍的交付付能力。Sybase IQ为了支持不同的的分析，155.3版本的的产品增加了了分布式处理理功能，来执执行PlexxQ网格中跨跨CP

28、U的查询询服务。为了了确保实现最最快速度的查查询，PleexQ包含了了一个逻辑服服务器让管理员员对PlexxQ网格的物物理服务器组组成虚拟群集集，以便优化化分析工作负负载、用户需需求和应用程程序。Sybase IQ和其他他大多数的支支持MPP功能的的产品之间区区别主要在于于，它采用了了全共享的方方式。全共享享的缺点是CCPU会争相相访问共享存存储（通常是是SAN），而而这会降低查查询性能。不不过Sybaase坚持认认为，从优化化查询的角度度来说全共享会会更加灵活，因因为所有的CCPU 都会会访问所有的的数据。所以以，我们可以以对某个特定定的查询尽可可能多（或者者少）地分配配计算资源。11.Te

29、raadata从从EDWs跨入入大规模分析析领域一旦成为企业级级数据仓库（EDW）的宣传者，近年来Teradata就已经放松了扩展Teradata数据库产品家族的步伐。该公司的高性能、高容量产品被广泛采用和复制，因为其中包括了很多企业工作量管理的功能模块，包括虚拟OLAP（三维立体式）分析模型 。Teradatta在数据库库分析领域不不断推陈出新新，但在结构构化数据、半半结构化数据据和大部分非非结构化数据据领域几乎没没有很大成果果。这也就是是为什么该公公司要收购AAster Data一家提供供SQL-MMapRedduce框架架的公司。MMapRedduce处理理拥有广泛的的市场需求，因因为存

30、在着大大量的互联网网点击数据、传传感数据和社社交媒体内容容。Teradatta平台产品品家族Teradatta日前宣布布了一项Asster DData MMapRedduce产品品的计划，它它建立在以往往产品同样的的硬件平台之之上，而且在在Teraddata和Asterr Dataa之间新增了了两种集成方方法。通过收收购，Terradataa打破了在数数据仓储业被被认为最广泛泛、最具扩展展性的界限。12.10100data提提供基于云计计算大数据分分析正如标题所说，1010data能够提供基于云计算的大数据分析平台。很大数据库平台供应商提供基于云的沙箱测试和开发环境， 但1010data的管理

31、数据库服务，主要针对将整个工作负载迁移到云的全过程。该服务支持一种种提供“丰富而又高高级的内置分分析功能”，其中包括括有预测分析析。其一大卖卖点是服务包包括了数据建建模和设计、信信息集成和数数据转换。1010datta提供基于于云计算大数据据分析其客户包括有对对冲基金、全全球各大银行行、证券交易易商，零售商商和包装消费费品公司。何谓大数据？大数据，也就是是国外常说的的Big DData。IBM把大数数据概括成了了三个V，即大量化化（Voluume）、多多样化（Vaarietyy）和快速化化（Veloocity）。这这些特点也反反映了大数据据所潜藏的价价值（Vallue），我我们也可以认认为，四

32、个VV高度概括了了大数据的基基本特征。业界比较一致对对大数据的定定义是：大数数据是指无法法在一定时间间内用常规软软件工具对其其内容进行抓抓取、管理和和处理的数据据集合。大数据时代 分分析技术如何何进化2012-066-19 007:30比比特网袁斌关键字：FICCO大数据费埃哲当你在应用用信用卡进行行交易时，你你可能没有意意识到，这笔笔交易是否成成功，是由费费埃哲(FIICO)公司司的产品在后后台进行智能能判断和监测测的。目前，费埃哲公司的Falcon解决方案在帮助客户监控全球2/3的信用卡交易，并从中辨别欺诈活动。显然，这是一个非常典型的大数据应用银行每天的信用卡交易数都是一个天文数字，如何

33、有效处理和鉴别这些数据，帮助企业做出正确的决策？在非结构化数据汹涌增加的今天，费埃哲公司又是如何判断大数据时代的分析技术进展？日前，比特网记者采访了费埃哲(FICO)公司首席执行官Will Lansing先生。费埃哲（FICCO）公司首首席执行官WWill LLansinng先生问：大数据据对软件和硬硬件都有非常常强的挑战，所所以现在业界界有一种趋势势，要做软硬硬件结合，以以更紧密的一一体机形式来来提供分析服服务。最典型型的产品，例例如甲骨文公司的的 Exallyticss系统。那么么，您是如何何看待这一趋趋势？费埃哲哲公司会如何何更好地与硬硬件进行优化化整合？答：这是一一个非常好的的问题。就

34、费费埃哲公司而而言，基础架架构并不是我我们的专长，所所以我们要和和我们的客户户去合作。目目前，我们有有一些合作方方式是基于SSaaS的，也也有一些是基基于其它各类类解决方案的的。费埃哲公公司并不强制制客户使用某某种特定的基基础架构来运运行我们的应应用、捕捉应应用数据，而而是在客户现现有的基础架架构运营优化化、进行合作作。实际上，费费埃哲公司也也在和一些实实验室合作，例例如Clouudera，借借此来拓展我我们的能力，消消除我们(对硬件基础础设施在理解解上)的局限性。问：在大数数据的分析方方面，数学模模型非常重要要。我们知道道，费埃哲公公司在金融领领域有很深的的积累。那么么，这种积累累如何推广到

35、到其他行业？答：费埃哲哲公司在垂直直行业已经有有很长时间的的积累了，这这也是我们能能够将业务拓拓展到非金融融行业的一大大原因。我们们公司非常擅擅长分析一些些复杂、困难难的问题，这这些分析技巧巧不仅适用于于金融行业，也也适用于其他他多个行业。例例如，我们对对于客户行为为的了解，就就不局限于金金融行业，还还包括保险行行业和零售行行业。在保险险行业当中，某某些欺诈的行行为和在银行行业当中的信信用卡欺诈的的用户行为是是非常类似的的。而在营销销解决方案方方面，很多零零售行业的客客户行为和银银行客户的行行为也非常近近似。所以，我我们在金融行行业的客户管管理经验，也也可以应用到到零售行业。以费埃哲公公司在中

36、国的的业务发展为为例，银行业业务是最传统的领域域。但从一年年前开始，费费埃哲就开始始把我们成熟熟的技术推向向保险领域，协协助保险公司司做理赔的反反欺诈。尽管管保险行业的的业务特点跟跟银行不太一一样，但我们们的技术是同同样适用的，而而且我们在国国外的保险行行业也有所积积累。因此，费费埃哲在国内内的保险理赔赔反欺诈的案案例就非常成成功客户回访访时，他们表表示，现在能能够通过数据据分析，实时时抓住大批量量的理赔欺诈诈。问：我们也也注意到，您您提到了信用用卡反欺诈这这个大数据应应用。但相对对而言，这都都是针对结构构化数据的，针针对邮件、文文本这些非结结构化的数据据，费埃哲公公司将采用哪哪些解决方案案去

37、处理？答：大数据据的定义当中中，包括3个V(高容量、高高速度、多类类型)。虽然费埃埃哲的信用卡卡反欺诈解决决方案只是针针对结构化数数据，但我们们已经能够处处理大容量数数据和高速的的数据。到目目前为止，我我们还是采用用相对传统的的方式，将数数据简化到一一个智能的、可可操作的层面面，然后基于于这些数据来来做出快速决决策。尽管我我们现在只能能做到这三个个V当中的两个个，但我们非非常接近完美美地来解决这这个问题的。随随着基础架构构不断的完善善和演进，费费埃哲的解决决方案也会发发生变化。问：在数据据爆发的时代代，我们进行行数据分析的的方式需要改改变吗？答：我们关关于大数据的的绝大多数讨讨论都集中在在数据

38、的规模模，并没有相相应关注在数数据分析方式式的改变。 “数据流”的分析对于于FICO并不不陌生，其中中最好的应用用莫过于我们们的反欺诈解解决方案FICO Falcoon Fraaud Maanagerr。Falcoon模型依靠靠交易特征，它它概括了数据据在交易过程程中的特征，以以便计算相关关的欺诈特点点的变量，而而不依赖由此此生成的既有有数据。我们在数据据流特征分析析领域不断推推动创新，尤尤其在反欺诈诈领域。这些些创新技术包包括：全球智智能特征识别别技术。它可可以自动发现现银行卡交易易、ATM和商户户交易中的不不正常行为。再再比如FICCO公司开发发的自我校正正分析技术，它它可以随着客客户行为

39、模式式的改变，服服务渠道的改改变而改善侦侦测的准确性性。另一个由由大数据带来来的变化是分分析必须减少少对于固有数数据的依赖。分分析模型将能能够根据数据据流中的动态态数据自我调调整。为了应应对不断增加加的数据流中中的动态数据据，我们集中中研发了自我我学习的一些些技术，包括括：自适应分分析和自我矫矫正分析技术术。我们坚信信这些关键技技术将弥补传传统方式的不不足。自学习习技术甚至将将可能在某些些领域取代传传统的模式。最近，我们们在自己开发发的自我校正正分析技术上上取得了重大大进展。已申申请专利的“多层自我校校正分析技术术”的体系结构构与神经网络络模式类似，但但与之不同的的是新模式可可以在数据流流中自

40、我校正正。使用多层层自我校正模模式将需要更更少的数据采采样，并且可可以直接与自自适应分析技技术联合使用用，可以更为为动态地发现现欺诈。将“多层自我校校对系统”与目前通用用的技术相比比，我们预见见未来的分析析技术将大幅幅提高。问：更进一一步地说，现现在的大数据据分析，都是是数据进行筛筛选、过滤到到数据仓库当当中，然后进进行分析。随随着硬件设备备在性能和容容量上不断提提升，还有必必要对传统分分析技术进行行大规模改进进吗？答：今天的的大数据分析析情况确实如如你所说的这这样。但我相相信，在不远远的将来，我我们会需要直直接对大数据据进行分析。这这种分析可能能有两种方式式：一种是随随着数据集的的不断增加，

41、我我们需要重新新建模在数据集不断断增加的情况况下，可能需需要考虑应用用Hadooop技术进行行存储，否则我我们就没有容容量足够大的的存储空间;另一种方式式则是采用基基于机器学习习的方法，来来进行大数据据的处理和分分析。至于硬件的的性能，也许许现在还不是是问题，但当当我们考虑所所有数据，并并从中找出最最有价值的地地方时，用现现有的基础架架构就会显得得远远不够。例例如，今天的的银行客户，他他们已经知道道，未来他们们的数据是分分散的、遍布布各地的，可可能在银行内内部，可能在在局域网或者在在云里面，他他们希望这些些数据都能够够被读取，都都对数据进行行分析。显然然，这是今天天的架构无法法完成的，这这需要

42、将来才才可以实现。问：那么，您您认为机器学学习和传统模模型这两种数数据分析方式式，哪种更有有发展前途？答：大数据据的最终目标标就是利用各各种数据来做做出最好的决决策。大数据据最美的地方，就就是我们不再再受数据容量的的局限，它可可以不断的增增加一些变量量，然后增加加价值，帮助助我们做出更更好的决策。如如你所提到的的，现在我们们有两种模型型，一种是基基于假设的模模型，例如前前几年麦肯锡锡提出来的假假设模型，说说我们要关注注哪些高价值值数据，关注注相关领域的的数据，关注注那些能够提提升效率的数数据。另一种模型型就是一种不不是基于假设设的模型，确确切地说，是是一种机器学学习的模型。这这种模型跟假假设模

43、型完全全不同。我并并不认为这两两种模型可以以相互替代。从从长期来看，一一定会有更多多的数据需要要我们去关注注。对大数据据来说，它能能够不断的增增加变量，帮帮助我们基于于这些数据做做出更好的决决策，这是它它特别有优势势的一个地方方。我个人认认为，在比较较长的一段时时间之后，机机器学习的这这种方式，有有可能会取代代假设的这种种模型。问：在金融融领域的机器器学习应该具具有什么特性性？答：以小额额贷款的机器器学习为例，这这需要非常快速观察察和衡量，能能够迅速发现现坏帐，这样样才能够快速速学习、调整整。尽管目前前也有一些公公司推出了所所谓的机器学学习，但这是是非常有局限限性的，主要要是用于展示示，展示出

44、新新科技所带来来的可能性，并并告诉客户这这个新科技可可以不断完善善，并且最终终能够降低风风险。技术基础：大数数据分析技术术的发展ZDNet 存存储系统 来源： 赛迪网 20122年05月16日 评论(0)关键词： 大数数据 MappReducce Gooogle本文摘要大数据分析技术术最初起源于于互联网行业业。网页存档档、用户点击击、商品信息息、用户关系系等数据形成成了持续增长长的海量数据据集。这些大大数据中蕴藏藏着大量可以以用于增强用用户体验、提提高服务质量量和开发新型型应用的知识识，而如何高高效和准确的的发现这些知知识就基本决决定了各大互互联网公司在在激烈竞争环环境中的位置置。首先，以以G

45、ooglle为首的技技术型互联网网公司提出了了MapReeduce的的技术框架，利利用廉价的PPC服务器集集群，大规模模并发处理批批量事务。大数据分析技术术最初起源于于互联网行业业。网页存档档、用户点击击、商品信息息、用户关系系等数据形成成了持续增长长的海量数据据集。这些大大数据中蕴藏藏着大量可以以用于增强用用户体验、提提高服务质量量和开发新型型应用的知识识，而如何高高效和准确的的发现这些知知识就基本决决定了各大互互联网公司在在激烈竞争环环境中的位置置。首先，以以Googlle为首的技技术型互联网网公司提出了了MapReeduce的的技术框架，利利用廉价的PPC服务器集集群，大规模模并发处理批

46、批量事务。利用文件系统存存放非结构化化数据，加上上完善的备份份和容灾策略，这这套经济实惠惠的大数据解解决方案与之之前昂贵的企企业小型机集集群+商业数据库库方案相比，不不仅没有丢失失性能，而且且还赢在了可可扩展性上。之之前，我们在在设计一个数数据中心解决决方案的前期期，就要考虑虑到方案实施施后的可扩展展性。通常的的方法是预估估今后一段时时期内的业务务量和数据量量，加入多余余的计算单元元（CPU）和存存储，以备不不时只需。这样的方式直接接导致了前期期一次性投资资的巨大，并并且即使这样样也依然无法法保证计算需需求和存储超超出设计量时时的系统性能能。而一旦需需要扩容，问问题就会接踵踵而来。首先先是商业

47、并行行数据库通常常需要各节点点物理同构，也也就是具有近近似的计算和和存储能力。而而随着硬件的的更新，我们们通常加入的的新硬件都会会强于已有的的硬件。这样样，旧硬件就就成为了系统统的瓶颈。为为了保证系统统性能，我们们不得不把旧旧硬件逐步替替换掉，经济济成本损失巨巨大。其次，即即使是当前最最强的商业并并行数据库，其其所能管理的的数据节点也也只是在几十十或上百这个个数量级，这这主要是由于于架构上的设设计问题，所所以其可扩展展性必然有限限。而MapRedduce+GGFS框架，不不受上述问题题的困扰。需需要扩容了，只只需增加个机机柜，加入适适当的计算单单元和存储，集集群系统会自自动分配和调调度这些资源

48、源，丝毫不影影响现有系统统的运行。如如今，我们用用得更多的是是Googlle MappReducce的开源实实现，即Haadoop。除除了计算模型型的发展，与与此同时，人人们也在关注注着数据存储储模型。传统统的关系型数数据库由于其其规范的设计计、友好的查查询语言、高高效的数据处处理在线事务务的能力，长长时间地占据据了市场的主主导地位。然而，其严格的的设计定式、为为保证强一致致性而放弃性性能、可扩展展性差等问题题在大数据分分析中被逐渐渐暴露。随之之而来，NooSQL数据据存储模型开开始风行。NNoSQL，也也有人理解为为Not OOnly SSQL，并不不是一种特定定的数据存储储模型，它是是一类非关系系型数据库的的统称。其特特点是：没有有固定的数据据表模式、可可以分布式和和水平扩展。NoSQL并不是单纯的反对关系型数据库，而是针对其缺点的一种补充和扩展。典型的No