阿里巴巴大数据实践ppt课件.pptx

《阿里巴巴大数据实践ppt课件.pptx》由会员分享，可在线阅读，更多相关《阿里巴巴大数据实践ppt课件.pptx（32页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的几个问题 本质、目标、核心、挑战 阿里巴巴大数据实践 大数据路径 典型应用示例我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的几个问题 本质、目标、核心、挑战 阿里云的大数据实践 大数据路径 典型应用示例我吓了一跳，蝎子

2、是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的本质在于数据数据都在线、可以都在线、可以共享共享大数据不仅仅在于大，欧洲对撞实验室做一次碰撞的数据产生的数据非常大今天的数据不是大，数据都在线成为互联网的特点我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的本质在于数据数据都在线、可以都在线、可以共享共享在线远远比“大”更反映本质，写在磁带、写在纸上的数据，远没有在线数据有价值淘宝数据：反映了商品属性、交易、仓储、物流等

3、，对于做金融、物流、仓储和个性化制造带来巨大的变化我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的本质在于数据数据都在线、可以都在线、可以共享共享在线让数据收集变得很容易比如：美国总统选举预测历史上都是采用：盖洛普调查现在利用在twitter上分析每个人发的东西，都可以直接分析我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的目标在于做以前做不到的事情，而不在于改进现做以前做不到的事情，而不在于改进现有

4、业务有业务数据真正了不起的地方，是靠小的成本，去产生有价值的东西今天的银行都不会说靠大数据做起来的公司。银行靠什么处理数据：IOE。处理数据产生的价值，可能都无法抹平处理数据的成本。我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的目标在于做以前做不到的事情，而不在于改进现做以前做不到的事情，而不在于改进现有业务有业务亚马逊通过访问数据分析做成了全球做好的推荐业务，这可以算是大数据的早期应用阿里金融做小贷的事情，恰恰是银行做不了的。银行做信用评级的成本极高，银行不做小的贷款。阿里金融每天贷10块钱，

5、100块钱的人也很多我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的核心在于建立数据之间建立数据之间的的整合和关联分析整合和关联分析Google的搜索：一个关键字就能够把我们想得到的文档通过列表的形式给展示出来淘宝的销售、物流、仓储和制造我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的挑战在于有了大数据，你能不能及时、正确的算有了大数据，你能不能及时、正确的算出来出来 PB级的数据，流式数据和多种数据

6、的融合需要在一定的时间内（小时、天等）完成，成本可控1.数千台集群、多个任务的同时分布处理2.流式计算和支持任意维度分析的即时计算3.分布式的大规模数据的存储我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 大数据的几个问题 本质、目标、核心、挑战 阿里巴巴大数据实践 大数据路径 典型应用示例我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物飞天：分布式云计算平台去IOE数据交换平台：DXP数据管理平台：DMP我吓了一跳，

7、蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物为什么要做飞天操作系统 集团内部业务需求 每天集团内部每天需要跑60万个任务，近300万次请求，无法购买到满足需求的平台 淘宝上有70万ISV，与阿里巴巴一起构成了一个大生态圈，需要云计算平台来助力生态圈的构建 成本因素 需要采用低成本PC级服务器 未来发展需求 我们自己希望成为一家数据公司，做数据最基本的需求就是要能够处理PB级的数据能力，否则很难有新的业务突破我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没

8、有错：表里边有一个活的生物Linux Clusters飞天大规模分布式计算系统ACEECS/SLBOSSOTSRDSODPS地图、邮箱、搜索、CNZZ第三方服务与应用淘宝、天猫、支付宝、阿里金融、数据平台、云OS弹性计算存储与数据库大规模数据计算Stream我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物飞天：将几千台PC构成一台“超级计算机”存储：一块100PB级别的硬盘100个人从生到死每一秒钟的所听所见计算：一台10万核以上的机器一个月的渲染作业只需5分钟完成多租户的运行环境资源共享安全隔离故障屏蔽，

9、数据冗余服务“永远”不中断数据“永远”不丢失我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物同一个平台支持离线和在线应用 搜索：240亿网页的离线处理，130亿网页的在线查询 邮箱：日处理邮件亿量级，日发送邮件千万量级，10毫秒级别访问延时规模：单集群5000台服务器，10-100K CPU核，10-100PB存储空间高可用系统架构：服务可用性达到99.9%以上所有数据持久保留3个复本，数据可靠性达到10个9以上更加灵活的离线作业框架，比MapReduce快30%100TB 排序（TeraSort）时间30

10、分钟 已知世界最好成绩：71分钟（Yahoo，2013年7月3日）我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物聚石塔内天猫商家数2万家，累计处理天猫订单1400万单左右，约占天猫订单的23.86%数据推送漏单率为零，聚石塔本身0故障。订单下载效率比未入塔应用快3倍以上（按照服务商给出的对比）帮助最高单一商家处理订单数65万（南极人），日订单数过10万单的商家有12家。当天帮助商家成功阻挡24次异常攻击，事先帮助600商家做弹性升级，双11当天帮助5家线下商家（因为线下系统崩溃）紧急上聚石塔。聚石塔：电商

11、云工作平台我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物小型机数据库存储服务器国内外大部分企业IT基础设施的标配我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物集中式的严重制约 IDC稳定性(一个服务器出现问题影响一大片) 跨灾切换(oracle切换慢,阿里受不了这样的速度) 快速扩容(IOE体系无法满足双11快速扩容的需求)技术面临失控,创新潜力受限 黑盒技术,只能依靠厂商解决问题,响应无法保证;另外,由于阿里并发强

12、度全球范围罕见,厂商无法提供现成方案,都需要临时定制开发,响应更慢; 黑盒技术大大压制了工程师的聪明才智;专用设备规模化场景下诸多限制 专用机架/专用电源/ 无法满足快速扩容需要成本我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物通用服务器置换小型机要需要考虑多冗余，高扩容MySQL置换Oracle考虑异构数据同步，数据的无缝迁移通用服务器置换专有存储设备需要考虑数据一致性，高可靠问题对于庞大的通用服务器集群考虑规模运营的问题我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是

13、我也感到愉快，证实我的猜测没有错：表里边有一个活的生物“海陆空“立体作战 IBM小型机 通用PC服务器集群、弹性计算 Oracle数据库 MySQL，OceanBase分布式数据库，RDS EMC存储 TFS 小文件存储、Tair 弹性缓存 业务逻辑适配分布式架构2013年5月17日，阿里巴巴最后一台小型机下线 成本大幅度降低，性能提升25倍 灵活可靠的自动化运维平台 工程师对核心技术的理解和掌握 输出”去IOE”技术，推动行业共同进步我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物DXP平台数据交换平台商

14、家淘宝信用天猫金融物流一淘聚划算阿里云CNZZ支付宝新浪微博友盟企业研究公司金融机构大学开发者我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物近30万家企业超过1000万笔贷款累积发放贷款近900亿纯信用贷款全程无人工介入坏账率0.3%阿里

15、巴巴+淘宝+支付宝的数据大规模数据处理能力阿里金融前端业务创新我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物建立下一代的基础设施-中国智能物流骨干网(CSN)通过实时计算、大规模数据处理以及数据挖掘等技术帮助物流公司智能规划配送网点优化配送路线规划仓储建设合并路线预警爆仓等预计支撑日均300亿元网络零售额，并确保全国范围24小时内送达我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物350亿药品数据每天处理近7亿次读写关

16、键业务处理平均延时从60分钟降到2.7秒我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物CNZZ收集到全网用户1/3的访问网页行为日志，结合全网240亿网页和淘宝电商类别数据，综合分析得到互联网3亿用户的兴趣应用场景举例1. 判断网站内容是否符合用户兴趣2. 判断广告投放是否符合用户兴趣我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物 通过对比某视频网站内用户访问资源的比例和全网用户访问视频资源的比例，发现： 全网视频用

17、户63%看电视剧，而网站用户只有32%看电视剧 全网视频用户24%看电影，而网站用户有50%看电影类别某视频网站全网视频电视剧32%63%电影50%24%动漫8%14%综艺5%9%说明该网站电视剧内容对用户的需求满足不够该网站的电影内容对用户的需求满足较好用户比例对比表我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物进一步，通过对比某视频网站热门电视剧排行和全网用户访问视频电视剧排行，发现： 全网热门视频在该视频网站中并没有得到展现排名某视频网站全网视频1笑傲江湖 樱桃红2隋唐英雄第22条军规3终极一班2贤

18、妻4隋唐演义乡村爱情变奏曲5楚汉传奇行尸走肉第三季热门电视剧排行榜说明需要补充全网热门电视剧资源需要调整运营的方向我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物通过对比某网站用户的全网商业兴趣类目与该网站广告类目的分布，发现 用户的娱乐、IT、生活日用品等兴趣并没有相应的广告覆盖 投放的机动车广告，实际感兴趣的用户并不多类目用户兴趣分布广告投放分布娱乐24.31%游戏17.95%60%IT16.11%生活日用品7.95%教育3.87%体育2.33%机动车1.42%40%金融保险1.40%房地产1.19%食品饮料1.13%说明：该网站有潜在的巨大广告市场未被发现该网站需要多吸引对机动车感兴趣的用户，才能使这类广告的收益提升我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物谢谢！