《大数据时代》.ppt

大数据时代生活、工作与思维的大变革 英维克托 迈尔-舍恩伯格 肯尼思 库克耶译者：盛劳燕 周涛出版：浙江人民出版社大数据时代 之拥抱大数据时代读书笔记制作：天天向Qian前身 处大数据时代！我们已经处在大数据时代，可能还浑然不知事件一：变革公共卫生事件2009年，H1N1流感预测对手谷歌疾控中心武器分析搜索记录医院报告结果谷哥提前两周得到结果与官方数据相关性达97%维克托教授将带我们一窥大数据时代的全景事件二：变革商业事件机票价格预测人物埃齐奥尼的Farecast系统武器分析大量价格记录结果票价预测准确度达75%平均每张机票节省50美元时间就是生命！省钱是硬道理！大数据时代 之拥抱处理数据理念的思维变革挖掘数据价值的商业变革面对数据风险的管理变革维克托教授认为大数据时代要关注：3大重要变革010102020303大数据还是改变市场、组织机构，以及政府与公民关系的方法大数据是人们获得新的认知、创造新的价值的源泉大数据时代读书笔记制作：天天向Qian前大数据时代 之拥抱首先就要转变处理数据的理念处理数据理念的思维变革0101云计算能便宜、有效、高速地的对信息存储、分享和挖掘采样分析是信息缺乏时代和信息流通受限制时代的产物大数据时代读书笔记制作：天天向Qian前大数据时代 的思维变革01更多而是全体数据不是随机样本大数据时代收集与分析全体数据是可行和便宜的小数据时代受制于技术只能收集与分析随机样本大数据是指不用随机分析法这样的捷径，而是采用所有数据的方法。大数据中的“大”非绝对意义的大，指全体数据，有时并非真的“大”。穿孔卡片与美国人口普查大数据与乔布斯的癌症治疗Xoom与跨境汇款异常交易报警巴拉巴西与第一次全社会层面的网络分析本章的例子大数据时代读书笔记制作：天天向Qian前大数据时代 的思维变革02更杂而 是 混 杂 性不 是 精 确 性大数据时代追求大量数据，允许不精确的数据小数据时代因信息量少，对数据精确性更苛刻随着数据量的增加，数据错误率也增加，格式也存在不一致只有5%的数据是结构化且适用传统统计方法，95%的数据是非结构化。只有接受不精确性才能利用这些大量的数据。微软与语料库数据添加无所不包的谷歌翻译系统IBM Candidate计算机翻译项目英国石油公司与无线感应器麻省理工与通货紧缩预测软件Hadoop 与VISA的13分钟大数据时代读书笔记制作：天天向Qian前本章的例子大数据时代 的思维变革03更好而是相关关系不是因果关系大数据时代相关关系大放异彩小数据时代相关关系是有用的大数据的核心：建立在相关关系分析基础上的预测。相关关系是：A与B经常一起发生。只要注意到B发生，就能预测A的发生。沃尔玛把蛋挞与飓风用品摆一起FICO能预测个人的行为UPS与汽车修理预测大数据预测早产儿病情美国折扣零售商塔吉特与怀孕预测幸福感的非线性关系二手车质量预测纽约大型沙井盖爆炸预测大数据时代读书笔记制作：天天向Qian前本章的例子大数据时代 之拥抱其次就要转变数据价值的获取方式挖掘数据价值的商业变革0202大数据时代的重要价值在数据深挖掘数据的价值来源于万物数据化和数据交叉复用大数据时代读书笔记制作：天天向Qian前大数据时代 的商业变革01数据化数据交叉复用一切皆可量化变革的基础一切事物都可量化，变为数据变革的重点由T（技术）转变到I（信息）上数字化：模拟数据转换成用“0”和“1”表示的二进制码。例：书页的扫描，无法检索内容数据化：把一种现象转换为可制表分析的量化形式的过程。例：书变成数据化文本，可检索大数据时代读书笔记制作：天天向Qian前本章的例子日本的坐姿研究与汽车防盗系统多效地理定位与UPS的最佳行车路径谷歌的数字图书馆Foursquare，让用户推荐喜爱的地方用 数据预测疾病传播和城市繁荣用微博数据预测股市投资时机睡眠活动数据库与睡眠模式预测GPS感应器，判断环境因素对哮喘病的影响大数据时代 的商业变革02价值之不竭的创新取之不尽，用真实价值隐藏在冰山之下数据价值不会随使用次数而减少，可以重复挖掘大数据时代读书笔记制作：天天向Qian前本章的例子数据的潜在价值主要通过前3种方式释放：0 1.数 据 再 利 用 0 2.重 组 数 据 0 3.可 扩 展 数 据04 .数据的折旧值 05.数据废气 06开放数据IBM，电动汽车动力与电力供应系统优化预测Hitwise，通过流量判断消费者喜好巴诺与NOOK快照亚马逊，让数据的价值再大一点在线教育课程，找到最合适阅读的帖子移动运营商与数据再利用Facebook，估价从66亿到1040亿谷歌街景与GPS采集大数据时代 的商业变革03角色定位思维的三足鼎立数 据、技 术 与大数据时代读书笔记制作：天天向Qian前本章的例子大数据价值链中主要存在三种公司：01基于数据本身的公司 02基于技能的公司 03基于思维的公司ITA software与数据授权微软研究中心与再入院率分析VISA&MasterCard与商户推荐埃森哲与无线传感监测系统FlightCaster的大数据思维数据中间商，交通数据处理公司Inrix与电影票房预测苹果，挖出“潜在”的数据价值大数据早期价值来自思维和技术大数据中后期价值必须从数据本身中挖掘大数据时代 之拥抱最后就要转变数据风险的应对方式面对数据风险的管理变革0303需要新的规章制度应对大数据时代的各种隐忧危险不再是隐私的泄露，而是被预知的可能性大数据时代读书笔记制作：天天向Qian前大数据时代 的管理变革01风险一 切 的 隐 忧让 数 据 主 宰大数据时代读书笔记制作：天天向Qian前应用得当大数据是合理决策的有力武器应用不当会变成损害民众利益的工具大数据时代，告知与许可、模糊化和匿名化三大隐私保护策略都失效！挣脱大数据的困境，是大数据时代人类共同的战争！面临的风险我们的生活处处受到监视人们可能因为将做而受惩罚我们的隐私被二次利用可怕的数据独裁想象中“苍井老湿”也要受罚？某天朝可实施更高明的和谐？大数据时代 的管理变革02掌控的 信 息 管 理责任与自由并举大数据时代读书笔记制作：天天向Qian前可能的3大变革大数据在改变人类生活与思考方式的同时，也在推动人类信息管理准则的重新定位。悲摧的是，我们可能只有几年的时间去适应！大数据时代，对原有规范的修修补补已经满足不了需要，也不足以抑制大数据带来的风险我们需要全新的制度规范。变革：个人隐私保护，从个人许可到让数据使用者承担责任变革：个从动因预测分析，为行为而不是为倾向负责变革：设立内部与外部算法师去监测数据的合法使用大数据时代 之拥抱重要的是维克托教授提醒我们：大数据时代读书笔记制作：天天向Qian前大数据时代已经来临你准备好了吗？