大数据分析技术与应用.docx

《大数据分析技术与应用.docx》由会员分享，可在线阅读，更多相关《大数据分析技术与应用.docx（7页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、CDA数据分析讨论院原创作品一、大数据概念大数据(big data),指无法在肯定时间范围内用常规软件工具进行捕获、管理和处理的数据 集合，是需要新处理模式才能具有更强的决策力、洞察觉察力和流程优化力量的海量、高增 长率和多样化的信息资产。二、大数据的特点1） Volume (大量)：截至目前，人类生产的全部印刷材料的数据量是200PB,而历史上全人类总共说过的话的数 据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已 经接近EB量级。2） Velocity （高速）：这是大数据区分于传统数据挖掘的最显著特征。依据IDC的“数字宇宙”的报告，估计到2022 年，

2、全球数据使用量将到达35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生 命。天猫双H一： 2022年6分58秒，天猫交易额超过10。亿3） Variety （多样）：这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数 据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、 地理位置信息等，这些多类型的数据对数据的处理力量提出了更高要求。订单数据：id用户日期1001cemglaoshi20170710-9:10:101002xi aozelaoshi20170710-9:11:201003boduolaoshi2017071

3、0-9:22:501004sslaoshi20170710-10:12:204） Value （低价值密度）：价值密度的凹凸与数据总量的大小成反比。比方，在一天监控视频中，我们只关怀小偷偷盗 的片刻，如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。三大数据应用1） 020：百度大数据+平台通过先进的线上线下打通技术和客流分析力量，助力商家精细化 运营，提升销量。2）零售：探究用户价值，供应共性化服务解决方案；贯穿网络与实体零售，携手制造极致 体验。经典案例，子尿布+啤酒。3）旅游：深度结合百度独有大数据力量与旅游行业需求，共建旅游产业才智管理、才智服 务和才智营销的将来。“4“

4、am数据建示:洛阳自母&客源电主至为何南、以、F、湖匕江 苏.磅西.上海.山东.河北,浙江跨片.市.下生应持聊大在以上地区洛阳自驾游产册的宣传推介.4）商品广告推举：给用户推举访问过的商品广告类型%JD尊多.快.好省全部商品分类服装城美妆垣 超市 生鲜全球购闪购 拍卖 金融0商品已成功加入购物车!联想Yoga720 15.6英寸超建薄堂记本电脑游戏本触道屏GTX1050独显天蝎第17-7 颜色：天蝎黑17-7700 1. /数星:1查看商三购买了该商品的用户还购买了联想药天国B800原装双肩包 电强包15.6英寸14英寸通用149.00便加入购物车联想BM400双层包电脑包牍皆有线鼠标套装15

5、.限寸139.00便汨入蹈物车5）房产：大数据全面助力房地产行业，打造精准投策与营销, 适的楼，卖给更合适的人。选出更合适的地，建筑更合6）保险：海量数据挖掘及风险猜想，助力保险行业精准营销，提升精细化定价力量。7）金融：多维度表达用户特征，关心金融机构推举优质客户，防范欺诈风险。得力I 1313:5,了解分奥标许各2005第28号神州行实惠之选：自由.便捷,实惠I开豆区、第果区、。山区、山（8.冬平尸安，哂那!，口* O月租*2元加入林保特区,接听 全免费早安卡秃月&可加入鼻第鼻五度由市法0.2比/分”.五国外信第0.4左/分”. M0.15t/W本防金兔11。川 10k，KlSOaRAAH

6、JLM9 n20x. f；360mmO，k30无,色600&M角。欠50元.fi1000*RMMAM律例行长法卡实惠可建包时尚好玩舞全包无月ML天低M，JH无小区制玄稿雳话6.15元7分.本境10（叁话配2）兄/9，.（WfMn 694 N XtttRMtX长不分忙.2s免/分”*和稣丽金鱼鹿8）移动联通&移动联通：依据用户年龄、职业、消费状况，分析统计哪种套餐适合哪类人群。对市场人群精准定制。本地通话费02元/分钟,可加入集团网，：*受网内通话优电CJLLAffail 29K AIK StUS.金丸月相.月通话余1110竟矗国内市比0.15比/分* I 100分”以内）,长 03元/分*本格场来电500分由免9）人工智能四常用大数据分析技术常见的大数据分析技术主要由以下几局部构成：分布式的文件系统存储海量的非结构化数据（例如：hdfs等）分布式的离线计算系统，对业务数据批量处理。（例如：mapreduce等）分布式的实时计算系统，实时对业务数据进行处理（例如：sparkStreaming storm flink等）分布式的结构化数据分析工具（例如：hive等）分布式的数据库（例如：hbase等）完整的大数据平台往往还要跟业务系统整合起来为用户供应服务。