2022年对大数据的展望 .pdf

对大数据的展望陈明阳Q14010119 随着计算机、 互联网技术的飞速发展，我们的社会不断地产生庞大的数据流。这些数据杂乱而细碎， 看似无所关联， 但正是这大量的碎片化数据，昭示着我们进入了一个前景无限光明的新数据时代大数据时代。首先来看看大数据的一般定义。对于“大数据”（Big data ）研究机构Gartner 给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。 换言之， 如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据（Big data ）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data ）通常用来形容一个公司创造的大量非结构化数据和半结构化数据， 这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP ）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 6 页 - - - - - - - - - 由此可见，大数据并不只局限于一个庞大的数据流量，而是以这个庞大的数据量为基础的一连串处理、分析、利用的过程，其牵扯的学科、行业、技术也十分丰富，像是数学、计算机、经济等。那么，在这看起来十分高大上的大数据技术上有哪些新的应用呢？一 仓储物流调配调用与货物跟踪售后。这项技术不光用上了大数据技术，也用上了时下流行的物联网技术。这一应用主要是透过对运输记录的分析调配运货频率、数量进行合理化调配，对市场需求量和购买力进行预测，达到最大化净收益。1.梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS 的系统对多达7300 万种货品进行实时调价。2.快餐业的视频分析。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长， 则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。3.Tesco PLC （特易购）和运营效率。这家超市连锁在其数据仓库中收集了700 万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。二 智能学习与识别这是一项科幻风味浓厚的应用。其实质是通过对用户信息的分析完成对一类关键词的统一识别。这项应用涉及了人工智能的TOP-TO-DOWN类型，也就是大量数据拟合型。1.Morton 牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark 机场（他将在一天工作之后抵达该处）时， Morton 就开始了自己的社交秀。首先，分析推特数据，发现名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 6 页 - - - - - - - - - 该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。2.沃尔玛的搜索。这家零售业寡头为其网站W自行设计了最新的搜索引擎Polaris ，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了 10%到 15% 。“对沃尔玛来说，这就意味着数十亿美元的金额。”Laney说。三 通过建模和数据拟合实现的未来预测这项技术主要通过概率数学分析和建模完成对将来一定时间范围为内某些事件发生概率进行预测。这项技术虽然不能实现完全的预知未来，但是对减少盲目投资和风险有很大的作用。1. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP 公司正在试图收购 KXEN 。2. PredPol Inc. 。 PredPol 公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作， 基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到 500 平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和 21% 。3. American Express（美国运通， AmEx ）和商业智能。以往，AmEx 只能实现事后诸葛式的报告和滞后的预测。“传统的BI 已经无法满足业务发展的需要。” Laney 认为。于是， AmEx 开始构建真正能够预测忠诚度的模型，基名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 6 页 - - - - - - - - - 于历史交易数据，用115 个变量来进行分析预测。该公司表示，对于澳大利亚将于之后四个月中流失的客户，已经能够识别出其中的24% 。大数据虽然才刚刚兴起，却已经造就了大量的财富与机遇。但是， 大数据是否能够完全成为未来的风向标，神的使者， 这一点我表示怀疑。从现在的企业动向上看，似乎有不少企业觉得通过大数据取得用户倾向是一种非常准确客观的方法，并且推出一系列所谓的满足大数据调查的产品。 抛去可能有些商家拿大数据作为噱头外，那些真的靠大数据推出产品的公司我觉得还是要好好考虑一下。前些日子， IBM 公司推出了由大数据技术调查出来的新硬件方向报告，报告中列举了IBM 对未来电脑硬件的构想，对X86 和 AMD 平台的对比（显然单方面偏袒X86 ） ，对未来电脑功能的列举等等。对于这种预测的可靠性我持有较深的怀疑。大数据的数据是来自现代生活的， 对未来的预测显然显得有点无力。这和上面提到的概率预测有不同之处，在于公司推出的产品是会对人们的购买欲产生影响的。我们就拿苹果的iphone 来说，在 iphone5 之前，苹果公司一直强调的是手机带来的新功能，漂亮的外形，流畅的使用体验，而不是它高端的配置。 虽说当时苹果手机的配置实在说不上是好，但是这种制作理念却领导者人们去购买这款产品，这就是公司对客户的影响作用。对于这个社会上大部分的用户来说，购买的时候不会特意考虑这款产品的硬件特征，而是会去考虑易用性，实用性， 新奇的功能。 而现在我们只是对着一大堆硬件参数去猜测这款产品的实用性， 为什么？现在的厂商过度依赖市场调查和大数据分析，对已有的数据分析告诉公司“人们喜欢高配”这一结果，导致现在市场上出现的堆硬件的乱象。其实用户不知道想要什么，只要制造方设计者告诉我们就好了。看看三星最近的口号“人们喜欢靓丽的屏幕”，这一口号确实引领着人们关注屏幕的色彩，亮度等特征， 而不是之前一味地追求分辨率和可名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 6 页 - - - - - - - - - 视角度。 这种对客户的引导是大数据所不能计算出来的，毕竟我们都不知道想要什么，怎么提供这类数据进行分析呢？所以，尽管大数据给公司经营带来了巨大便利，但它也还是具有一定的局限性。而怎么打破这种极鲜行，就成了这一技术接下来的挑战方向了。就现在大数据的数据处理方面，主要还是靠机器辅助，人力思考的工作方式。计算机做的还是简单的分类筛选识别，而真正的处理还是靠人类完成的。这就体现出了一定的弊端。再加上这些数据的碎片化无序性，使得现代的大数据技术仍存在许多问题，换句话说， 发展的空间。下面列举了几条发展趋势。趋势一数据的资源化何谓资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。趋势二：与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013 年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。趋势三：科学理论的突破随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。 随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。趋势四：数据科学和数据联盟的成立未来， 数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时， 基于名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 6 页 - - - - - - - - - 数据这个基础平台，也将建立起跨领域的数据共享平台，之后， 数据共享将扩展到企业层面，并且成为未来产业的核心一环。另外，大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。它对于推动信息产业创新、大数据存储管理挑战、改变经济社会管理面貌等方面也意义重大。现在， 通过数据的力量，用户希望掌握真正的便捷信息，从而让生活更有趣。对于企业来说， 如何从海量数据中挖掘出可以有效利用的部分，并且用于品牌营销，才是企业制胜的法宝。大数据技术方兴未艾，在这个大数据时代，人们的生活将有什么改变革新？我们拭目以待。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 6 页 - - - - - - - - -