大数据的应用及带给企业的挑战(共9页).docx

《大数据的应用及带给企业的挑战(共9页).docx》由会员分享，可在线阅读，更多相关《大数据的应用及带给企业的挑战(共9页).docx（9页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、精选优质文档-倾情为你奉上大数据的应用及带给企业的挑战随着信息技术特别是信息通讯技术的发展，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长之势。根据国际数据公司IDC发布的研究报告，预计全球数据量大约每两年翻一番，到2020年全球将达到35ZB的数据信息量。随着前所未有巨量数据信息的聚集， “大数据”已得到广泛关注。本文将分企业数据、机器数据和社会化数据三类，针对企业数据处理面临的挑战、机器数据应用场景、社会化数据带来的变革展开讨论。1、企业数据处理面临的挑战中国的企业已经认识到大数据蕴含着巨大的商业价值，但国内互联网巨头作为率先使

2、用大数据技术的用户，仅仅是基于开源软件自主开发大数据应用，未形成企业级的个性化应用。(1)非结构化和结构化数据的统一及整合随着互联网和通信技术的迅猛发展，企业中的数据类型早已不是单一的以文本为主的结构化数据，还充斥着广泛存在于社交网络、物联网、等之中的网络日志、音频、视频、图片、地理位置信息等多类型的数据。这些数据称为非结构化数据。据统计，企业中85%的数据属于非结构化数据。但是企业现有的数据处理方法仅适用于结构化数据，无法将大量的非结构化数据与结构化数据进行统一、整合，就无法发掘数据中的价值。(2)跨业务平台数据的关联当今企业环境中存在着：不同业务模块的数据分布在不同的系统平台，这些被割裂的

3、数据在单一业务平台无法得到有效利用；不同业务模块的数据无法实现共享、关联；仅对关键业务的数据进行收集、整合和利用，非关键业务的数据被忽视等现状。企业中的数据由于业务模块的划分而被割裂开来单一业务模块的数据价值远远小于所有业务模块数据关联起来进行分析运用，企业将如何实现跨业务平台数据的关联与整合将面临巨大的挑战。(3)面向数据的实时分析随着经济的飞速发展，企业所面临的市场行情也在瞬息万变，企业曾经惯用的事后处理机制已经不能应对，企业需要实时洞察业务运营状态，以便迅速应对不断变化的市场形势。企业业务的运营状态将体现在海量数据的快速处理和有效进行实时分析的基础上。但随着大数据的爆炸式增长，与企业相关

4、的数据可能在无限量的不断增长，这些不断变化的数据，需要企业进行全面、实时的分析。(4)数据驱动的战略决策社交网络、移动互联网、近几年迅猛发展，不断产生的海量数据将越来越影响企业从战术到战略制定的各个方面。麻省理工学院斯隆管理学院教授Erik Brynjolfsson表示，基于数据分析的决策实现的生产率增长，要比任何其他因素5%-6%。这种生产率增长能够决定大多数行业的胜负。企业决策行为将基于数据和分析而做出，而非基于经验和直觉，这对于企业是一个巨大的挑战。2、机器数据应用场景分析机器数据是由机器产生的数据，也是大数据最原始的数据类型，包括了日志文件、各种历史记录、Web日志等。它们会由网络交换

5、机、企业应用系统、网络以及安全设备等产生。庞大的数据资源使得各个领域开始了量化进程，无论而对物联网、医疗，还是电信、金融领域，在大数据时代，满足机器数据、管理、检索、分析、可视化等应用需求，结合IT运维、系统安全、搜索引擎、电子商务等特定应用的需求实现大数据环境下机器数据的、管理、检索和分析。(1)IT运营管理大数据时代，面对日益膨胀增长的数据与IT系统，如何提高IT运维管理水平，降低IT运营的风险，保障业务正常、高效运行，已经成为大家越来越关注的焦点。实现机器数据良好的IT运营管理，包括：统一管理：实现日志的统一收集、集中检索与分析，对各种设备、操作系统、应用的日志进行统一的实时监测与可视化

6、分析：通过海量日志快速分析与检索系统，协助管理员快速发现、关注与定位事件；及时发现设备运行异常情况，并第一时间通过邮件或短信通知管理员，为排查故障争取时间。关联分析：分析故障发生前后，所有相关IT设备、系统、应用的非正常运行状态，发现可疑的关联问题；对系统的非正常运行状态进行分析，挖掘日志内容之间的关联性，定期生成相应的关联分析图、聚类分析图等日志分析图谱：系统自带一些分析规则，将这些分析规则的分析结果推荐给用户，为用户的决策提供参考意见。(2)IT系统安全和日志审计政府机构经过多年，为方便业务开展和更好的服务民众，在系统内搭建了多个应用系统，但各类数据库和信息资源在方便开展业务的同时，数据信

7、息的安全、违规操作、异常访问等问题日益突出，个别事件还在社会上产生较大的负面影响。实现机器数据的IT系统安全，包括：基于敏感信息的用户行为检测：基于关键字的敏感信息定义：预先定义一组敏感信息关键字，系统对日志的用户访问行为进行扫描和检测，如果发现某个用户查询了系统预先定义的关键字，则认为该用户访问了敏感信息：基于工作角色与数据资源匹配的敏感信息定义：对系统内的用户进行工作角色定义，每个角色授予一定的数据资源访问权限。如果发现某个用户访问的数据资源超出了其工作角色限定的范围，访问的信息与工作范围不匹配，则可认为是访问敏感信息。用户异常访问行为自动检测：通过对用户异常访问行为的检测，识别非法访问行

8、为。监测登录时间异常：例如发现非工作时间访问，或长期不活跃，某段时间突然活跃访问敏感信息：监测登录地点异常：例如发现非习惯工作地点的异常伸地址访问：监测访问行为异常：短时间内大数据量访问，类似下载行为或机器爬虫访问行为：持续访问敏感信息：短时间、持续访问敏感信息。(3)用户行为分析机器数据应用之基于用户行为分析的业务创新，用户分析包括了用户来源统计、访问量统计、访问轨迹分析、网站用户流失原因分析等。大数据的预测能力正在被探索，机器数据的用户行为分析让精细衡量成为可能。用户来源统计：包括用户的IP、来源地区、来路域名和页面；访客操作系统、游览器等信息；Robots/Spiders的统计：对不同文

9、件类型的统计信息。访问量统计：包括访问量/访问次数/页面浏览量/点击数/数据流量等：用户在不同时段的访问量情况，精确到每月、每日、每小时的数据；用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数；注册用户和非注册用户，分析两者之间的浏览习惯。访问轨迹分析：分析用户的访问路径，发现最常访问的路径，进行网站路径优化。网站用户流失原因分析：找到系统里最近一批非活跃用户(先前活跃，但某个时间点后较长时间不访问本系统)：对该组用户的最近访问轨迹进行关联规则挖掘，挖掘访问规律；根据访问规律分析流失原因：某个页面或功能的不可用或不友好。以上的用户分析，可以应用在各个领域，例如可以实现搜索

10、引擎优化、文档推荐应用、社交网络的文档推荐与人物推荐、电子商务推荐引擎的相关工作、招聘网站的推荐引擎、其他用户行为分析等。3、社会化数据驱动市场调研和营销变革随着社交网络的流行，国内外社会化得到了迅猛发展。集中在社会化上庞大的用户群及发生的用户行为将会产生巨量的数据回馈，这些包括评论、视频、照片、地理位置、个人资料、社交关系等由用户在社会化媒体中产生或分享的各类信息即为社会化数据。社会化数据与以前采集的静态的、事务性数据完全不一样，它具有实时性和流动性。人们在社会化媒体上通过交流、购买、出售和其他日常生活活动以免费的方式提供着大量信息。这些数据由每个网民的微行为汇集而成，蕴含着巨大的价值，将带

11、来企业在市场调研和营销方面的变革。(1)数据支撑“智慧”的市场调研传统的市场调研是根据提前设计好的调查问卷来搜集市场资料，这种方式具有很大的局限性。社会化媒体的流行，使社会化媒体平台上汇集了庞大的的用户群。如此巨大的用户群及其产生的大量用户行为为市场调研提供了大量的一手资源，为企业提供了分析消费者群体特征的机会。社会化媒体天生的开放性，使消费者获得了更多的话语权，消费者在社会化媒体上自愿的表达自己的想法，消费者在社会化媒体上谈论的话题面非常广，不仅局限于调查问卷中的话题，而且这些话题充斥着情感因素。这样一方面使市场调研人员获取了大量来自于消费者的一手资源；另一方面弥补了市场问卷由于提前设定问题

12、而存在的局限性。同时，社会化数据的实时性，使市场调研人员可以在第一时间确认理解和追踪消费者的反馈，制定更科学的营销决策，从而发起合适的营销活动。(2)数据带来的掘金潮国内社交网络市场规模庞大并正快速增长。现在几乎所有文章、广告、视频都鼓励用户进行社交分享及评论，我们已经进入社交网络爆炸发展的时代。社交网络在全球的火爆，社会化媒体迅猛的发展、导致了整个用户市场环境的变化。用户接触和获取信息的渠道和方式、用户与商家产生交互及购买行为的渠道和方式、用户之间产生交流和分享体验的渠道和方式都在发生全面而深刻的变化，用户已经从以信任由生产商、渠道商、传统媒体所构建的垂直信息渠道，转变为更愿意相信来自朋友或陌生网友口口相传的水平信息渠道，用户已经从原来简单同质化的物质需求发展为个性化的需求，用户变得更加主动和理性。用户已经迁移到社会化媒体，传播路径在泛化，用户行为在变化，企业不仅发现了潜在的危机，同时随着社会化数据积聚增加，企业也发现了以社会化数据为支撑的蕴含的巨大价值。用户在线社交生活中所发生的行为轨迹和所创造的内容尤为珍贵。社会化数据使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好，从凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，社会化数据将为企业市场营销带来巨大的价值。专心-专注-专业