国内外大数据发展现状和趋势(2018).pdf

行业现状当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6 个联邦部门和机构。目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。英国在 2017 年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000 万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200 万英镑建立一个公众可通过网络检索的“科研门户”。法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的数字化路线图中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3 亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin 和投资委员LouisGallois 在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150 万欧元用于支持7 个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013 年 6 月，安倍内阁正式公布了新IT 战略“创建最尖端 IT 国家宣言”。“宣言”全面阐述了20132020 年期间以发展开放公共数据和大数据为核心的日本新IT 国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020 年度日本大数据市场规模有望超过 1 兆日元。在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016 年，印度全国软件与服务企业协会预计，印度大数据行业规模在3 年内将到12 亿美元，是当前规模的6 倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站data.gov.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。我国大数据行业仍处于快速发展期，未来市场规模将不断扩大?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市场规模为数百亿元。随着互联网的不断普及与物联网技术的不断发展，未来市场规模将不断扩大，在垂直领域的应用程度将不断深化。?在通用型数据解决方案提供商中，拥有更丰富准确的数据来源、更多数量的客户、更高的客户忠诚度以及更多成功案例的提供商通常拥有更为强劲的实力。?垂直领域大数据应用提供商需要有更多垂直行业内的客户积累、行业数据积累、数据产品的易用性与实用性以及行业解决方案的过往成功案例。大数据行业核心数据?2015 年全球大数据市场规模将近1500 亿人名币，同比增长24.2%；我国大数据市场规模为 160 亿元，仅占全球总市场规模的10.7%，但同比增长率为65.3%，是全球增长率的2.7倍。2016 至 2018 年中国大数据市场规模增长还将维持在40%左右的高增长。大数据在经过了几年的发展后，已经获得了社会的广泛认可。?预计 2018 年全球大数据市场规模将达到超过2500 亿元，2015 至 2018 年的复合增长率为 21.8%。2018 年我国大数据市场规模将超过500 亿元，复合增长率为47.0%，是全球复合增长率的2.2 倍。?大数据极为庞大，如今我们每天创造出约2.3 万亿 GB 数据，这意味着数据世界每两年都将增长一倍。发展趋势“大数据”是今年达沃斯世界经济论坛的热词之一，与会各界都对云计算、大数据等驱动经济数字化转型因素表达了高度关注。而在年初举办的2018 拉斯维加斯消费电子展（CES）上，美国消费技术协会总裁兼首席执行官加里夏皮罗、英特尔首席执行官布莱恩克尔扎尼奇等都表示，大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018 年全球大数据产业将得到强劲发展。据经济参考报记者梳理国内外权威机构最新统计数据，至2022 年，全球大数据市场规模达到800 亿美元，年均实现15.37%的增长。近两年来，大数据发展浪潮席卷全球。全球各经济社会系统采集、处理、积累的数据增长迅猛，大数据全产业市场规模逐步提升。综合各方观点，2018 年大数据产业或呈现开源大数据商业化进一步深入等七大发展趋势。根据监测统计，2017 年全球的数据总量为21.6ZB（1 个 ZB 等于十万亿亿字节）,目前全球数据的增长速度在每年40%左右，预计到2020 年全球的数据总量将达到40ZB。综合多家机构的预测，2018年全球大数据市场规模将达到454 亿美元，未来五年(2018-2022)年均复合增长率约为15.37%，市场规模达805 亿美元。预计 2018 年我国大数据市场规模将达到280 亿元，未来五年(2018-2022)年均复合增长率约为27.29%。全球发展趋势随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军。2018 年，全球大数据产业将呈现七大发展趋势，而产业应用将是主旋律。第一，开源大数据商业化进一步深化。随着闭源软件在数据分析领域的地盘不断缩小，老牌 IT 厂商正在改变商业模式，向开源靠拢，并加大专业服务和系统集成方面的力度，帮助客户向开源的、面向云的分析产品迁移，主要是Hadoop 技术将加速发展。第二，打包的大数据行业分析应用开拓新市场。随着大数据逐渐走向各个行业，基于行业的大数据分析应用需求也日益增长。未来几年针对特定行业和业务流程的分析应用将会以预打包的形式出现，这将为大数据技术供应商打开新的市场。第三，大数据细分市场规模进一步增大。大数据相关技术的发展，将会创造出一些新的细分市场。例如，以数据分析和处理为主的高级数据服务、基于社交网络的社交大数据分析等。第四，大数据推动公司并购的规模和数量进一步提升。因此，在未来几年中，大型 IT厂商将为了完善自己的大数据产品线进行并购，首先涉及的将是信息管理分析软件厂商、预测分析和数据展现厂商等。第五，大数据分析的革命性方法出现。今年，大数据分析将出现革命性的新方法，从前的很多算法和基础理论可能会产生理论级别的突破。机器学习继续成为大数据智能分析的核心技术；人工智能和脑科学相结合，成为大数据分析领域的热点。金融、互联网电子商务、健康医疗、城镇化智慧城市领域的应用令人瞩目。第六，大数据与云计算将深度融合。云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供新的商业价值，大数据技术与云计算技术必有更完美的结合。阿里云计算有限公司总裁胡晓明表示，2018 年将是云计算与产业深度结合的元年。人们将看到各国的基础设施越来越紧密地和云计算结合起来，更多的制造企业和金融机构开始用“云”，云计算将促进科技金融提高效益。第七，大数据一体机将陆续发布。在未来几年里，数据仓库一体机、NoSQL 一体机以及其它一些将多种技术结合的一体化设备将进一步快速发展。据记者了解，中国的华为、浪潮等公司今年将在大数据一体机上有更大的动作。华为IT 服务器产品线总裁邱隆表示：华为服务器在自身高质量、创新、高性价比的基础上，致力提供一个开放的计算平台，通过和业界主流大数据厂家合作，面向客户提供最佳性价比的大数据解决方案。”中国发展趋势趋势一：行业标准化标准是经济活动和社会发展的技术支撑。目前，国际ISO、IEC、ITU、NIST 及国内的信息技术标准化技术委员会（SAC TC28）等标准组织结合大数据产业现状，已经开展行业标准化制定的相关工作，但就大数据整体技术体系和发展规模而言，仍处于起步阶段，与产业发展水平和需求并不相称。在国家标准化体系建设发展规划（2016-2020 年）中，新一代信息技术标准化工程、智能制造和装备升级标准化工程已被列为主要任务，其中就涉及物联网、云计算、大数据、工业云等相关行业标准的制定。在信标委大数据标准工作组的推动下，未来将进一步制定和完善我国大数据领域标准体系，组织开展大数据相关技术和标准的研究。包含申报国家、行业标准，承担国家、行业标准制修订计划任务，宣传推广标准实施，组织推动国际标准化活动。在 2017 年工信部发布的工业大数据白皮书中，再次强调了标准化的重要性，指出深入推进工业大数据发展是全球工业企业所面临的共性课题，而工业大数据标准化工作则是支撑工业转型发展，提升我国国际话语权重要的基础。趋势二：区域化协同共进随着我国大数据产业的迅速发展，已经会成为推动经济发展的重要引擎。中国信息通信研究院的 中国大数据发展调查报告（2017）中，2016 年中国大数据市场规模达168 亿元，预计 2017 年2020 年仍将保持30%以上的增长。随着产业规模的扩大，国内大数据产业的区域化协同共进的局面愈加清晰。在协调区域发展方面，京津冀三地共同发布了 京津冀大数据综合试验区建设方案概要为 2017 年直至 2020 年的发展指出了风向；上海、江苏、浙江和安徽三省一市经信委联合印发长三角区域信息化合作“十三五”规划（2016-2020年），旨在加快推进长三角信息化和信息经济发展合作截至目前，已有超过30 省市专门出台了大数据相关的政策文件，就大数据产业的管理机制、运营模式以及应用服务等不同方向释放政策红利，以促进当地大数据产业的发展。趋势三：技术融合下的应用时代据 IDC 报告显示，全球数据每年的增长速度在40%左右，计算存储和传输数据能力同样以指数型增长，海量数据的产生、获取、挖掘及整合，慢慢展现着背后巨大的商业价值，随着大数据技术在不同场景的成功应用，他不仅为传统企业带来了升级转型，也重构了很多行业的商业思维和商业模式。但需要注意的是，就像没有汽车与高速公路，人们很难意识到石油的重要，同样，如果不能与互联网、云计算、物联网、人工智能、5G 技术等创新技术的结合应用，大数据的价值也无法凸显。在2017 年发布的新一代人工智能发展规划关于积极推进供应链创新与应用的指导意见高端智能再制造行动计划（2018-2020年）等文件中，在提出新的发展要求的同时，也强调了大数据技术的不同产业发展推动作用。新技术的纳入推广一方面为大数据提供了更多维度、更多途径的数据源，另一方面也为大数据应用场景的开发提供了更多空间，智能制造、智慧城市、智慧医疗等不胜枚举。趋势四：数据安全随着 2017 年 6 月中华人民共和国网络安全法正式实施，个人信息安全与隐私保护问题、数据权属及应用的法律问题、人工智能/区块链等新兴产业中的数据等问题成为业内人士关注的热点。据中国大数据法治发展报告（2017）统计，在近年政府推进的大数据政策中，25%均与信息安全相关，大数据领域的安全法治问题已经越来越受到关注。此外，国内已有北京、江苏、贵州等共18 个省市已经颁布大数据相关政策法规，同时，成立大数据地方监管部 23 个。值得一提的是，12 月 29 发布的由信标委归口的信息安全技术个人信息安全规范也将于 2018 年 5 月 1 日正式实施。其主要内容包括：个人信息及其相关术语基本定义，个人信息安全基本原则，个人信息收集、保存、使用以及处理等流转环节以及个人信息安全事件处置和组织管理要求等。趋势五：数据开发与共享在 2015 年国务院发布的促进大数据发展行动纲要中提出，未来5 到 10 年我国大数据发展和应用要实现的目标，包括2017 年底前形成跨部门数据资源共享共用格局，2018 年底前建成国家政府数据统一开放平台，率先在信用、交通、医疗、卫生等重要领域实现公共数据资源合理适度向社会开放。数据共享成为2018 的重要趋势之一。随着数据开发共享程度的由浅及深，在2017 年 7 月及 11 月发布的国务院关于印发新一代人工智能发展规划的通知及国务院关于深化“互联网+先进制造业”发展工业互联网的指导意见中，也都再度提及数据的开放和共享。前者提到：倡导开源共享理念，促进产学研用各创新主体共创共享，后者则更为具体：面向关键技术和平台需求，支持建设一批能够融入国际化发展的开源社区，提供良好开发环境，共享开源技术、代码和开发工具。