大数据产业深度调研及未来发展现状趋势分析.docx
《大数据产业深度调研及未来发展现状趋势分析.docx》由会员分享,可在线阅读,更多相关《大数据产业深度调研及未来发展现状趋势分析.docx(35页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、大数据产业深度调研及未来发展现状趋势分析一、建立持久的顾客关系精明的企业不仅要创造顾客,还想要“拥有”顾客的“一生”。 为此,它必须建立持久的顾客关系。企业可以在多个层次上建立顾客关系。一般地说,企业对那些数 量庞大、边际利润低的顾客,更多会谋求建立层次较低的基本关系。 如洗涤剂生产厂商通常不会逐个打电话给洗衣粉家庭用户,分别了解、 征询意见,而会通过广告、促销、服务电话或电子网站来建,立关系。 但对那些数量很少且边际利润很高的顾客,如大用户、大型零售商, 企业则希望与它们建立全面伙伴关系。在这两个极端之间,企业可根 据不同情况建立其他层次的顾客关系。(1)财务层次。指通过价格优惠等财务措施来
2、树立顾客价值和满 意度。如宾馆为常客提供免费或降价服务;商场提供惠顾折扣券;民 航公司对常客实施优惠方案等。(2)社交层次。即通过加强社会交往来提高企业与顾客的社会化 联系,与常客保持特殊关系。如企业主动与顾客保持联系,不断了解 顾客需要和提供服务;向常客赠送礼品和贺卡,表示友谊和感谢;组 织常客社交聚会,增强信任感等。用服务器做抽取和转化工作,这样可以解决ETL应用服务器的处理能 力不足问题,充分利用大数据平台的分布式计算能力提升数据集成的 效率和稳定性。(二)大数据存储和处理大数据存储与处理要用用服务器及相关设备把采集到的数据存储 起来,使得数据能够被高效地访问和运算。由于数据量的爆发式增
3、长, 尤其是非结构化数据的大量涌现,传统的单机系统性能出现瓶颈,单 纯地提高硬件配置已经难以跟上业务的需求,产生的海量数据没有合 适的存储场所,企业被迫放弃大量有价值的数据;数据处理的速度和 性能出现瓶颈,业务的深度和广度受到限制。因此,过去十年间,计 算机系统逐步从集中式向分布式架构发展。分布式架构及相关技术通 过增加服务器的数量来提升系统的处理能力,每个节点都是一个可独 立运行的单元,单个节点失效时不会影响应用整体的可用性。分布式 系统在扩展性、容错性、经济性、灵活性、可用性和可维护性方面具 有明显优势。(三)数据治理根据国际数据管理协会的定义,数据治理是对数据资产管理形式权利和控制的活动
4、集合。数据治理是一个管理体系,包括组织、制度、流程和工具,随着集成和存储的数据量增加,数据治理的难度也逐渐增加,牵扯的关联方也越来越多,因此需要一套适合企业的方法论来 开展工作。业界逐渐形成了 DAMA、DCMM等较完整的数据治理体系框架, 一般包括制定数据治理战略、定义数据治理工作机制、通过各个业务 专题来落实相关数据治理工作内容,并最终落实到数据治理工具上来 实现高效持续的数据治理的执行流程。具体到数据治理的内容,一般 包括元数据管理(包括元数据采集、血缘分析、影响分析等)、数据 标准管理(包括标准定义、查询与发布等)、数据质量管理(包括质 量规则定义、质量检查、质量报告等)、数据资产管理
5、(包括数据资 产编目、数据资产服务、资产审批等)、数据安全管理(包括数据权 限管理、数据脱敏、数据加密等)、数据生命周期管理(包括数据归 档、数据销毁等)以及主数据管理(包括主数据申请、发布、分发等) 这几个主要的部分。(四)数据建模数据建模是构建企业数据仓库、数据湖和数据集市的重要过程, 其通过一个业务级别的数据模型设计,将分散在不同数据源中的数据 集成在一起,并通过一种面向业务主题的方式将数据分门别类来做重 新组织和标准化,形成有明确业务意义的数据形式,统一为数据分析、 数据挖掘等提供可用的数据。面向业务主题(如客户主题、账户主题 等)的数据组织管理方式便于业务人员对数据的理解和综合使用。
6、具 体到技术层面,数据建模一般包括业务调研、架构设计、数据模型设 计、数据库SQL开发与测试、业务集成上线等几个阶段,架构设计是 整个工作的核心,一般会面向不同的行业来设计相关行业的逻辑数据 模型。在数据建模过程中使用的工具主要包括:数据模型设计与管理 工具、SQL开发工具、任务调度工具等。(五)数据分析和挖掘大数据分析和数据挖掘的核心目标是对客观事实规律进行描述、 展示和总结、刻画、推广,可以从大量的数据中通过算法来揭示出隐 含的、未知的并有潜在价值信息,并对客观规律进行溯源和解释,从 而帮助决策者做出正确的预测和决策。围绕这个目标,大数据分析和 挖掘的手段可以分为模型驱动、数据驱动等,一般
7、通过统计、在线分 析、情报检索、机器学习和专家系统等在内的多种方法来实现这一目 标。现阶段在面对大数据4V问题时,大数据分析和数据挖掘工具对传 统数据分析和挖掘工具做进一步自动化和智能化;与此同时,近年来 深度学习的兴起又为大数据分析提供了新的手段,其做为当前计算机 行业的热点研究方向之一,其本质的目标是从大量数据中提取模式和 知识,其要处理的对象包括结构化数据、半结构化数据和非结构化数 据在内的所有类型数据,例如近年来在视频、语音等非结构化数据的 分析需求快速增加,相应的深度学习技术也取得了飞速发展。(六)数据流通数据流通是按照一定规则,将存储的数据或者数据分析、挖掘得到的信息作为流通对象,
8、从供应方传递到需求方的过程。数据流通的 具体内容包括可视化的分析报告、面向运营人员的数据标签、面向应 用可以直接调用的数据指标API、面向数据分析人员的数据集、面向数 据挖掘人员的数据特征、和面向业务建模人员的单方或多方的建模模 型等。基于数据水印、数据加密和脱敏、隐私计算、联邦学习的数据 流通安全技术,可以提高数据流通的完整性和保密性。五、大数据行业面临的机遇(一)产业政策集中出台,多层次政策体系日益健全十八届五中全会提出实施国家大数据战略以来,促进大数据发展行动纲要指出,建立安全可信的大数据技术体系是推进大数据产业基础研究和核心技术攻关的重要目标。2021年3月,在我国十四五规划和2035
9、年远景目标纲要提出,培育壮大人工智能、大数据等新兴 数字产业,充分发挥海量数据和丰富应用场景优势,促进数字技术与 实体经济深度融合,赋能传统行业转型升级,打造数字经济新优势。 加快数字化发展,打造数字经济新优势,协同推进数字产业化和产业 数字化转型,加快数字社会建设步伐,营造良好数字生态,建设数字 中国。2020年4月,国家发改委明确了新基建是以技术创新为驱动,以 信息网络为基础,面向高质量发展需要,提供数字转型、智能升级、 融合创新等服务的基础设施体系。其中,在新一代信息技术关键领域 锻长板的重要举措包括:推动新一代信息技术与制造业融合发展,加 速工业企业数字化、智能化转型,提高制造业数字化
10、、网络化、智能 化发展水平,推进制造模式、生产方式以及企业形态变革,带动产业 转型升级。未来新兴产业及数字经济的发展将更依赖于数据资源,数 据基础设施建设也是支撑5G、数据中心、工业互联网等新一代信息技 术基础设施的基础,因此大数据是新基建的重要组成部分,也将推进 大数据底层软件等核心国产软件的快速发展。(二)数据管理软件国产化趋势明显,国产大数据产品有望实现 换道超车国内数据管理软件基本被Oracle、IBM和微软为代表的国外关系 型数据库厂商主导,国产软件产品渗透率低。随着国内客户越来越重 视数据与信息安全,国产软件产品在关键领域实现替代成为其中重要 环节,越来越多的客户已经开始或计划相关
11、软硬件的采购计划。大数据时代下,数据管理软件正在逐步由集中式架构软件向分布 式架构软件演进,国产大数据产品有望实现换道超车,对国外数据管理软件进行替代。从功能来看,基于新兴分布式架构的国产大数据产 品已经能满足市面上绝大多数数据应用场景基础需求。但国产大数据产品能否在市场竞争中胜出、占据更多的市场份额, 仍然取决于国产大数据产品能否构建自主研发的生态以及产品的全球 竞争力。目前,为保障国家信息安全,自主研发的国产大数据生态体 系正在形成,此前国产软硬件发展面临的格局分散、生态基础不完善、 规模用户群体缺乏等障碍正被逐步攻克。随着国产大数据生态体系进 入快速协同发展阶段,国产大数据产品与服务迎来
12、较好的发展机遇。(三)数据成为新生产要素,各行业的大数据应用需求巨大2020年4月,关于构建更加完善的要素市场化配置体制机制的 意见指出,数据已成为继土地、劳动力、资本、技术之后的新一代 生产要素,是数字经济发展的基础性、关键性、决定性的生产要素, 对经济发展、社会治理、人民生活产生着重大而深刻的影响。激活数据要素潜能,加快数字经济、数字社会,以数字化驱动生 产方式、生活方式和治理方式变革成为我国当下发展的重点。企业建 设数字化能力,高效解决企业运营中的问题,优化企业业务流程、提 高效率,成为企业发展的核心竞争力之一,在金融、交通、能源、制 造等国民经济重要领域实际提升数字化能力需求巨大。此外
13、,在企业 数字化程度提高后,数据走向资源化是大势所趋,在数据资源化的过 程中,建立行业间高效的数据交换机制,实现数据的互联互通、信息 共享、业务协同,以成为整合信息资源,深度利用分散数据的有效途 径。加快数字化转型,构建数据共享服务体系,促进数据与业务应用 快速融合,将助力中国经济从高速增长转向高质量发展,推动数字中 国建设。(四)大数据应用的快速发展,推动大数据管理平台需求的快速 增长近年来,大数据增长集中于物联网设备、多媒体、日志、社交信 息等,这些数据具有数据类型多、数据量大、流转速度快、价值密度 低的特点。传统关系型数据库无法满足处理半结构化及非结构化数据 需要,具有综合能力的大数据管
14、理平台有易于扩展、无序存储、分布 式架构的特性,相比传统关系型数据库,更能满足对这些数据的存储 需求。大数据管理平台不仅具有存储管理海量数据能力、数据处理性 能高和易于扩展的特性,还可以保持传统关系数据库支持ACID和SQL 查询等特性,支持关系数据模型。在大数据市场发展下,大数据管理 平台需求快速增长。(五)数据价值的深度挖掘需求将带动智能分析工具的快速发展智能分析工具主要专注于为数据预处理、特征工程、数据建模、 预测分析等数据分析挖掘关键过程提供工具和相关解决方案,是企业实现对海量数据的深度挖掘的重要工具。随着大数据环境下,数据分 析复杂程度的加深,数据科学平台需要持续优化其平台流程、协作
15、及 模型治理特性,以保持与软件开发中最佳实践一致。同时,数据科学 平台厂商也将通过整合针对算法筛选、分布式模型训练、模型管理、 知识图谱和高性能推理等任务的创新解决方案来实现差异化竞争。为 了在大数据环境下快速帮助客户实现人工智能赋能的商业决策,智能 分析工具将迎来快速发展机遇,在云原生、AI工程化、低代码、隐私 安全、云边一体等方面发挥更大的作用。六、国内大数据市场发展情况中国大数据市场在过去五年间经历快速增长,整体市场规模增长 速度快于全球整体市场。2019年,中国大数据市场规模达到627亿元, 2015-2019年复合增长率达到31. 9%o其中,大数据硬件为市场主要 的收入来源,201
16、9年大数据市场硬件收入达到247亿元。中国大数据软件市场由2015年的52亿元增长至2019年的146亿 元,年复合增长率为29. 5%o伴随着中国对数据运用重视程度日益提 高,用户对于大数据软件采购预算增加趋势明确,中国大数据软件市 场将在未来五年继续保持高速增长,整体软件市场规模将在2024年达 到492亿元,2019-2024年复合增长率为27. 5%0虽然现阶段大数据软件收入占比较小,但得益于较高的细分市场规模增速,未来大数据 软件将占据更多的市场份额。七、营销调研的步!营销调研的过程,通常包括五个步骤:确定问题与调研目标、拟定调研计划、收集信息、分析信息、提交报告。(一)确定问题与调
17、研目标为保证营销调研的成功和有效,首先要明确所要调研的问题,既 不可过于宽泛,也不宜过于狭窄,要有明确的界定并充分考虑调研成 果的实效性。其次,在确定问题的基础上,提出特定调研目标。(二)拟定调研计划设计能够有效地收集所需要的信息的计划,包括概述资料来源、 调研方法和工具等。由于收集第一手资料花费较大,调研通常从收集第二手资料开始, 必要时再采用各种调研方法收集第一手资料,也可以从企业外部的商 业公司购买有关资料。调查表和仪器是收集第一手资料采用的主要工 具。抽样计划决定三方面的问题:抽样单位指确定调查的对象,抽样 范围指确定样本的多少,抽样程序则是指如何确定受访者的过程。接 触方法是指如何与
18、调查对象接触的问题。(三)收集信息在拟定调研计划后,可由本企业调研人员承担收集信息的工作, 也可委托调研公司收集。面谈访问必须争取被访问者的友好和真诚合 作,才能收集到有价值的第一手资料。进行实验调查时,调研人员必 须注意使实验组和控制组匹配协调,在调查对象汇集时避免其相互影 响,并采用统一的方法对实验进行处理和对外来因素进行控制。(四)分析信息从已获取的有关信息中提炼出适合调研目标的调查结果。在分析 过程中,首先要明确这些信息数据是依据何种尺度进行测定、加工的, 然后借助多变量统计技术将数据中潜在的各种关系揭示出来,还可将 数据资料列成表格,制定一维和二维的频率分布,对主要变量计算其 平均数
19、和衡量离中趋势。(五)提交报告调研人员向营销主管提出与进行决策有关的主要调查结果。调研 报告应力求简明、准确、完整、客观,为科学决策提供依据。如能使 管理决策减少不确定因素,则此项营销研究就是富有成效的。八、市场营销与企业职能迄今为止,市场营销的主要应用领域还是在企业。在下一节我们 将会看到,市场营销学的形成和发展,与企业经营在不同时期所面临 的问题及其解决方式是紧密联系在一起的。(3)结构层次。指使用高新技术成果,精心设计服务体系,使顾 客得到更多消费利益,来增强顾客关系。如批发公司通过计算机数据 交换系统,帮助零售商客户做好存货管理、订货、信贷等一系列工作; 宾馆用其信息系统储存旅客客史档
20、案,为其再次光临时提供个性化定 制服务等。二、营销调研的含义和作用(一)市场营销调研的含义市场营销调研就是运用科学的方法,有目的、有计划地收集、整 理和分析研究有关市场营销方面的信息,获得符合客观事物发展规律 的见解,提出解决问题的建议,供营销管理人员了解营销环境,发现 机会与问题,从而作为市场预测和营销决策的依据。菲利普科特勒 认为:营销调研是通过信息将消费者、顾客和大众与营销人员相互连 接的过程。(二)市场营销调研的作用市场营销调研是企业营销活动的出发点,其作用十分重要。1、有利于制定科学的营销规划。营销调研可以帮助营销者评估市场潜力和市场份额,根据市场需求及其变化、市场规模和竞争格局、消
21、费者意见与购买行为以及营销 环境的基本特征,从而科学地制定和调整企业营销规划。在市场经济体系中,企业存在的价值在于它能不断提供合适的产 品和服务,有效地满足他人(顾客)需要。因此,管理大师彼得,德 鲁克指出:“顾客是企业得以生存的基础,企业的目的是创造顾客, 任何组织若没有营销或营销只是其业务的一部分,则不能称之为企 业。” “市场营销和创新,这是企业的两个功能。”其中,“营销是 企业与众不同的独一无二的职能”。这是因为:(1)企业作为交换体系中的一个成员,必须以对方(顾客)的存 在为前提。没有顾客,就没有企业。(2)顾客决定企业的本质。只有顾客愿意花钱购买产品和服务, 才能使企业资源变成财富
22、。企业生产什么产品并不重要,顾客对他们 所购物品的感受与价值判断才是最重要的。顾客的这些感觉、判断及 购买行为,决定着企业命运。(3)企业最显著、最独特的功能是市场营销。企业的其他职能, 如生产、财务、人事职能,只有在实现市场营销职能的情况下,才是 有意义的。因此,市场营销不仅以其“创造产品或服务的市场”标准 将企业与其他组织区分开来,而且不断促使企业将营销观念贯彻于每 一个部门。在现实中,许多企业尽管对市场营销及其方法颇为重视,但并未 真正把它作为企业核心职能进行全面贯彻。如一些经理认为营销就是“有组织地执行销售职能“。他们着眼于用“我们的产品,寻求“我们的市场”,而不是立足于顾客需求、欲望
23、和价值的满足。但是, 市场营销并不等于销售。市场营销的核心是清楚地了解顾客,并使企 业所提供的产品(服务)适合顾客需要。不做好这一工作,即使拼命 推销,顾客也不可能积极购买。因此,企业尽管也需要做销售工作, 但市场营销的目标却是要减少推销工作,甚至使得销售行为变得多余。全面构建和贯彻面向市场(顾客)的企业职能,关系到企业能否 生存和健康成长。九、市场需求预测方法科学的营销决策,不仅要以市场营销调研为出发点,而且要以市 场需求预测为依据。市场需求预测是在营销调研的基础上,运用科学 的理论和方法,对未来一定时期的市场需求量及影响需求的诸多因素 进行分析研究,寻找市场需求发展变化的规律,为营销管理人
24、员提供 关于未来市场需求的预测性信息,并以此作为营销决策的依据。市场需求预测的方法,常用的主要有以下几种。(一)购买者意向调查法购买者意向调查法即通过直接询问购买者的购买意向和意见,据以判断销售量。如果购买者的购买意向是明确清晰的,这种意向会转化为购买行为,并且愿意向调查者透露,这种预测法特别有效。但是, 潜在购买者数量很多,难以逐个调查,故此法多用于工业用品和耐用 消费品。同时,购买者意向会随着时间转移,故此法适宜作短期预测。 调查购买者意向的具体方法比较多,如直接访问、电话调查、邮寄调 查、组织消费者座谈会等。例如,采用概率调查表向消费者调查耐用 消费品购买意向,可能会收到较好效果。(二)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 产业 深度 调研 未来 发展 现状 趋势 分析
限制150内