大数据应用与解决方案产业市场前瞻分析.docx
《大数据应用与解决方案产业市场前瞻分析.docx》由会员分享,可在线阅读,更多相关《大数据应用与解决方案产业市场前瞻分析.docx(37页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、大数据应用与解决方案产业市场前瞻分析、市场细分战略的产生与发展市场细分是1956年由美国营销学者温德尔,斯密于产品差异和市场细分一一可供选择的两种市场营销战略一文中,在总结西方企 业营销实践经验的基础上提出的。市场细分不单纯是一个抽象理论, 而且具有很强的实践性,顺应了第二次世界大战以后美国众多产品市 场转化为买方市场这一新的形势,是现代企业营销观念的一大进步。 从总体上看,不同的市场条件和环境,从根本上决定企业的营销战略。市场细分理论和实践的发展经历了以下几个阶段。(一)大量营销阶段早在19世纪末20世纪初,即资本主义工业革命阶段,整个社会 经济发展的中心和特点是强调速度和规模,市场以卖方为
2、主导。在卖 方市场条件下,企业市场营销的基本方式是大量营销,即大批量生产 品种、规格单一的产品,并且通过广泛、普遍的分销渠道销售产品。 在这样的市场环境下,大量营销的方式降低了产品的成本和价格,获 得了较丰厚的利润。企业没有必要研究市场需求,市场细分战略也不 可能产生。(二)产品差异化营销阶段节点,在进行计算任务时,任务也会被切分成多个子任务,分发到多 个节点上同时进行计算,能充分利用整个集群各个节点的计算资源、 存储资源和10资源,可线性提升集群的存储和处理能力。因此,分布 式架构能较好的处理该类问题,这也是分布式架构相对于传统单机架 构的核心优势。在大数据场景下,分布式系统在扩展性、容错性
3、、经济性、灵活 性、可用性和可维护性方面具有明显优势,能够较好的满足大数据分 析的需求。此外,近年来,分布式技术不断发展,在提供高弹性、支 持高并发的同时,支持关系型数据库中强事务性的特性,成为大数据 技术的重要发展方向。2、数据管理软件趋向于统一多数据模型的平台 数据模型是决定数据库系统逻辑的重要因素,并从根本上决定以何种 方式存储、组织和操作数据,包括传统的关系模型和NoSQL数据模型 (文档模型、键值模型、图模型等)。大多数数据库管理系统只能支 持一种或少数几种数据模型,因此企业通常只能使用多种数据库产品 联合的方案来应对日益增长的异构数据模型处理需求。随着大数据厂商技术实力的提升,逐渐
4、出现了能够提供多数据库 模型的大数据平台技术。相比多种数据库产品的集成方案,多种数据 库模型统一的大数据平台的优势包括:(1)提升场景效率。同一份数 据可以分别采用多种数据模型存放,解决不同场景的处理效率问题;(2)统一分析管理。关联不同模型的数据,统一分析管理;(3)降 低运维成本。无需维护多种数据库,降低运维成本;(4)降低数据持 有成本,同一份数据在不同的数据模型当中不需要全量存储,不同模 型只需要存储必要的数据内容即可,在查询时可以通过关联的方式获 取全量信息。未来多模型数据平台将通过不断提高计算、存储引擎的处理能力, 从操作响应速度、数据并发能力、数据管理成本等多个角度优化企业 的数
5、据需求,成为多模大数据平台的重要发展趋势。(二)云原生大数据平台架构成为未来的主要发展方向云原生的代表技术包括容器、服务网格、微服务、不可变基础设 施和声明式API,这些技术能够构建容错性好、易于管理和便于观察的 松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松 地对系统作出频繁和可预测的重大变更。云原生技术有利于各组织在公有云、私有云和混合云等新型动态 环境中,构建和运行可弹性扩展的应用。面对客户日益增长的海量数 据、多种数据结构的实时化、智能化处理需求,云原生的大数据平台 架构凭借计算存储解耦、资源池化、Serverless等核心技术,提供了 高弹性拓展、海量存储、多种数据类型
6、处理及低成本计算分析的能力。 相比传统数据库,云原生数据库及数据管理平台天然具备灵活性,能够提供强大的创新能力、丰富多样的产品体系、经济高效的部署方式和按需付费的支付模式。(三)国家加速数据要素市场建设,推动数据安全流通技术的商业化加速我国将搭建统一开放、竞争有序的数据要素市场体系,政策鼓励 产业链各环节的市场主体进行数据流通和交易,促进数据要素流通。 当前,丰富的数据要素资源已经涵盖了金融、运营商、房地产、医疗、 能源、交通、物流、教育以及制造业、电商平台、社交网站等众多领 域。同时,由于数据的流通和利用是数据要素价值创造的前提。而跨 域、跨中心的数据融合计算需求,以及数据要素在开放流通环节
7、中的 安全需求(包括可用不可见、可用不可得、可用不出域等),都使得 数据的安全可信流通成为数据要素的市场化配置的重要一环,也是各 行业数字化转型过程中和过程后的必由之路。随着数据安全法、个人信息保护法的实施,以安全为前提的数据开放利用将迎来新 一轮发展机遇。隐私计算是在处理、分析计算数据的过程中保持数据 不透明、不泄露、无法被计算方以及其他非授权方获取的一种技术解 决方案,能够在充分保护数据和隐私安全的前提下,实现数据价值的 转化和释放,应用前景和商业价值巨大。在国家加速数据要素市场建设和重视数据安全和隐私保护的大背景下,数据安全防护技术、隐私 计算技术的应用普及和商业化在加速进行。五、大数据
8、行业的挑战(一)技术创新与支撑能力有待进一步提高技术创新是推动大数据产业发展的内在动力,但是目前我国技术 创新对于大数据产业的引领作用仍然不强。一方面,国内企业对大数 据核心技术、开源技术和相关生态系统影响力总体较弱。另一方面, 大多数大数据企业的创新仍以模仿性、渐进性创新为主,突破性、颠 覆性创新偏少,自主研发具有国际影响力的先进技术较少,同质化竞 争日益加剧。此外,由于我国基础科学技术水平研发投入相对不足, 大数据底层技术投入与国外存在较大差距,虽然具有大数据应用的需 求,但较少通过扎实的底层技术手段来推动创新,我国大数据技术创 新能力有待持续提高。(二)对开源体系的依赖程度相对较高基于开
9、源的数据库技术,或部分开源的功能方案,已经成为当前 众多企业的软件技术建设重要模式,目前数据库开源体系由国外主导。 众多软件开发者对于开源软件的认知较有限,甚至误以为开源软件等 同于免费软件,可以不受限制地随意使用。事实上,开源软件的著作 权既没有被放弃也没有过期,开源软件知识产权风险分为版权侵权风 险,专利侵权风险、商标侵权风险三大类。因此市场对待目前开源体 系的法律风险意识有待提高,自主研发的国产数据库软件市场占有率 有待进一步提升,降低对国外开源体系的依赖。(三)企业对于数据价值的认知及运用能力有待提高近年来,越来越多企业认识到数字化转型的必要性,但是对于数 据管理的认知水平较多停留在收
10、集数据、存储管理数据的层面,对于 如何把数据有效运用及相关认知有待提高,对数据平台、数据技术的 资源投入不足。企业往往只是在部分业务实现数字智能化,各个板块 的协同不足,各个部门的信息孤岛现象明显,整个企业的数智化缺乏 完整规划,企业对数字化转型的目标和路径不够清晰。在此环境下, 中国数据管理软件服务厂商在聚焦于内部产品研发和技术迭代的同时, 也需加强对下游实际的业务场景和大数据使用需求的逐步理解、适配, 使得更多企业可以容易的运用大数据解决发展面临的数字化转型需求。(四)专业人才短缺问题成发展瓶颈我国仍存在严峻的大数据人才短缺问题,尤其紧缺基础技术研发、 专业咨询、数据分析挖掘等方面的专业人
11、才以及兼具专业运营能力、 行业动态理解力、解决问题能力的多学科复合型人才,难以满足大数 据产业的高速发展需求。一方面,我国高科技人才储备不足,高科技 人才储备难以应对与日俱增的大数据人才市场需求。另一方面,我国大数据人才培养体系不完善,大数据人才培养体系起步晚,规模小, 层次和模式相对单一,技能知识和理念落后,难以有效匹配产业发展 速率。虽然近几年随着我国产业数字化转型的发展,数字科技行业的 从业人员逐步增多,但从事基础软件领域研究的专业人员仍然稀缺, 尚不能满足大数据行业对于高端专业人才的需求。大数据人才的不足 一定程度上影响到大数据产业的发展,业内为争取优秀人才,造成行 业内人才竞争不断加
12、剧。六、大数据全生命周期管理大数据生命周期进一步细分为大数据集成、存储和处理、治理、 建模、挖掘和流通等阶段。(一)大数据集成大数据集成包括大数据采集和大数据整合。大数据采集主要是通 过各种技术手段将分散的海量内容数据(文本、音频、视频等)、行 为数据(访问、查询、搜索、会话、表单等)、工业生产数据(传感 器数据、监控数据)等从业务系统中收集出来。由于大数据本身具有 分散、海量、高速、异质的特征,采集难度较大,因此保证数据采集 的稳定性、可靠性、高效性、可用性和可扩展性等是主要的技术目标, 越来越多的企业开始选用专业的数据采集服务。大数据整合的目标是 将各种分布的、异构的数据源中的数据抽取后,
13、进行清洗、转换,最 后加载到数据仓库或数据集市中,作为数据分析处理和挖掘的基础; 这个过程常常也被称为ETL (Extract/抽取,Transfonn/转换,Load/ 加载),通常ETL占到整个数据仓库开发时间的60%80吼大数据时代, 数据整合软件的市场也开始了整体的技术升级,主要解决两个主要技 术问题,一是独立的ETL应用服务器的计算能力普遍不足,二是无法 处理半结构化和非结构化数据。经过几年的技术发展,ETL过程逐步演 进为ELT,即数据抽取后直接加载(Load)到大数据平台中,再基于大 数据平台的计算能力来实现数据转换(Transform),不再依赖ETL应 用服务器做抽取和转化工
14、作,这样可以解决ETL应用服务器的处理能 力不足问题,充分利用大数据平台的分布式计算能力提升数据集成的 效率和稳定性。(二)大数据存储和处理大数据存储与处理要用用服务器及相关设备把采集到的数据存储 起来,使得数据能够被高效地访问和运算。由于数据量的爆发式增长, 尤其是非结构化数据的大量涌现,传统的单机系统性能出现瓶颈,单 纯地提高硬件配置已经难以跟上业务的需求,产生的海量数据没有合 适的存储场所,企业被迫放弃大量有价值的数据;数据处理的速度和 性能出现瓶颈,业务的深度和广度受到限制。因此,过去十年间,计 算机系统逐步从集中式向分布式架构发展。分布式架构及相关技术通 过增加服务器的数量来提升系统
15、的处理能力,每个节点都是一个可独 立运行的单元,单个节点失效时不会影响应用整体的可用性。分布式 系统在扩展性、容错性、经济性、灵活性、可用性和可维护性方面具 有明显优势。(三)数据治理根据国际数据管理协会的定义,数据治理是对数据资产管理形式 权利和控制的活动集合。数据治理是一个管理体系,包括组织、制度、 流程和工具,随着集成和存储的数据量增加,数据治理的难度也逐渐 增加,牵扯的关联方也越来越多,因此需要一套适合企业的方法论来 开展工作。业界逐渐形成了 DAMA、DCMM等较完整的数据治理体系框架, 一般包括制定数据治理战略、定义数据治理工作机制、通过各个业务 专题来落实相关数据治理工作内容,并
16、最终落实到数据治理工具上来 实现高效持续的数据治理的执行流程。具体到数据治理的内容,一般 包括元数据管理(包括元数据采集、血缘分析、影响分析等)、数据 标准管理(包括标准定义、查询与发布等)、数据质量管理(包括质 量规则定义、质量检查、质量报告等)、数据资产管理(包括数据资 产编目、数据资产服务、资产审批等)、数据安全管理(包括数据权 限管理、数据脱敏、数据加密等)、数据生命周期管理(包括数据归档、数据销毁等)以及主数据管理(包括主数据申请、发布、分发等) 这几个主要的部分。(四)数据建模数据建模是构建企业数据仓库、数据湖和数据集市的重要过程, 其通过一个业务级别的数据模型设计,将分散在不同数
17、据源中的数据 集成在一起,并通过一种面向业务主题的方式将数据分门别类来做重 新组织和标准化,形成有明确业务意义的数据形式,统一为数据分析、 数据挖掘等提供可用的数据。面向业务主题(如客户主题、账户主题 等)的数据组织管理方式便于业务人员对数据的理解和综合使用。具 体到技术层面,数据建模一般包括业务调研、架构设计、数据模型设 计、数据库SQL开发与测试、业务集成上线等几个阶段,架构设计是 整个工作的核心,一般会面向不同的行业来设计相关行业的逻辑数据 模型。在数据建模过程中使用的工具主要包括:数据模型设计与管理 工具、SQL开发工具、任务调度工具等。(五)数据分析和挖掘大数据分析和数据挖掘的核心目
18、标是对客观事实规律进行描述、 展示和总结、刻画、推广,可以从大量的数据中通过算法来揭示出隐 含的、未知的并有潜在价值信息,并对客观规律进行溯源和解释,从 而帮助决策者做出正确的预测和决策。围绕这个目标,大数据分析和 挖掘的手段可以分为模型驱动、数据驱动等,一般通过统计、在线分 析、情报检索、机器学习和专家系统等在内的多种方法来实现这一目 标。现阶段在面对大数据4V问题时,大数据分析和数据挖掘工具对传 统数据分析和挖掘工具做进一步自动化和智能化;与此同时,近年来 深度学习的兴起又为大数据分析提供了新的手段,其做为当前计算机 行业的热点研究方向之一,其本质的目标是从大量数据中提取模式和 知识,其要
19、处理的对象包括结构化数据、半结构化数据和非结构化数 据在内的所有类型数据,例如近年来在视频、语音等非结构化数据的 分析需求快速增加,相应的深度学习技术也取得了飞速发展。(六)数据流通数据流通是按照一定规则,将存储的数据或者数据分析、挖掘得 到的信息作为流通对象,从供应方传递到需求方的过程。数据流通的 具体内容包括可视化的分析报告、面向运营人员的数据标签、面向应 用可以直接调用的数据指标API、面向数据分析人员的数据集、面向数 据挖掘人员的数据特征、和面向业务建模人员的单方或多方的建模模 型等。基于数据水印、数据加密和脱敏、隐私计算、联邦学习的数据 流通安全技术,可以提高数据流通的完整性和保密性
20、。七、营销调研的方法(一)确定调查对象20世纪30年代,发生了震撼世界的资本主义经济危机,西方企业 面临产品严重过剩,市场迫使企业转变经营观念。营销方式从大量营 销向产品差异化营销转变,即向市场推出许多与竞争者在质量、外观、 性能和品种等方面不同的产品。产品差异化营销较大量营销是一种进 步,但是由于企业仅仅考虑自己现有的设计、技术能力,忽视对顾客 需求的研究,缺乏明确的目标市场,因此产品营销的成功率依然很低。 由此可见,在产品差异化营销阶段,企业仍然没有重视对市场需求的 研究,市场细分仍然缺乏产生的基础和条件。(三)目标营销阶段20世纪50年代以后,在科学技术革命的推动下,生产力水平大幅 度提
21、高,产品日新月异,生产与消费的矛盾日益尖锐,以产品差异化 为中心的推销体制远远不能解决西方企业所面临的市场问题。于是, 市场迫使企业再次转变经营观念和经营方式,由产品差异化营销转向 以市场需求为导向的目标营销,即企业在研究市场和细分市场的基础 上,结合自身的资源与优势,选择其中最有吸引力和最能有效为之提 供产品和服务的细分市场作为目标市场,设计与目标市场需求特点相 互匹配的营销组合。市场细分战略应运而生。调查对象的代表性直接影响调查资料的准确性。根据调研的目的 及人力、财力、时间情况,要适当地确定调查样本的多少和确定调查 对象。1、普查和典型调查普查是对调查对象进行逐个调查,以取得全面、精确的
22、资料,信 息准确度高,但耗时长,人力、物力、财力花费大。典型调查是选择 有代表性的样本进行调查,据以推论总,体。只要样本代表性强,调 查方法得当,典型调查可以收到事半功倍的效果。2、抽样调查当调查对象多、区域广而人力、财力、时间又不允许进行普查时, 依照同等可能性原则,在所调研对象的全部单位中抽取一部分作为样 本,根据调查分析结果来推论全体。常用的抽样方法有:(1)纯随机抽样。完全不区别样本是从总体的哪一部分抽出,总 体中的每个单位都有同等机会被抽取出来。如采用抽签法或乱数表法。(2)机械抽样。遵照随机原则,将全部调查单位按照与研究标志 无关的一个中立标志加以排列,严格按照一定的间隔机械地抽取
23、调查 样本。由于样本在总体中分配较均匀,样本代表性也较大。(3)类型抽样。实行科学分组与抽样原理相结合,先用与所研究 现象有关的标志,把被研究总体划分为性质相近的各组,以减低各组内的标志变异度,然后在各组内用纯随机抽样或机械抽样的方法,按 各组在总体中所占比重成比例地抽出样本。这种方法也叫类型比例抽 样,样本代表性更大,可得到较纯随机抽样或机械抽样更精确的结果。(4)整群抽样。上述方法都是从总体中抽取个别单位,整群抽样 则是整群地抽取样本,对这一群单位进行全面观察。其优点是比较容 易组织,缺点是样本分布不均匀,代表性较差。(5)判断抽样。由专家判断而决定所选的样本,也称立意抽样。(二)收集资料
24、调查收集第一手资料的方法,主要有以下几种。1、固定样本连续调查用抽样方法,从母体中抽出若干样本组成固定的样本小组,在一 段时期内对其进行反复调查以取得资料。调查技巧可采用个别面谈、 问卷调查、消费者日记或观察记录调查。固定样本连续调查能掌握事 项的变化动态,分析发展趋势。但如持续时间长,被调查者会感到厌 烦。所以,对一般问题的调查,往往采用一次性调查,其方法包括观 察法、实验法和询问法。2、观察调查由调查人员到现场对调查对象的情况有目的、有针对性地观察记录,据以研究被调查者的行为和心理。这种调查多是在被调查者不知 不觉中进行的,除人员观察外,也可利用机械记录处理。如广告效果 数据,国外多利用机
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 应用 解决方案 产业 市场 前瞻 分析
限制150内