大数据产品技术服务产业市场前瞻分析.docx





《大数据产品技术服务产业市场前瞻分析.docx》由会员分享,可在线阅读,更多相关《大数据产品技术服务产业市场前瞻分析.docx(33页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、大数据产品技术服务产业市场前瞻分析一、品牌经理制与品牌管理品牌是企业重要的无形资产,品牌管理实质就是品牌资产管理。 品牌管理水平的高低直接关系到品牌资产投资和利用效果的好坏。一 般而言,企业的品牌管理的主要任务包括监控品牌运营状况,设计或 参与设计品牌,申请注册商标,管理品牌或商标档案,管理商标标签 的印制、领用与销毁,处理品牌纠纷、维护商标权,协助打假,品牌 全员管理教育等。品牌管理的组织形式反映了在品牌运营活动中企业内部各部门、 各机构的权力与责任及其相互关系,主要有职能管理制和品牌经理制 两种。(一)职能管理制职能管理制是在西方盛行于20世纪20-50年代的品牌管理制度 (当然,许多企业
2、至今仍很钟爱)。作为品牌管理制度,其主要做法 是,在企业统一领导、组织与协调下,品牌管理的职责主要由企业各 职能部门分别承担,各职能部门在各自的权责范围内行使权利、承担 义务。亦即,在职能管理制度下,有关品牌的决策与计划都由各职能 管理部门的负责人或主管人员共同参与、研究制定、分别执行。(二)品牌经理制 的稳定性、可靠性、高效性、可用性和可扩展性等是主要的技术目标, 越来越多的企业开始选用专业的数据采集服务。大数据整合的目标是 将各种分布的、异构的数据源中的数据抽取后,进行清洗、转换,最 后加载到数据仓库或数据集市中,作为数据分析处理和挖掘的基础; 这个过程常常也被称为ETL (Extract
3、/抽取,Transform/转换,Load/ 加载),通常ETL占到整个数据仓库开发时间的60%80%。大数据时代, 数据整合软件的市场也开始了整体的技术升级,主要解决两个主要技 术问题,一是独立的ETL应用服务器的计算能力普遍不足,二是无法 处理半结构化和非结构化数据。经过几年的技术发展,ETL过程逐步演 进为ELT,即数据抽取后直接加载(Load)到大数据平台中,再基于大 数据平台的计算能力来实现数据转换(Transform),不再依赖ETL应 用服务器做抽取和转化工作,这样可以解决ETL应用服务器的处理能 力不足问题,充分利用大数据平台的分布式计算能力提升数据集成的 效率和稳定性。(二)
4、大数据存储和处理大数据存储与处理要用用服务器及相关设备把采集到的数据存储 起来,使得数据能够被高效地访问和运算。由于数据量的爆发式增长, 尤其是非结构化数据的大量涌现,传统的单机系统性能出现瓶颈,单 纯地提高硬件配置已经难以跟上业务的需求,产生的海量数据没有合适的存储场所,企业被迫放弃大量有价值的数据;数据处理的速度和 性能出现瓶颈,业务的深度和广度受到限制。因此,过去十年间,计 算机系统逐步从集中式向分布式架构发展。分布式架构及相关技术通 过增加服务器的数量来提升系统的处理能力,每个节点都是一个可独 立运行的单元,单个节点失效时不会影响应用整体的可用性。分布式 系统在扩展性、容错性、经济性、
5、灵活性、可用性和可维护性方面具 有明显优势。(三)数据治理根据国际数据管理协会的定义,数据治理是对数据资产管理形式 权利和控制的活动集合。数据治理是一个管理体系,包括组织、制度、 流程和工具,随着集成和存储的数据量增加,数据治理的难度也逐渐 增加,牵扯的关联方也越来越多,因此需要一套适合企业的方法论来 开展工作。业界逐渐形成了 DAMA、DCMM等较完整的数据治理体系框架, 一般包括制定数据治理战略、定义数据治理工作机制、通过各个业务 专题来落实相关数据治理工作内容,并最终落实到数据治理工具上来 实现高效持续的数据治理的执行流程。具体到数据治理的内容,一般 包括元数据管理(包括元数据采集、血缘
6、分析、影响分析等)、数据 标准管理(包括标准定义、查询与发布等)、数据质量管理(包括质 量规则定义、质量检查、质量报告等)、数据资产管理(包括数据资 产编目、数据资产服务、资产审批等)、数据安全管理(包括数据权 限管理、数据脱敏、数据加密等)、数据生命周期管理(包括数据归 档、数据销毁等)以及主数据管理(包括主数据申请、发布、分发等) 这几个主要的部分。(四)数据建模数据建模是构建企业数据仓库、数据湖和数据集市的重要过程, 其通过一个业务级别的数据模型设计,将分散在不同数据源中的数据 集成在一起,并通过一种面向业务主题的方式将数据分门别类来做重 新组织和标准化,形成有明确业务意义的数据形式,统
7、一为数据分析、 数据挖掘等提供可用的数据。面向业务主题(如客户主题、账户主题 等)的数据组织管理方式便于业务人员对数据的理解和综合使用。具 体到技术层面,数据建模一般包括业务调研、架构设计、数据模型设 计、数据库SQL开发与测试、业务集成上线等几个阶段,架构设计是 整个工作的核心,一般会面向不同的行业来设计相关行业的逻辑数据 模型。在数据建模过程中使用的工具主要包括:数据模型设计与管理 工具、SQL开发工具、任务调度工具等。(五)数据分析和挖掘大数据分析和数据挖掘的核心目标是对客观事实规律进行描述、 展示和总结、刻画、推广,可以从大量的数据中通过算法来揭示出隐 含的、未知的并有潜在价值信息,并
8、对客观规律进行溯源和解释,从 而帮助决策者做出正确的预测和决策。围绕这个目标,大数据分析和 挖掘的手段可以分为模型驱动、数据驱动等,一般通过统计、在线分 析、情报检索、机器学习和专家系统等在内的多种方法来实现这一目 标。现阶段在面对大数据4V问题时,大数据分析和数据挖掘工具对传 统数据分析和挖掘工具做进一步自动化和智能化;与此同时,近年来 深度学习的兴起又为大数据分析提供了新的手段,其做为当前计算机 行业的热点研究方向之一,其本质的目标是从大量数据中提取模式和 知识,其要处理的对象包括结构化数据、半结构化数据和非结构化数 据在内的所有类型数据,例如近年来在视频、语音等非结构化数据的 分析需求快
9、速增加,相应的深度学习技术也取得了飞速发展。(六)数据流通数据流通是按照一定规则,将存储的数据或者数据分析、挖掘得 到的信息作为流通对象,从供应方传递到需求方的过程。数据流通的 具体内容包括可视化的分析报告、面向运营人员的数据标签、面向应 用可以直接调用的数据指标API、面向数据分析人员的数据集、面向数 据挖掘人员的数据特征、和面向业务建模人员的单方或多方的建模模 型等。基于数据水印、数据加密和脱敏、隐私计算、联邦学习的数据 流通安全技术,可以提高数据流通的完整性和保密性。五、大数据市场构成大数据行业主要解决大数据的存储、处理、分析和价值发现等问题,实现大数据的业务价值。从产品和服务来看,大数
10、据市场产品和 服务包括三个主要部分,即大数据硬件、大数据软件、大数据专业服 务。其中,大数据软件部分按照产品功能的不同可以被分为:大数据 管理平台、数据应用中间件、数据智能分析工具、大数据应用四个部 分。六、国内大数据市场发展情况中国大数据市场在过去五年间经历快速增长,整体市场规模增长 速度快于全球整体市场。2019年,中国大数据市场规模达到627亿元, 20152019年复合增长率达到31. 9%o其中,大数据硬件为市场主要 的收入来源,2019年大数据市场硬件收入达到247亿元。中国大数据软件市场由2015年的52亿元增长至2019年的146亿 元,年复合增长率为29. 5%。伴随着中国对
11、数据运用重视程度日益提 高,用户对于大数据软件采购预算增加趋势明确,中国大数据软件市 场将在未来五年继续保持高速增长,整体软件市场规模将在2024年达 到492亿元,2019-2024年复合增长率为27. 5%0虽然现阶段大数据软件收入占比较小,但得益于较高的细分市场规模增速,未来大数据 软件将占据更多的市场份额。七、大数据行业未来发展趋势(一)分布式系统成为行业技术架构主要的发展方向传统数据库以集中式架构为主,集中式架构由一台或多台主计算 机组成中心节点,数据存储以及整个系统的业务单元都集中部署于该 中心节点中,系统所有的功能均由中心节点集中处理。每个终端或客 户端仅仅负责数据的录入和输出,
12、而数据的存储与控制处理完全交由 主机完成。分布式架构下,软件组件分布在不同主机上,主机之间通 过网络连接进行通信和协调。随着海量及异构数据的数据分析需求增长,需要的计算、存储和 10等资源也在极速增加。集中式架构通过改善硬件配置来提升存储和 处理能力,但单台主机可配置的资源存在上限,因此传统的集中式架 构软件难以满足海量及异构数据的数据集的处理和分析需求。而为了 处理TB以及PB级别以上的数据规模,分布式的架构将数据分散在网 络上多个通过高速网络互联的节点上联合计算。因为数据分布在不同 节点,在进行计算任务时,任务也会被切分成多个子任务,分发到多 个节点上同时进行计算,能充分利用整个集群各个节
13、点的计算资源、 存储资源和10资源,可线性提升集群的存储和处理能力。因此,分布 式架构能较好的处理该类问题,这也是分布式架构相对于传统单机架 构的核心优势。在大数据场景下,分布式系统在扩展性、容错性、经济性、灵活 性、可用性和可维护性方面具有明显优势,能够较好的满足大数据分 析的需求。此外,近年来,分布式技术不断发展,在提供高弹性、支 持高并发的同时,支持关系型数据库中强事务性的特性,成为大数据 技术的重要发展方向。2、数据管理软件趋向于统一多数据模型的平台 数据模型是决定数据库系统逻辑的重要因素,并从根本上决定以何种 方式存储、组织和操作数据,包括传统的关系模型和NoSQL数据模型 (文档模
14、型、键值模型、图模型等)。大多数数据库管理系统只能支 持一种或少数几种数据模型,因此企业通常只能使用多种数据库产品 联合的方案来应对日益增长的异构数据模型处理需求。随着大数据厂商技术实力的提升,逐渐出现了能够提供多数据库 模型的大数据平台技术。相比多种数据库产品的集成方案,多种数据 库模型统一的大数据平台的优势包括:(1)提升场景效率。同一份数 据可以分别采用多种数据模型存放,解决不同场景的处理效率问题; (2)统一分析管理。关联不同模型的数据,统一分析管理;(3)降 低运维成本。无需维护多种数据库,降低运维成本;(4)降低数据持 有成本,同一份数据在不同的数据模型当中不需要全量存储,不同模型
15、只需要存储必要的数据内容即可,在查询时可以通过关联的方式获 取全量信息。未来多模型数据平台将通过不断提高计算、存储引擎的处理能力, 从操作响应速度、数据并发能力、数据管理成本等多个角度优化企业 的数据需求,成为多模大数据平台的重要发展趋势。(二)云原生大数据平台架构成为未来的主要发展方向云原生的代表技术包括容器、服务网格、微服务、不可变基础设 施和声明式API,这些技术能够构建容错性好、易于管理和便于观察的 松耦合系统。结合可靠的自动化手段,云原生技术使工程师能够轻松 地对系统作出频繁和可预测的重大变更。云原生技术有利于各组织在公有云、私有云和混合云等新型动态 环境中,构建和运行可弹性扩展的应
16、用。面对客户日益增长的海量数 据、多种数据结构的实时化、智能化处理需求,云原生的大数据平台 架构凭借计算存储解耦、资源池化、Serverless等核心技术,提供了 高弹性拓展、海量存储、多种数据类型处理及低成本计算分析的能力。 相比传统数据库,云原生数据库及数据管理平台天然具备灵活性,能 够提供强大的创新能力、丰富多样的产品体系、经济高效的部署方式 和按需付费的支付模式。(三)国家加速数据要素市场建设,推动数据安全流通技术的商 业化加速我国将搭建统一开放、竞争有序的数据要素市场体系,政策鼓励 产业链各环节的市场主体进行数据流通和交易,促进数据要素流通。 当前,丰富的数据要素资源已经涵盖了金融、
17、运营商、房地产、医疗、 能源、交通、物流、教育以及制造业、电商平台、社交网站等众多领 域。同时,由于数据的流通和利用是数据要素价值创造的前提。而跨 域、跨中心的数据融合计算需求,以及数据要素在开放流通环节中的 安全需求(包括可用不可见、可用不可得、可用不出域等),都使得 数据的安全可信流通成为数据要素的市场化配置的重要一环,也是各 行业数字化转型过程中和过程后的必由之路。随着数据安全法、个人信息保护法的实施,以安全为前提的数据开放利用将迎来新 一轮发展机遇。隐私计算是在处理、分析计算数据的过程中保持数据 不透明、不泄露、无法被计算方以及其他非授权方获取的一种技术解 决方案,能够在充分保护数据和
18、隐私安全的前提下,实现数据价值的 转化和释放,应用前景和商业价值巨大。在国家加速数据要素市场建 设和重视数据安全和隐私保护的大背景下,数据安全防护技术、隐私 计算技术的应用普及和商业化在加速进行。八、体验营销的主要策略美国著名学者伯德施密特博士在其所写的体验式营销一书 中主张,体验式营销是“站在消费者的感觉、情感、思考、行动、联 想五个方面,重新定义、设计营销的思考方式。”1、感官式营销策略感官式营销策略的诉求目标是创造知觉体验的感觉,它是通过视 觉、听觉、触觉、味觉与嗅觉等以人们的直接感官建立的感官体验。 感官营销可以突出公司和产品的识别,引发消费者购买动机和增加产 品的附加值等。如在超级市
19、场中购物,经常会闻到超市烘焙面包的香 味,这也是一种嗅觉感官营销方式。2、情感式营销策略情感式营销策略通过诱发触动消费者的内心情感,旨在为消费者 创造情感体验。情感营销诉求情感的影响力、心灵的感召力。体验营 销就是体现这一基本点,寻找消费活动中导致消费者情感变化的因素, 掌握消费态度形成规律,真正了解什么刺激可以引起某种情绪,以及 如何在营销活动中采取有效的心理方法能使消费者自然地受到感染, 激发消费者积极的情感,并融入这种情景中来,促进营销活动顺利进 行。情感对体验营销的所有阶段都是至关重要的,在产品的研发、设 计、制造、营销阶段都是如此,它必须融入每一个营销计划。情感营品牌经理制诞生在美国
20、宝洁(P&G)公司。宝洁产品在全世界得到 广大消费者认同,成功的原因除了 160多年来一直恪守产品质量原则 之外,品牌经理制的灵活而有效运用也是重要成因之一,甚至也可以 说,其核心理念“一个人负责一个品牌”的品牌经理制(管理系统) 是宝洁公司品牌运营的重要基石。品牌经理制在20世纪30年代问世于宝洁公司。到第二次世界大 战结束以后,品牌经理制被认为是从事多品种经营的消费品生产企业 品牌运营的规范组织形式。许多消费品生产企业(尤其是耐用消费品 的生产企业)都学习宝洁公司,纷纷采用品牌经理制。美国庄臣公司、美国家用品公司等世界范围内的众多大公司都先 后采用了品牌经理制,主要是因为品牌经理制有许多“
21、职能制”所不 具备的优点。第一,品牌经理制比职能管理制具有较强的品牌运作协 调性。在品牌经理制下,企业委任品牌经理负责某品牌运营全过程, 具体负责该品牌标定下的产品的开发、生产与销售,协调该品牌产品 的开发部门、生产部门和销售部门的工作。这就在很大程度上消除了 部门之间的互相扯皮、推读,减少因未能考虑整体利益、不熟悉整体 情况而产生的盲目性和分散性。第二,品牌经理制有利于达到品牌定 位目标,快速实现品牌个性化。在职能制下,常因互相扯皮、办事拖 拉而致使品牌运营各环节不能很好地衔接,而品牌经理制相当程度地 销的一个经典例子就是哈根达斯公司。无论在世界的任何地方,哈根 达斯冰激凌的营销总是如同营销
22、浪漫情感一样。3、思考式营销策略思考式营销策略通过启发智力,运用惊奇、计谋和诱惑,创造性 地让消费者获得认知和解决问题的体验,引发消费者产生统一或各异 的想法。思考式营销策略往往被广泛使用在高科技产品宣传中。在其 他许多产业中,思考营销也已经被使用在产品的设计、促销和与顾客 的沟通上。4、行动式营销策略人们生活形态的改变有时是自发的,有时是外界激发的。行动式 营销策略就是一种通过名人、名角来激发消费者,增加他们的身体体 验,指出做事的替代方法、替代的生活形态,丰富他们的生活,使其 生活形态予以改变,从而实现销售的营销策略。5、关联式营销策略关联式营销策略包含感官、情感、思考与行动营销等层面。关
23、联 营销超越私人感情、人格、个性,加上“个人体验”,而且与个人对 理想自我、他人或是文化产生关联。让人和一个较广泛的社会系统产 生关联,从而建立个人对某种品牌的偏好,同时让使用该品牌的人们进而形成一个群体。关联营销已经在化妆品、日用品、私人交通工具 等许多不同的产业中使用。九、市场细分战略的产生与发展市场细分是1956年由美国营销学者温德尔,斯密于产品差异和 市场细分一一可供选择的两种市场营销战略一文中,在总结西方企 业营销实践经验的基础上提出的。市场细分不单纯是一个抽象理论, 而且具有很强的实践性,顺应了第二次世界大战以后美国众多产品市 场转化为买方市场这一新的形势,是现代企业营销观念的一大
24、进步。 从总体上看,不同的市场条件和环境,从根本上决定企业的营销战略。市场细分理论和实践的发展经历了以下几个阶段。(一)大量营销阶段早在19世纪末20世纪初,即资本主义工业革命阶段,整个社会 经济发展的中心和特点是强调速度和规模,市场以卖方为主导。在卖 方市场条件下,企业市场营销的基本方式是大量营销,即大批量生产 品种、规格单一的产品,并且通过广泛、普遍的分销渠道销售产品。 在这样的市场环境下,大量营销的方式降低了产品的成本和价格,获 得了较丰厚的利润。企业没有必要研究市场需求,市场细分战略也不 可能产生。(二)产品差异化营销阶段20世纪30年代,发生了震撼世界的资本主义经济危机,西方企业 面
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 产品 技术服务 产业 市场 前瞻 分析

限制150内