大数据环境下中小企业竞争情报管理系统研究.pdf

1 摘 要 当前我们已经进入大数据时代，信息在社会发展过程中起着至关重要的作用，而且使用的范围越来越广泛，信息数据传播速度也越来越快。构建一套合适的竞争情报系统可以有效的帮助中小企业管理层更好的捕捉企业周围市场的环境变化、了解掌握客户的需求以及竞争对手的信息，使企业可以获得更好的发展。因此，充分利用大数据时代的发展机遇，快速而精准地获取竞争情报信息，已成为中小企业应对激烈竞争的必由之路。文章通过分析大数据技术和大数据环境对中小企业的影响，在对大数据背景下企业竞争情报系统研究与分析的基础上，对当前中小企业的竞争情报系统面临的困境提出了可行的意见建议，提出了建立包括收集系统、存储系统、分析系统、服务系统在内的完整的中小企业竞争情报系统。关键词：大数据技术；竞争信息；中小企业；竞争情报系统 Abstract At present,we have entered the era of big data,information plays a crucial role in the process of social development,and the range of use is more and more extensive,and the speed of information and data dissemination is faster and faster.The construction of a set of suitable competitive intelligence system can effectively help the management of small and medium-sized enterprises to better capture the changes of the surrounding market environment,understand and grasp the needs of customers and the information of competitors,so that enterprises can get better development.Therefore,making full use of the development opportunities in the era of big data and obtaining competitive intelligence information quickly and accurately has become the only way for small and medium-sized enterprises to cope with fierce competition.By analyzing the influence of big data technology and big data environment on small and medium-sized enterprises,based on the research and analysis of enterprise competitive intelligence system under the background of big data,this paper puts forward feasible suggestions on the difficulties faced by the current competitive intelligence system of small and medium-sized enterprises,and puts forward the 2 establishment of a complete small and medium-sized enterprise including collection system,storage system,analysis system and service system Enterprise competitive intelligence system.Key words:big data technology;competitive information;small and medium-sized enterprises;competitive intelligence system 第 1 章 绪论 1.1 研究背景 随着企业进入全面信息化时代，越来越多的企业逐步认识到情报信息的重要性。然而占据企业多数的中小企业，限于自身的条件困难（如资金缺乏、人才流失等），要想建立、发展自己的竞争情报系统往往举步维艰、无从下手。而当前关于帮助、指导中小企业的研究都很缺乏，中小企业需要一套系统、完善、可执行的方案帮助其发展。本文正是在这种背景下，研究中小企业如何开发竞争情报系统，并利用竞争情报制定公司策略，使其得到良好的发展。1.2 国内外研究现状 1.2.1 国外研究现状 通过在各类检索网站查询大数据环境下中小企业竞争情报管理系统的国外相关研究，对文献梳理如下：Fleisher,Craig S1明确公共政策竞争情报（PPCI）对公司战略的威胁、预警作用，同时研究了公司层面进入或退出产品或服务线等方面响应公共政策的发展，竞争情报将发挥更广泛的作用。Orozco,Eduardo2分析了古巴竞争情报的现状，并以拉丁美洲竞争情报的现状为前提，研究了 CI 在古巴成功应用的可能性，将 CI 作为决策的管理工具，并促进一种支持在古巴企业中使用信息的文化。Amine El Haddadi,Abdelhadi Fennan 等3提出基于 web 服务技术构建竞争情报系统（CIS），解决非结构化数据的捕获和存储，实现非结构化数据的处理。Ida Ip,Simon Fong 等4研究了商业的动态性，获取有用的外部信息在当前竞争激烈、数据量大的市场中至关重要，通过对目前竞争情报的发展进行回顾和总 3 结，提出一套针对餐饮行业的系统，帮助企业提高澳门市场的竞争优势。Hugo Araujo,Carlos J.Costa 等5提出竞争情报（CI）对市场的重要变化进行预警管理，使组织在竞争优势方面能够在动荡的环境中航行，分析构成 CI 的不同阶段，并对不同的模型进行了区分，提出了一个综合前人研究成果的概念模型，确定各种能够支持竞争情报过程的技术工具。Goran Pranji6通过实践验证，利用竞争情报数据获得的关于竞争的信息，为做出正确的商业决策提供了基础，从而实现公司既定的商业目标。目前国外发达国家对竞争情报的研究较为成熟，企业竞争系统的构建技术较为先进，随着互联网、大数据技术的发展，如何提高企业竞争力，构建行业竞争情报系统成为后续研究的重点之一。1.2.2 国内研究现状 本文在中国知网、百度学术、万方数据库、维普等平台对与课题相关的关键词进行检索，通过查询结果可以看出，近年来对于竞争情报的研究较为广泛，伴随着大数据在各类行业中应用的不断延伸，大数据环境下中小企业竞争情报管理系统研究在学术界的关注度日渐提高，同时企业对于竞争情报的重视度也越来越大。阮晓东7在分析了竞争情报的重要作用以及特征的基础上，总结大数据技术的发展对企业竞争情报能力的提高具有重要意义，以不同地域、不同行业的情报服务平台为例，阐述运用大数据技术，充分发挥企业竞争情报的积极作用，提高企业生存能力和竞争能力。胡笑梅、刘帅8针对大数据环境下中小企业市场环境状况、竞争对手信息、客户需求信息等进行分析，在了解总结传统竞争情报服务模式缺陷的基础上，提出构建中小企业“一站式”竞争情报服务的设想，为中小企业竞争情报系统的发展提供新思路。逄锦荣、张雨9在梳理了国内外竞争情报研究现状后，对竞争情报的需求特点进行分析并总结，并以快递行业的竞争情报为研究案例，提出建立以核心竞争情报和支撑竞争情报为切入点的竞争情报管理体系。王洪亮、张琪等10分析总结了近年来中小企业竞争情报的发展变化趋势，以 Herring模型构建动态合作机制的竞争情报系统模型，整合第三方公司的情报 4 搜集、处理优势，提供中小企业所需的具体竞争情报内容。张恒11、郑悦雪12通过对大数据背景下小企业面临的超竞争环境，总结出目前中小企业竞争情报工作存在重视程度不够、人才缺乏、情报质量偏低等问题，构建包括组织、人际等完备的中小企业竞争情报系统，实现情报收集、存储、加工、服务等功能，以期提高中小企业核心竞争力。李迎迎13以互联网+为背景依据，构建包括情报预警、收集、分析、输出等子系统的企业竞争情报模型，为其他行业建立企业竞争情报模型提供借鉴。我国关于竞争情报系统的研究时间相对于国外来说较短，但是针对大数据的竞争情报研究较为成熟，由于中小企业涉及行业较为广泛，如何构建一个完整的、全面的大数据竞争情报系统平台是现阶段亟需解决的问题之一。1.3 研究目的及意义 1.3.1 选题目的 随着我国经济格局的不断发展变化，中小企业在国民经济发展中起到更加突出的作用，成为我国经济发展的支柱之一，然而在当前社会信息化步伐加快，市场环境复杂多变的大环境下，中小企业受到自身因素以及外部环境的影响，在经营方面难免会遇到一些问题，其生存与发展步伐常常举步维艰。在此背景下，怎样正确引导我国中小企业突破发展瓶颈，运用更加合理的现代化管理手段，提高中小企业对数据情报的收集与分析能力，在激烈的市场竞争中找到发展的新商机成为摆在各企业面前的一项难题。论文的研究目的是通过对当前中小企业在竞争情报方面面临的问题进行分析和研究，再结合大数据的特征和关键技术，旨在探寻中小企业突破现实困境的措施，帮助中小企业建立合适的竞争情报系统，以便更好的应对经济社会发展的挑战，全面提高企业竞争力，使企业得到更好的发展。1.3.2 选题意义 第一，理论意义。本文对竞争情报系统展开的研究基于我国中小企业的发展特点和形式，结合当前经济发展环境，对中小企业经营过程中受到大数据时代的影响进行了深入分析。在分析了现有竞争情报系统的基础上，利用本科所学知识对中小企业竞争情报存在的问题加以总结归纳，并提出了相应的解决对策。第二，实践意义。本文研究的实践意义主要是通过阐述建设竞争情报系统的必要性，进而帮助中小企业管理者打破传统观念的束缚，重视对数据信息的收集、5 存储、分析，致力于构建符合自身发展需求、结合企业发展实际的竞争情报系统。从而使企业在面临外部竞争环境变化时，能够下及时掌握产品营销的相关政策、了解竞争对手的发展状况，能够基于大数据信息支持做出精准决策，得到更好的发展。1.4 研究思路及架构 第一，对国内外当前中小企业竞争情报现状进行分析研究，特别是在大数据环境下，一些发达国家或国内发达城市企业竞争情报系统的发展现状，分析该研究的理论及实践意义。第二，分析研究大数据及大数据环境对中小企业在资源配置、科学决策、产品设计、市场服务等方面产生的影响，探究中小企业构建竞争情报系统的必要性和紧迫性。再结合大数据的含义特征，分析企业在构建竞争情报系统时需要采用的大数据关键技术。第三，研究我国国内发展现状，特别是中小企业的现状，分析中小企业情报存在哪些问题和不足，并针对这些问题结合有关信息技术提出相应的意见建议。第四，从当前企业竞争情报系统的生产角度以及情报信息流通、情报服务等方面出发，构建一套及时、准确、高效的企业竞争情报系统。确定竞争情报系统的基本框架和模块，总结各模块所包含的功能，确定模块间的联系，并对所研究内容做系统总结。1.5 研究方法 第一，文献分析法。以“大数据环境下中小企业竞争情报管理系统研究”为关键词，在中国知网、万方数据知识服务平台、百度学术等平台上检索相关文献资料后，对其有价值的信息进行阅读梳理，为论文的撰写工作提供素材。第二，系统研究法。在本文进行系统分析设计之前，对当前现有的几个企业竞争情报系统的相关构建模型框架，主要功能、技术方法和手段等进行了调查研究，为本文中系统的构建提供相关思路、基础和参考借鉴。第三，总结归纳法。在收集并分析国内外关于中小企业竞争情报管理系统既有研究成果基础上结合本专业所学知识对其展开分析与研究，借鉴其合理性及具有指导性的研究成果。6 1.6 研究创新点 随着我国经济格局不断变化，中小企业已成为当前我国企业数量主体，中小企业的发展不断得到重视，然而针对大数据背景下中小企业竞争情报系统的研究的文章很少。本文将竞争情报系统中的数据存储单独设计为一个子系统，独立于竞争情报分析子系统之外，收集到的数据得以更好地清洗过滤，进而得到更可靠精准的数据分析结果。本文以此为立足点研究企业竞争情报系统的应用，为中小企业提供实用、可行的参考意见建议。第 2 章 大数据及对中小企业的影响 2.1 大数据含义及特征 2.1.1 大数据的含义 大数据的定义在不同的角度是不尽相同的。维克托 迈尔 舍恩伯格在 2010年提出了大数据的概念14。美国的数据科学家 Net App 也分别从带宽、分析和内容三个方面对大数据进行了定义15。John Rauser 认为16，大数据的容量非常大，只靠几个计算机是无法独立处理和分析的。从大数据发展的过去和以后的趋势来看，本文将大数据定义为：在互联网技术支持下，利用新的数据收集分析处理方法，对海量、繁杂的数据集进行智能化的信息挖掘，从而提取有价值的信息的技术。2.1.2 大数据的特征 第一，数据量大。当前社会环境，各种意想不到的来源都能产生数据，因此大数据采集、存储和分析的数据都是海量的。第二，数据类型多。大数据不仅有结构化数据，更多的是半结构化和非结构化等多种类型的数据，具体表现为社交媒体、网络日志、图片、传感器网络等数据，这对大数据的处理能力提出了极高的要求。第三，价值密度低。随着互联网在各个行业的广泛应用，各种数据大量涌现，但正因为数据庞大导致其价值密度较低。如何从海量数据中来挖掘有价值的信息，是当前大数据时代亟待解决的问题。第四，信息传播速度快、时效高。随着数据增长速度的加快，收集、处理数据的速度也必须加快，时效性要求非常高。比如用户在搜索网页时，能够看到每 7 时每刻产生的新闻。第五，数据是在线的。这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。2.1.3 大数据关键技术 数据采集、集成与处理、存储及管理等共同组成了大数据处理技术，是目前大数据中应用较为广泛的技术之一。第一，大数据采集。大数据的采集技术是指利用多个数据库从各个客户端接收各种类型的结构化、半结构化的数据，并允许用户通过这些数据来进行简单的查询和处理。第二，数据集成与处理技术。数据的集成就是每一个分布式的数据库分别采集不同领域的数据，将这些收集到的数据汇总到一个大型数据库或存储集群中进行处理分析。这一阶段的主要挑战是集成的数据量大，每秒的集成数据量通常会达到百兆字节，甚至千兆字节。第三，大数据存储与管理技术。大数据存储与管理技术就是把采集到的数据情报存储到相应的数据中心，以便后续进行管理和分析。当前，数据的海量快速增长、数据来源丰富以及数据类型多种多样都对大数据存储管理技术提出了更高的要求。2.2 大数据环境对中小企业的影响 第一，企业得到的竞争情报更加真实。在大数据时代背景下，现代企业可收集的数据来源众多，可收集到的数据数不胜数。无论是海量客户的交易数据，还是与众多用户的实时或离线交互数据，甚至是各类电子设备软件收集到的数据，这些来自各方数据信息都从各个侧面反映了企业的经营状况、企业的客户行为以及企业竞争对手特点等信息。这些来源不同的数据收集得越是全面、精准，处理之后的信息更加全面，企业经营战略的制定更具有针对性，客户信息、竞争对手情报信息以及市场环境特征等信息更加准确，同时对企业管理层的决策就越有指导价值。第二，企业竞争情报的实时性显著提高。近些年来随着大数据存储、分析技术的不断发展，面对海量的数据企业可以运用分布式大数据分析处理技术（如 8 Hadoop 大数据处理框架）来快速有效的处理分析收集到的数据，从而为企业得到更加全面、准确、详细的分析结果报告，为企业管理人员在做决策时提供参考依据。第三，企业竞争情报更加准确。各种信息传播收集平台，如 QQ、新浪微博、支付宝、微信、钉钉等，都包含着互联网用户在线活动的相关数据记录。企业用户在使用与本企业相关的网站时，也会留下一定的数据记录。这些海量的社会化用户数据中，蕴含了企业客户的行为路径信息、客户实际产品需求等有价值的信息。企业的信息部门可以根据自身的实际需求使用大数据分析处理技术来挖掘这些潜在的情报信息，为现代企业在制定精准有效的产品销售策略和计划。第 3 章 企业竞争情报系统 3.1 企业竞争情报系统概念 中科情分会理事长包昌火研究员表示17，企业竞争情报系统将人与机器有机结合，实现企业战略决策，通过员工职能、信息技术共同提高企业的竞争能力。美国教授约翰 普赖斯科特提出计划流程的正式与非正式业务管理组成了企业竞争情报系统17，系统对行业趋势、市场环境、行业结构进行分析、追踪，同时紧密观察竞争对手动态，帮助企业始终保持行业领先地位 在下载和阅读各种文档的过程中，作者发现，当前国内主要出现了两种对企业竞争情报系统的偏见：一种是把竞争情报系统视为纯粹的工具型软件，将其理解为管理信息系统，它的功能是收集信息情报18，为企业的管理提供预警，这仅仅是企业竞争情报系统的一部分功能；第二种偏见是把竞争情报系统当做对竞争对手采用不正当竞争手段的工具，在市场竞争中将其视为商业间谍的角色19。在对包昌火先生和约翰 普赖斯科特教授两位专家的对竞争情报系统理解的基础上，结合当前社会上对企业竞争情报系统地曲解，本文将竞争情报系统简单归结为：企业竞争情报系统由相互联系、相互影响的功能、结构和方法组成，各模块部分有机的联系在一起，并随着外部环境的变化和用户的需要提供不同情报产品的体系。9 3.2 企业竞争情报系统的流程 构建竞争情报系统的主要目的是承担企业特定的竞争情报工作。由于企业的竞争环境和商业模式等存在许多差异，竞争情报系统的形式将会有所不同，一般来说完整的竞争情报工作至少具有以下四个环节：第一，在情报收集环节，收集企业内部和外部的大量信息情报，并简单筛选过滤无用的数据；第二，在情报存储环节，将收集到的情报进一步提取有价值的信息并有序地存储到信息库中，以便进行后面的终端检索、情报调用管理以及情报分析管理；第三，在情报分析环节，对存储在数据库中的数据进行调用并采用大数据分析技术进行深度处理和计算，为企业经营提供有价值的相关信息19；第四，在情报服务环节，将经过情报分析后的情报知识以简单明了、通俗易懂的方式提供给企业用户，同时对用户在使用过程中反应的问题进行及时的收集处理，以供后续提供更完善的情报服务。企业竞争情报系统的框架如图3-1 所示。竞争情报系统 公 开信 息收 集渠 道非 公开 信息 收集 渠道 情 报收 集子 系统 情 报存 储子 系统 情 报分 析子 系统 情 报服 务子 系统 情报用户 Internet 平台 防火墙 企业 web 站点 Internet 用户 1 0 图 3-1 企业竞争情报系统框图 3.3 企业竞争情报系统组织形式的类型 在企业内部，CIS 部门的组织形式可分为四种类型。第一，分散式。在现有职能部门的基础上，每个职能部门在所负责联系的环境中收集有价值的信息，并将其传输到企业的信息中心进行处理。第二，重点式。将使用竞争情报最频繁的职能部门（比如产品研发部门和销售部门）作为重点构建竞争情报系统的核心。第三，集中式。建立情报收集中心，统一收集企业内外的数据信息并进行简单的处理，给企业各职能部门提供所需的情报信息，集中收集和处理各部门因业务往来而获取的各类信息，然后再提供给需求者使用。第四，单独式。建立企业内部情报部门，日常工作就是收集、分析、处理竞争情报，满足企业内部的需求。在情报产品实施效果显著的作用下，它可以通过自主管理来维持生存20。3.4 企业竞争情报系统的构成要点 图 3-1 企业竞争情报系统的构成要点 3.4.1 系统目标及功能 企业竞争情报系统最终实现的是宏观、中观和微观三个方面的具体目标。宏观目标是提高企业应对环境变化能力和竞争情报能力、将企业构建成学习型、创构成 组织结构 情报形成流程 运行机制 手段 系统目标和功能 1 1 新型组织21。中观目标是为了提高企业经营绩效，根据企业战略管理需要，及时向管理者报告竞争情报的含义和企业内外部环境的变化，在企业制定实施战略决策时提供支持。微观目标是为特定业务领域的企业部门提供竞争情报产品服务和战术决策支持。企业竞争情报系统的主要功能有市场环境监测、技术追踪、决策支持、对手分析、反竞争情报等。3.4.2组织机构及运行机制 企业竞争情报系统的组织结构包括企业专职竞争情报机构的设置、组织人员的构成、权威竞争情报机构与其他有关机构的关系。企业竞争情报系统采用与企业重大事务决策议事机制、与企业内部各业务系统的关系机制、与企业日常决策的关系机制等22的运行机制。3.4.3 竞争情报的主要流程及手段 竞争情报形成主要流程有确定情报需求、情报采集、情报信息加工和竞争情报产品表达。竞争情报工作的主要手段根据当前的科技发展水平，可分为计算机网络自动采集和非计算机系统手工采集。第 4 章 大数据环境下中小企业竞争情报分析 4.1 中小企业竞争情报需求特点 当前，由于中小企业与大型企业规模存在一定的差异，所以中小企业竞争情报系统的需求与大型企业有所不同，主要表现在：一、行业特性导致竞争情报系统需要极强的针对性；二、中小企业需要以客户导向为依据制定相关的企业策略，因此中小企业竞争情报系统需要极强的客户目的性，同时也考虑自身竞争环境；三、非正式信息来源渠道占比大，基本属于公司内部消化，不容易实现行业内共享23；四、中小企业竞争情报系统主要为企业决策提供依据，因此，中小企业竞争情报系统需要充分利用信息的便利特点等。随着社会对数据的需求，大数据技术的发展，中小企业竞争情报系统以其特有的数据分析和信息处理功能得到人们的更多重视，同时也将面临着前所未有的挑战。1 2 4.2 中小企业竞争情报工作存在的问题 第一，中小企业员工的大数据情报意识薄弱。目前，我国大多数中小企业管理者在竞争情报工作方面的认识普遍还停留在传统层面，对大数据竞争情报对企业生存和发展的重要性认识不足。尽管大数据的快速增长和相关技术的发展带来了新的商机，但仍有许多人不了解大数据及其存在的价值。据一项针对中小企业员工的调查（数据如表 4-1 所示）显示，目前大约只有9%的企业员工对于和大数据的相关话题非常关注，但同时也有 22%的员工表示并不了解大数据竞争情报，另有 18%的人说他们一般理解当前的竞争情报。此外，还有 51%的受调查者认为他们的理解比较片面，其中最典型的代表是有部分受访者认为大数据应用属于大公司关心的技术，中小企业涉及不到。更有甚者，相当一部分受访者认为大数据技术仅仅是商家用来吸引客户的一种手段，技术本身并无特色。如果企业对大数据有以上或者其他的误解，就会导致企业依赖决策层的主观意识和情感做出重要决策24，对于大数据竞争情报的不重视，必然会导致企业在决策过程中更多的以决策者的主观臆断为依据，出现错误的决策。图 4-1 对大数据竞争情报的了解情况 第二，传统数据库管理不能应对快速增长的数据量。随着社会信息化步伐加快，企业将面临庞大的数据集，未来的竞争情报系统将要处理更多的数据。据统计，目前在美国拥有超过 1000 名员工的九百多家公司存储的数据都超过100TB25；在过去两年中，淘宝的月度活跃用户增长了 2.26 亿，年度活跃消费者增长了 2.08 亿；百度大脑每天被调用 4 千亿次，而且竞争情报系统不仅要收 1 3 集企业内外部数据库中的业务数据，还要收集用户在使用网络时所产生的难以计算的社会化数据。如此海量的数据不仅要求竞争情报系统具有先进的软硬件，而且还要求系统具有强大的存储能力，传统的数据库对于处理兆字节级别的数据无能为力，自然也无法支持高级情报分析，并不能完成此项工作。第三，数据类型复杂导致情报分析困难。在大数据时代，企业竞争情报来源结构发生了显著变化，据一项统计显示，企业中结构化数据只占比 30%，而剩下的 70%的数据都是非结构化或半结构化的26，而且非结构化数据的增长速度远大于结构化数据的增长速度（具体如表 4-2 所示）。传统的算法只是单纯的挖掘分析结构化数据，其他类型的数据需要转化为结构化数据分析，加大了工作量，并且不能很好的利用收集到的数据，因为在这个过程中很有可能会丢失原本数据的隐式关系，丢失这些关系中隐藏的重要情报，使得分析的结果具有高度的不确定性和不精准性，降低了数据分析的效率，影响了竞争情报分析的及时性。图 4-2 非结构化与结构化数据占比 4.3 针对当前问题提出的意见建议 第一，提高中小企业竞争情报意识。中小企业对竞争情报系统的重要性应高度重视，当前我国中小企业在培训竞争情报意识方面与大企业相比相差甚远，具体情况如图 4-3 所示（数据来源于网络）。首先，我们需要转变传统观念，尤其 1 4 是企业决策层，要摒弃原有的对大数据情报的偏见误解，不要认为竞争情报系统是大企业应该重视构建，因而忽视了对竞争情报系统的建设；其次，以企业长远发展战略为着手点，依据各行业中小企业实际，开展培育教育，针对企业内部员工进行培训，提高员工对竞争情报的认识度与使用度；再次，企业自身加强竞争情报系统的投入力度，与高校、研究院强化合作，吸引更多的优质人才加入本企业竞争情报体系建设，同时尽力构建企业自身的竞争情报系统。最后，相关行业协会或组织可联合各媒体或利用网络，加强对竞争情报作用的宣传，宣传竞争情报系统对提高企业综合竞争力的重要性，使各中小企业充分感受到开展竞争情报研究的时效性、必要性、紧迫性，增强中小企业自身的竞争情报意识，使企业管理者在组织企业活动或进行重大决策时能积极利用竞争情报。图 4-3 企业对竞争情报意识的培训 大数据是不可阻挡的时代潮流，中小企业的每个员工都需要正确面对大数据技术给企业带来的挑战、创造的机遇，转变自己的想法，对大数据分析技术有基本的了解甚至掌握，才能在第一时间了解市场环境的变化，再以最快的速度推送给决策者，使公司决策层在最短时间内获取市场状况和竞争动态。如果对企业竞争情报系统无所作为、固步自封，那么企业将丧失竞争力，最终沦为时代的泡沫。第二，构建基于云计算的中小企业竞争情报管理系统。利用云计算技术将互联网与各类计算方式结合，实现 IT 资源自动化管理和配置、将 IT 资源管理简单化、拓宽综合利用 IT 资源的提供路径。云计算具有三个明显的特点27。云计算 1 5 中资源共享和存储管理能力是云计算中最基本的基础；快速交付能力为用户提供了超大的计算资源，极速提高了数据响应速率；按需服务特点为数据实时响应提供了极大的可能，实现动态扩展和组合。云计算中信息的存储、共享和挖掘方式为竞争情报分析提供了工具，并且经过大数据分析预测后，竞争情报会更加准确，二者相辅相成。建立在云计算基础上的竞争情报管理系统不仅成本低，而且具有强大的存储能力、精准的分析能力和快速的反应能力。第三，注重数据类型分析。在大数据背景下，不管是在日常经营中还是在进行重大决策时上，企业都会在各种信息管理系统中留下一定的数据记录。而这些记录呈现出各种数据类型，比如微博短信等实时数据或网站交易数据等动态数据，企业将动态数据利用大数据、云计算、互联网+技术有效整合，从中找出相应规律，进而再现企业运行和发展的全部面貌。同时，企业要分析所在竞争情报领域特性，构建适合本企业的大数据分析处理平台。尽管当前已经有很多信息技术公司、企业、研究机构都开始探索大数据实时处理分析平台，研究大数据存储方法技术。具有完备功能的大数据处理工具和大数据开源云计算平台等都已得到了广泛的应用，但我国实施大数据分析工具和平台仍处于初级阶段，尚缺少通用的大数据实时分析处理框架。像阿里巴巴、百度等大型互联网企业在构建本公司的大数据处理平台时均需要根据本行业特性对已有的Hadoop 平台进行性能改进，所以，中小企业在开展竞争情报过程中，必须根据本企业、本行业特性，综合选择大数据工具，根据实际需要构建实时竞争情报管理系统。第 5 章 大数据环境下中小企业竞争情报系统的构建 本文将该系统单元模块设定为收集、存储、分析、服务四个模块，整个系统构成，详见图 5-1 所示。1 6 图 5-1 竞争情报系统单元模块 5.1 竞争情报收集子系统 竞争情报收集子系统主要是中小企业竞争情报人员在企业管理者或决策人员在确定情报主题后，从各种渠道对最新政策、竞争对手发展动态等与该情报相关数据进行收集整理，主要内容包括国内外最新的政策、行业、竞争对手发展动态等。本文设计研究的中小企业竞争情报收集子系统利用“分而治之”的方式，多个分布式集群并行工作，能够更加快速的收集企业内外部产生的数据。对于静态大数据，竞争情报收集子系统可以每隔一段时间对信息数据进行采集，企业根据自身对信息需求情况灵活设定收集时间段，例如一小时、一天等。而对于情报动态信息，企业则需要在数据发生变化时进行实时采集，以便企业竞争情报系统能够及时分析数据并做出实时响应。在数据采集的同时，要将一些无关数据进行简单的过滤分类，然后进入竞争情报存储环节。操作流程如下图 5-2 所示。竞争情报服务子系统 竞争情报收集子系统 竞争情报分析子系统 应用程序服务器 应用程序服务器 数据库 数据库 竞争情报存储子系统 Web 服务技术 Web 服务安全模型 分布式数据库管理系统 定时 实时 实时大数据 静态大数据 信息检测 线下大数据 信息分类 数据审核 信息库 1 7 图 5-2 竞争情报收集子系统操作流程 5.1.1 竞争情报需求 企业收集的情报要同时兼备广泛性和特殊性两个特点。广泛性是指收集的竞争情报要包含涵盖企业所处市场大环境特征、竞争对手发展状况及企业内部的各个职能部门；特殊性是指要制定明确的目标，为特定的对象服务。所以，在进行竞争情报收集前，首先要确定收集的范围，确定竞争情报需求。在企业日常运营中可运用关键成功因素法来辅助分析情报需求。关键成功因素是指在企业创建经营发展过程中，那些对企业成功起到关键作用的因素通常是决策信息需求的来源，也是需要收集的一部分情报。另外，关键成功因素法还经常对那些企业管理人员在决策时关注的业务领域情况进行衡量，并将这些度量信息提供给管理人员，也这是需要收集的情报。实践证明，关键成功因素法在确定企业竞争情报需求方面能够有起到比较好的作用。由于中小企业规模小，在资金、技术等方面与大型企业有着很大的差距，因此中小企业可以着重收集市场环境、客户需求、产品研发等方面的内容，根据当前大环境及时调整生产、组织销售，随时改变运营策略，将有限的资金、技术、人力投入大型企业容易忽略的机会，以满足产品空缺和市场需求。5.1.2 竞争情报收集 在完成竞争情报需求分析之后，企业需要根据所要收集情报的特点并结合公司的实际情况确定信息收集的方式，然后再明确竞争情报的收集渠道，最后使用大数据采集技术收集情报。企业竞争情报管理系统的情报收集方式主要有两种，一种是一般信息收集，对同行业企业需要常规使用信息进行固定时间的收集；另一种是关键信息收集，此方式主要针对于具体项目的竞争情报信息进行着重收集，在初始构建运行企业竞争情报管理系统时通常使用这种收集模式，在随着系统不断的运行发展，企业可以总结经验，并将一些经常需要收集的信息逐步转为常规信息收集模式，如竞争环境监视、关键技术跟踪等。中小企业通常没有完整的产业结构和长远的经营规划，比较依赖市场环境的变化，因此，中小企业竞争情报收集主要以关键信息收集模式为主，多针对某一问题进行投资信息等方面的情报收集。在确定竞争情报收集方式的同时还要考虑到信息收集的渠道，包括公开渠道 1 8 和非公开渠道两种，公开渠道的来源以互联网数据、文献资料以及竞争对手数据为主。非公开渠道主要包括企业员工、信息系统及行业研究报告等。具体如表5-1 所示。中小企业的信息情报信息多可以通过公开渠道得到，在相关文献资料、互联网上等搜集可得到比较完善的市场环境信息、国家政策等；通过产品发布会、专利检索等公开的产品服务可得到相关产品技术信息；通过其他企业的产品上新、宣传资料可获得一定的竞争对手信息。表 5-1 情报信息收集渠道 来源 具体方式 公开信息收集渠道 互联网数据 微博、微信、官网等 文献资料 图书、期刊、专利等 竞争企业信息 产品上新、企业宣传资料等 非公开信息收集渠道 企业员工 资料档案等 信息系统 ERP 系统、CRM 系统等 行业数据 数据公司、咨询公司等 在情报收集的过程中，面临大量的数据，企业可使用大数据采集技术对数据进行收集。现有的采集技术有系统日志、网络数据、数据库等。具体技术如表5-2 所示。表 5-2 大数据采集技术 系统日志采集系统（主要收集日志数据）Flume Apache Flume 作为日志收集系统，将采集到的数据集中存储，Flume 则通过简便的处理架构，实现对日志流数据的实时在线分析。Scribe Scribe 属于开源日志采集系统，对接各类数据源，集中在中心存储系统中存储，方便后续的分析处理。网络数据采集系统（通过网络爬虫和公共 API 等方式从网站上获取数据）Apache Nutch 框架 Apache Nutch 作为一个高透明度、扩展性极强的网络爬虫框架。Apache 在 Hadoop 支持下，利用建立 MapReduce 任务实现网页数据的分布式抓取，由 Nutch 对数据进行存储和 1 9 索引。Crawler4j、Scrapy 等框架 Crawler4j 和 Scrapy 都是一个爬虫框架，分别基于 Java 和 Python，同样具备爬虫框架简单的特点，开发人员可以根据具体需求任意修改，缩短开发时间，同时支持数据挖掘、监测、测试以及过滤重复 URL 的功能。数据库采集系统 目前应用较为广泛的数据库存储系统为MySQL 和 Oracle，也有一部分企业数据库的数据来源为 DCS 系统数据。同时Redis 和 MongoDB 数据库也会应用于数据的采集。5.2 竞争情报数据存储子系统 竞争情报收集子系统在收集数据时只是将数据简单的筛选，将一些无关数据排除，竞争情报数据存储子系统会对数据进行进一步清洗处理，可通过预定义的清理规则等方法删除重复信息、缺失值和无效值等，将满足质量要求的数据存入情报库中，以便后续提供给情报分析子系统使用。流程如图 5-3 所示。当前大部分中小企业的竞争情报系统都将竞争情报数据存储子系统纳入竞争情报数据分析子系统的设计中，本文将竞争情报系统中的数据存储单独设计为一个子系统，在对收集到的数据进行分析前可以更好地清洗过滤、审查校验，提高了数据的可用性、有效性，进而得到更可靠的数据分析结果。图 5-3 竞争情报数据存储子系统流程 在大数据环境下，传统采用硬盘存储数据的方式显然是不能应对数据的爆炸式增长。所以，当前大多数企业采用云存储技术作为情报存储系统的核心技术。该技术通过网络将本地海量数据放置在云端在线存储空间，共同对外提供存储服务，用户只需要向提供商申请存储服务，减少存储平台的重复建设率。对于中小企业来说，采用云存储技术可以避免建立独立的数据中心，节约了软硬件的费用信息库 情报库 数据标准化 情报分析子系统 2 0 投入，而且云存储技术具备分布式、并行处理的特性，可以集中利用存储空间，实现竞争情报人员对数据的保存和随时调用。5.3 竞争情报分析子系统 竞争情报收集子系统只是负责收集可能有价值的信息源，存储子系统也只是将收集到的数据信息有序地组织汇集在一起，进一步分析数据从而得到对企业有益的情报则是要靠竞争情报分析子系统完成的工作，具体流程如图 5-4 所示。一个完善的竞争情报分析子系统应该包括以下三个部分。第一，统计库。统计库主要负责分析各组数据之间的相关性和统计的可靠性，并按照一定规律将数据进行整理分类。在统计库中采用相关、因子、回归、差异、时间序列等分析方法。第二，模型库。模型库有助