刹把工程项目数据分析与挖掘(工程项目组织与管理).docx
《刹把工程项目数据分析与挖掘(工程项目组织与管理).docx》由会员分享,可在线阅读,更多相关《刹把工程项目数据分析与挖掘(工程项目组织与管理).docx(27页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、泓域咨询/刹把工程项目数据分析与挖掘刹把工程项目数据分析与挖掘xxx有限责任公司一、 大数据系统和数据挖掘技术(一)数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力,或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量,且种类多、实时性强,蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案,及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番,面对前所未有的海量数据,为了从
2、中发现有用的信息必须进行数据挖掘。此外,计算机存储、处理大量数据,以及运算的能力大为增强,为数据挖掘创造了条件,使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于:(1)处理工作量。数据分析的数据量可能并不大,而数据挖掘的数据量极大。(2)制约条件。数据分析是从某些假设出发,建立方程或模型,而数据挖掘不作假设,可以自动建立方程。(3)处理对象。数据分析往往是针对数字型数据,而数据挖掘对象类型繁多,例如图像、声音、文本等。(4)处理结果。数据分析可以解释结果的含义;数据挖掘的结果不易解释,着眼于预测未来,并提出决策建议。想要从数据中发现规律(即认知),往往需
3、将数据分析和数据挖掘结合起来。(二)数据挖掘步骤按挖掘对象,数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种,各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。(1)信息收集。从确定的挖掘对象中提取特征,然后选择合适的收集方法,将收集到的信息存入数据库。对于海量数据,必须选择合适的数据仓库。(2)数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排,以便以后使用。(3)数据规约。多数数据挖掘算法耗时很长,商业数据往往较多,数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示,规约后数量大
4、减,但仍能保持原数据的完整性,对规约数据的挖掘结果,与对规约前数据的挖掘结果相同或几乎相同。(4)数据清理。有些数据不完整(属性缺少属性值)、含噪声(属性值错误),不一致(同一信息有多种表示),需要清理,使其完整、正确、一致后存入数据仓库。(5)数据变换。将数据变换成适合数据挖掘的形式。实数型数据,可将其分层和离散化。(6)数据挖掘。根据数据格式、属性与特点,选择合适的处理工具,例如统计方法、事例推理、决策树、规则推理、模糊集,甚至神经网络,取得有用的信息。(7)模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。(8)知识表示。将数据挖掘得到的信息以可视方式交给用户,或作为新的知识存人知
5、识库,供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源,则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段,而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程,若一次未满足要求或未得到有用结果,则需回到前面,经过调整后重新开始。2,网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上,通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性,进而在网络中提取用户
6、感兴趣的信息,获得更高层次的知识和规律。网络信息挖掘沿用了Robot,全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术,能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下:(1)确立目标样本。由用户选择目标文本,提取特征信息。(2)提取特征信息。根据目标样本的词频分布,从统计词典中提取挖掘目标的特征向量并计算出相应的权值。(3)网络信息获取。先利用搜索引擎站点选择待采集站点,再利用Robot程序采集静态Web页面,最后获取被访问站点网络数据库中的动态信息,生成WWW资源索引库。(4)信息特征匹配。提取索引库中的源信息特征向量,并与目标样本的特征向量对
7、照,将符合要求的信息交给用户。二、 数据分析与挖掘概述(一)信息分析信息分析是根据咨询问题的具体需要,对与之有关的信息进行整理、鉴别、评价、分析和综合,以便取得咨询所需新信息的过程。信息分析有如下几种用途:1跟踪。所谓跟踪,就是及时了解各领域新动向、新发展,从而发现问题、提出问题。2比较。比较各种事物的内部矛盾之后,把握事物间的联系,认识事物的本质,从而提出问题、确定目标、拟定方案并作出选择。3预测。利用已掌握的信息、知识和手段,推断事物的未来或未知方面。4评价。进行评价时应选择合适的变量和评价指标,应当考虑评价对象之间的可比性。信息分析所用方法,可分为定性和定量分析两种。定性方法主要靠逻辑推
8、理;而定量方法涉及数据间的数量关系,要建立数学模型,计算、求解。如今,信息越来越复杂,定性与定量分析已无法单独奏效,只能越来越多地结合起来。(二)数据分析数据分析是信息分析的一部分,数据分析是对收集数据进行系统的分析,建立适当的模型,揭示数据中隐含的技术、经济、社会和其他关系,以及发展趋势,为有关的咨询活动提交的有用的数字、信息或建议。数据分析的对象可分为时间序列和截面数据。如企业历年的咨询收入、利润总额等就是时间序列。截面数据是在同一时间的数据,如企业同一年咨询业务数目、营业额、费用、收入、人工耗费等。两种数据都要注意样本容量大小。对于截面数据,常用线性或非线性回归模型体现数据之间的各种关系
9、。数据分析属定量分析,包括数据统计分析、时间数据分析、空间数据分析。(三)数据挖掘数据挖掘就是从数据中挖掘出隐含、先前未知、有潜在用途,最终可为人理解的关系、模式、趋势和其他有用信息,并建立模型,用于预测、判断或决策,帮助企业更好地适应变化并做出更明智的决策的过程。数据挖掘广泛应用于制造、金融、零售、保健、中医药及电信等行业的客户关系管理、风险防范、供应链管理、竞争优势分析、部门分析等领域。数据挖掘要用到统计分析、人工智能、数据库和神经网络等方面的知识,如记忆推理、聚类分析、关联分析、决策树、神经网络、基因算法等。数据挖掘需要用户参与,并非某种单一工具、技术或软件即可独自完成。另一方面,并非所
10、有信息查询都可视为数据挖掘。例如,使用数据库管理系统查找个别记录,或用搜索引擎查找互联网特定的网页,属于信息检索,不能视为数据挖掘。当然,数据挖掘技术也有强大的信息检索能力。三、 项目背景分析由于中国汽车工业起步较晚,汽车零部件行业市场狭小,以及中国国内对刹车片行业认识不足,刹车片行业一直处于彷徨和摸索的发展状态,致使汽车用制动器衬片行业与国际先进水平存在较大的差距。在工艺、设备、标准方面长期沿袭老的技术模式,技术进步缓慢,新产品开发及产品质量升级换代等方面落后于市场需求;管理比较粗放,产品技术规范无法进入主流国际市场的标准评价体系,出口份额微乎其微。刹车片也叫刹车皮。在汽车的刹车系统中,刹车
11、片是最关键的安全零件,所有刹车效果的好坏都是刹车片起决定性作用,所以说好的刹车片是人和汽车的保护神。刹车片(brakelining)一般由钢板、粘接隔热层和摩擦块构成,钢板要经过涂装来防锈,涂装过程用SMT-4炉温跟踪仪来检测涂装过程的温度分布来保证质量。其中隔热层是由不传热的材料组成,目的是隔热。摩擦块由摩擦材料、粘合剂组成,刹车时被挤压在刹车盘或刹车鼓上产生摩擦,从而达到车辆减速刹车的目的。由于摩擦作用,摩擦块会逐渐被磨损,一般来讲成本越低的刹车片磨损得越快。中国现有摩擦材料生产企业600多家,汽车用摩擦材料占总量的80%左右。在汽车的制动系统中,刹车片是最关键的安全零件。刹车片一般由钢板
12、、粘接隔热层和摩擦块构成。汽车刹车片按制动方式的不同刹车片可分为:鼓式制动刹车片和盘式制动刹车片两种。按材料的不同刹车片一般可分为石棉刹车片、半金属刹车片、陶瓷基刹车片、非金属刹车片、全陶瓷/炭陶瓷刹车片等种类。世界范围内,主要是德国、法国和日本等少数几个国家能够生产高铁制动闸片,其中德国克诺尔公司垄断全球80%以上高铁刹车片市场。克诺尔的350KM产品目前在国内的售价在10000元/片以上。近几年国内以天宜上佳、浦然和青岛亚通达为代表的国内企业正逐步推进高铁刹车片的国产化,部分产品国产化之后刹车片市场平均价格降低了30%以上。我国国内现有摩擦材料生产企业约为600多家,销售产值约100亿人民
13、币,其中80%产品为汽车用制动器衬片,基本分为四大区块:浙江杭州区块(杭州杭城、杭州西湖、浙江杭万等);山东区块(山东金麒麟、山东信义、山东双连等);河北故城区块(河北星月等);湖北枣阳区块(湖北飞龙、枣阳等)。四大区块生产的产品总产值约占全国75%以上,此外还有一些较着名的合资或独资企业,如杭州泰明顿摩擦材料有限公司、石家庄泰明顿摩擦材料有限公司、辉门摩擦产品有限公司、霍尼韦尔摩擦材料(广州)有限公司、乳山韩京摩擦材料有限公司等。未来5年内,中国整车产量的平均增长速度预计将保持13%以上,配套市场的平均增长率为15%以上;汽车售后市场将平均增长10%左右;出口市场将平均增长20%以上,因此,
14、中国汽车零部件市场需求的平均增长率将在15%以上。这给刹车片行业的发展带来了前所未有的机遇。四、 逻辑框架矩阵的编制逻辑框架的编制过程,同时也是对项目各要素的不断分析和加深认识的过程,按照因果关系进行逻辑分析,理顺项目的层次,找出问题的关键,提出解决问题的方案和对策。在逻辑框架的分析过程中,应重点解决以下问题:1为什么要进行这一项目,如何度量项目的宏观目标;2项目要达到什么具体目标,不同层次的具体目标和宏观目标之间有何联系;3怎样达到这些具体目标;4有哪些外部因素在项目具体目标的取得上是必须考虑的;5项目成功与否的测量指标是什么,如何进行检测;6验证项目指标的数据从哪里得到;7项目实施中要求投
15、入哪些资源,需要的费用是多少;8项目计划的内容及实施的主要外部条件是什么;9如何检查项目的进度。(一)逻辑框架的编制步骤逻辑框架矩阵表的编制,可以按照以下步骤进行:1确定项目的具体目标;2确定为实现项目具体目标所要实现的产出成果;3确定为达到每项产出成果所需要投入的活动;4确定项目的宏观目标;5用“如果,那么”的逻辑关系自下而上检验纵向逻辑关系;6确定每一层次目标的实现所需要的重要假设和外部条件;7依次确定项目的直接目标、产出成果和宏观目标的可验证的指标;8确定指标的客观验证方法;9确定各项投入活动的预算成本和验证指标及方法;10对整个逻辑框架的设计进行对照检查和核对。(二)目标层次的逻辑关系
16、表述目标层次的逻辑关系表述,目的是要确定各层次的目标关系,分析项目的宏观目标、具体目标和产出成果及其逻辑关系。主要做法是:1宏观目标构成项目逻辑框架的最上层次,其他项目也可能为此目标做出贡献。要对项目进行目标体系的分解和分析,可借助目标树的方法进行分析,确定项目的宏观目标和具体目标。项目宏观目标的分析表述要尽量做到具体化。2项目具体目标是达到宏观目标的分目标之一,也是该项目希望达到的目标,是用以评价某一项目最后是否取得成功的判断依据。项目规划的使命就是要努力保证项目具体目标的实现。3各项产出成果是为实现项目具体目标必须达到的结果。它们从其效果来看应是合适的、必要的、足够的。4项目必要的投入活动
17、的表述,应注意简洁明了,不要列举太多的具体活动,只要使项目的基本结构和方案能够得到清晰表达就足够了。5将各项投入活动和产出成果逐一编号,表示时间顺序或优先顺序。6项目概述应有严密的逻辑性:为了达到产出成果而开展相应的投入活动各项产出成果是达到项目直接目标所必需的条件,与重要假设及外部条件结合构成项目具体目标的先决条件;项目具体目标是达到宏观目标的条件之一。(三)重要假设的表述逻辑框架矩阵中的“重要假设”,是由外部条件即项目之外的影响因素转化而来的。项目之外的影响因素指在项目的控制范围以外但对项目的成功有影响的条件。在确定重要假设时,一般要回答这样的问题,即“哪些外部因素对项目的实施显得特别重要
18、,但项目本身又不能加以控制?”一旦发现上述这些外部条件或项目之外的影响因素存在,就要进行认真分析,并放入逻辑框架矩阵表内,提醒项目管理者注意监视此类条件的变化。如有可能,应施加一定的影响,使其尽可能向有利于项目实施的方向转变。重要假设条件的存在,是由多种原因造成的。首先是项目所在地的特定自然环境及其变化。例如农业项目,管理者无法控制的一个主要外部因素是气候,变化无常的天气可能使庄稼颗粒无收,计划彻底失败。这类风险还包括地震、干旱、洪水、台风、病虫等自然灾害。其次,政府在政策、计划、发展战略等方面的失误或变化给项目带来严重影响。例如,一些发展中国家的产品价格极不合理,农产品价格很低,那么即使项目
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 刹把 工程项目 数据 分析 挖掘 组织 管理
限制150内