集装箱项目数据采集分析与知识管理（工程项目组织与管理）.docx

《集装箱项目数据采集分析与知识管理（工程项目组织与管理）.docx》由会员分享，可在线阅读，更多相关《集装箱项目数据采集分析与知识管理（工程项目组织与管理）.docx（22页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、泓域咨询/集装箱项目数据采集分析与知识管理集装箱项目数据采集分析与知识管理一、 信息鉴别及必要性（一）信息鉴别数据与信息鉴别，可称信息识别，就是将信息与具有特定属性的“模式”进行比较，进而判断信息的类别或属性。具体而言，就是信息收集或使用者运用已有的知识和经验，在对获取的信息进行初步分析之后，按照一定原则和目的，辨认与甄别信息的真伪、轻重主次、是否完整、是否有用，以及用途大小等。（二）信息鉴别的必要性互联网时代，信息极为丰富，大大开阔了人们的眼界。然而，蜂拥而至，难辨真假的信息掺杂在一起，常常使人们陷入另一种迷茫，甚至成了海量信息的奴隶。过量的信息若不筛选，会使决策者无所适从。现在，互联网上充

2、斥着伪造、篡改缺失、无代表性、误传、以及过时等信息。有些信息背后隐藏着各种政治、经济社会的利益团体正当或不正当的目的和企图。信息识别及时与否决定了决策是否正确而又及时，决定了企业、事业、项目和其他活动的命运。对于工程咨询，信息识别同样十分必要。信息识别并非简单工作，对从事者有很高的要求。决策者固然应高瞻远瞩，但决策的基础是真实、可靠的信息。决定信息识别成败的主要因素有：对服务目标的正确认识及其深刻程度；识别者实事求是的态度和已有的知识、推理与判断能力。二、 信息鉴别常用方法（一）溯源法对到手信息涉及的问题应追根溯源，及时核对。例如，尽量找到现场和掌握第一手资料的人；核对原始资料，并查对主要参考

3、文献；按其中叙述的方法、步骤，重做实验或演算,以便从来源上找到鉴别依据。鉴别和筛选在手信息，判断是否完整、适用与可靠，是咨询人员的重要工作。工程咨询所需信息十分广泛，不可能也不必均由咨询人员鉴别。为了确保信息可靠，应尽可能选用权威机构发布或已鉴定、批准的信息。例如，地质储量选用储量委员会批准的储量报告；地震带的分布用国家地震局的数据；历史数据用国家统计局的数据。一般来说，专业技术力量强的单位提供的信息较可靠。例如，国际金融组织的国际金融信息较可靠；来自从事钢铁、汽车行业研究的机构的钢铁、汽车业信息较可靠。（二）比较法有些信息受主客观条件限制难以溯源，对此，可用比较法，即比较不同人、不同时间和其

4、他方面的材料；对于某一事实，说法、结论是否一致。如果一致，则基本可辨真伪。若否，就需进一步核查。（三）佐证法任何事物都与其他事物有一定联系，并相互制约。找到这些联系和制约因素，便可判断事物的真伪。一般说来，口头材料不如文字材料可靠，文字不如实物可靠。分析信息产生的过程也是寻求信息佐证的办法。1普查数据一般比抽查数据全面、准确。2监测数据，长期比短期全面，监测范围大的数据比监测范围小的数据代表性强；勘探密度大的数据比勘探密度小的数据准确，科学实验和仿真模拟计算的数据比一般推理的数据准确。3核对来源不同，收集方法不同的数据。如卫星图片、航测数据可用地面实测数据验证；了解来的市场需求量与行业协会、主

5、要企业、国家统计局的数据对比。4对比不同时期、不同来源的数据，并适当修正其间的差距。同一对象的数据，在不同国家、不同历史时期，由于范围不同，计算的标准和口径可能有所不同，造成数据之间有很大的差异。在对比这些数据时，必须查明统计口径，否则就会出错。5由专家集体辨别信息是否准确，是否可靠。对于来自不同渠道的信息，可能因角度不同、口径不一、方法各异等而不一致，甚至矛盾。这时，可请专家集体讨论，弄清差异和矛盾的原因，去伪存真，取得一致意见。（四）逻辑法鉴别信息，逻辑判断必不可少。不经缜密的逻辑思考容易出错。有些基本差错，例如语言或文字的前后矛盾，夸大其词，有悖情理，以及某些虚构，禁不起逻辑的推敲。当然

6、，逻辑合理并不总能证明事物为真，从虚假的前提出发，经过合理的逻辑推断得出的结果不会真实。因此，鉴别信息，既要充分利用经验、认识和判断力，也要借助其他手段。三、 时间数据分析方法（一）时间数据时间数据也称时间序列（Timeseries）或动态数据，是按时序排列的一组来自同一现象的观察值。时间序列可按日、月、季度、年等收集，有些呈现很强的季节性，建模时应给予反映。气象、水文、生态环境、经济及社会活动都能观察到周期性时间序列。实际观测并记录的时间序列，实际上是随机过程的样本，即，在产生时间序列的实际过程的每一时点上，人们看到的只是该时点随机变量的样本，并不能观察到母体。时间序列可分为平稳和非平稳序列

7、，还可以分成线性和非线性时间序列。（二）时间序列分析1概述时间序列分析是根据随机过程理论，研究时间序列的统计规律。时间序列分析广泛应用于信息压缩、利用卫星照片识别地球资源、石油勘探、经营管理、预测（气象、水文、地震、地下水位、农作物病虫灾害）、控制（环境污染、生态平衡）（天文学和海洋学）等方面。时间序列预测的基本依据是：（1）客观过程是连续的，有惯性，现在是过去的继续，过去的信息会传递到现在与未来，利用过去的数据或信息能推测未来。（2）偶然因素会影响到客观过程，使其行为与模式有随机性。预测要利用时间序列各时点随机量的相关关系。时间序列的趋势与波动称为“模式”，时间序列分析首要要识别其模式，然后

8、用适当的曲线拟合。拟合模式的各种参数根据按“最优预测”原则估算出的时间序列数字特征（期望值、方差、协方差、自相关函数）等确定。2.时间序列成分时间序列常含有4种成分：趋势、季节变动、规则波动和不规则波动。所谓趋势，是长期持续向上或持续向下的倾向。季节变动，是实际过程受气候、市场状况、节假日或风俗习惯等影响而呈现的周期性波动。规则波动，是周期不等的变动，呈涨落交替之状。波动的周期可能很长，但与趋势不同。不规则波动，是时间序列除去趋势、季节变动和周期波动之后的波动。不规则波动总是夹杂在时间序列中，致使时间序列产生一种波浪形或震荡式的变动。时间序列经常是各种周期成分的叠加，例如地震或人工地震波的记录

9、。这样的序列要做频域分析。频域分析确定时间序列各周期成分称为“谱”或“功率谱”的能量分布形态。频域分析又称谱分析。谱分析的重要内容就是通过序列的周期图（）的极值点寻找各种分量的周期。3时间序列建模时间序列建模一般有如下几个步骤（1）取得时间序列样本。（2）将样本点画成图，进行相关分析。时间序列图形可显示出变化趋势和周期，并发现离群点和转折点。若离群点确实为观测值，建模时应加以考虑，若非，应加以调整。转折点指时间序列趋势突变的点。如果发现转折拐点，则在建模时须分段用不同的模型拟合时间序列，例如用门限回归模型。（3）模式识别与拟合。时间序列模式众多。小样本可用趋势模型、季节模型加上随机误差拟合。对

10、于样本容量（即观测值个数）大于50的平稳时间序列，可用ARMA（自回归移动平均）模型拟合。非平稳时间序列可经差分化为平稳时间序列，再用ARMA模型拟合。（4）预测未来。利用建成的模型预测时间序列未来值。4时间序列常用模型（1）ARMA模型（2）回归模型四、 大数据系统和数据挖掘技术（一）数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂

11、志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象

12、类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的

13、数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊

14、集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。

15、后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了Robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用

16、Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信息，生成WWW资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向量对照，将符合要求的信息交给用户。五、 网络信息搜索和提取方法（一）概过现在，虽然不能说人类所有文献与其他信息都上了互联网，但是网上的信息极为丰富，许多都可用于咨询。但是，许多咨询人员还不善于甚至不知道如何从网上快速、安全、有效地获得自己需要的信息和知识。咨询工程师应当知晓网上有何利信息，应掌握从网上获取信息的方法与基本技巧。对于网上的信息，可利用浏览器和搜索引擎获取。浏览器是供用户阅读网页内容的软件；而搜索引擎，指从互联网上搜

17、集信息的特定电脑程序。早期的搜索引擎是收集互联网中服务器的地址，按这些服务器拥有的资源类型将其编成不同的目录，各个目录再逐层分类。搜索引擎则沿着此类层级向下搜索，找到用户想要的信息。这种方式只适用于互联网信息不多的时代。随着互联网上信息的迅猛增长，出现了新式搜索引擎，性能大为改进，能够找到网站每一页的起始地址，随后搜索网上所有超级链接，把代表超级链接的所有词汇放入一个数据库。搜索引擎的功能不再限于搜索，已经添加了电子商务、新闻信息服务、个人免费电子信箱服务等。（二）搜索引擎工作原理搜索引擎有信息搜集、信息整理和接受用户查询三部分，各自工作原理大致如下：1搜集信息：搜索引擎利用称为网络蜘蛛（sp

18、ider）的自动搜索机器人程序，从少数几个网页开始，将各个网页的超链接连结在一起，只要网页上有适当的超链接，机器人便可以遍历绝大部分网页。2整理信息：这个过程称为“建立索引”。搜索引擎不仅要保存搜集到的信息，还要按照一定规则编排之。这样，搜索引擎无须重新翻查已保存的所有信息，便能迅速找到所要的资料，从而能够大大加快搜索速度。3接受查询：对于每时每刻都会接到的大量用户几乎同时发出的查询请求，搜索引擎按照各个用户的要求检查自己的索引，能在极短时间内找到用户需要的资料，并交给用户。目前，搜索引擎交给用户的主要是网页链接，用户按照这些链接便能找到含有自己所需资料的网页。搜索引擎一般会在这些链接下加一段

19、有关这些网页的摘要，以便用户判断此网页是否含有自己需要的内容。（三）搜索引擎种类现在，搜索引擎有很多种，可以从不同的角度分类。按搜索方法，分全文索引、目录索引、元搜索、垂直搜索、集合式搜索、门户搜索、个性搜索、专家型搜索与免费链接列表等。按搜索对象，分购物、自然语言、新闻、MP3、图片等搜索引擎。按搜索范围，分桌面、地址栏、本地等搜索引擎。按出现的时间，分第三代、第四代搜索引擎等。现在，用的较多的搜索引擎有Google，百度、Yahoo、MSNSearch，Webcrawler，Lycos，CNetSearch，LookSmart等。（四）搜索方法与技巧要想使搜索引擎能在网上快速找到有关咨询的

20、资料，首先要明确查询目的。目的不同，查询策略与方法不同。在明确目的之后，还应了解查询的种类与技巧，学会恰当地使用关键词。搜索方法的选择取决于搜索的内容。不同搜索引擎的复杂条件查询功能和实现方法各有不同，网站中一般都有“帮助”和“说明”解释各自的功能和方法。现在的搜索引擎都有模糊查询功能。当用户输入关键词时，搜索引擎不但交给用户关键词的网址，还发来与关键词意义相近的内容。比如，查找“建筑报”一词时，模糊查询搜索的结果会有“建筑报”“建设报”“建筑时报”等的网址。网址的排列，一般是完全符合关键词在最前边，其次是相近的。模糊查询的结果往往并非用户所需，为了排除不需要的结果，各种搜索引擎也设置了相应的

21、功能。六、 工程咨询信息采集途径调查方法可分为普查与抽样调查两大类，这两类都有文案调查、实地调查、问卷调查、实验调查等几种。选择调查方法要考虑收集信息的能力、调查研究的成本、时间要求、样本控制和人员效应的控制程度。上述各种方法，各有利弊，各有适用范围。文案调查是上述各种调查方法中最简单、最一般和常用的方法，也是其他调查方法的基础。实地调查能够控制调查过程，应用灵活，信息充分，但耗时长、费用多，调查对象易受心理暗示影响，不够客观。问卷调查适应范围广、简单易行、费用较低，得到了大量应用。实验调查最复杂、费用高、应用范围有限，但调查结果可信度较高。（一）文案调查法文案调查法是指对已经存在的各种资料档

22、案，以查阅和归纳的方式进行的市场调查。文案调查法又称二手资料或文献调查。文案资料来源很多，主要有：国际组织和政府机构资料；行业资料；公开出版物；相关企业和行业网站；有关企业的内部资料。（二）问卷调查法这种方法是调查人员以面谈、电话询问、网上填表或邮寄问卷等方式，了解调查对象的行为方式，从而收集信息。问卷调查法是市场调查常用方法，尤其在消费者行为调查中大量应用，其核心工作是设计问卷，实施问卷调查。（三）实地调查法此法是调查人员通过跟踪、记录调查对象的行为取得第一手资料的方法。这种方法是调查人员直接到市场或某些场所（商品展销会、商品博览会、商场等）亲身感受或借助于某些摄录设备和仪器，跟踪、记录调查

23、对象的活动、行为和事物的特点，获取所需信息资料。（四）实验调查法该法是指调查人员在调查过程中，通过改变某些影响调查对象的因素，观察调查对象行为的变化，从而获得消费行为和某些因素之间的内在因果关系。该法主要用于消费行为的调查，企业推出新产品、改变产品外形和包装、调整产品价格、改变广告方式时，都可以用这种方法。七、 逻辑框架法的概念及模式（一）LFA的基本概念LFA是一种概念化论述项目的方法，即用一张简单的框图来清晰地分析一个复杂项目的内涵和各种逻辑关系，以便给人们一个整体的框架概念。LFA是将几个内容相关、必须同步考虑的动态因素组合在一起，通过分析各种要素之间的逻辑关系，从设计策划到目标实现等方

24、面来评价一项活动或工作。LFA为项目策划者和评价者提供一种分析框架，用以确定工作的范围和任务，并对项目目标和达到目标所需的手段进行逻辑关系分析。LFA的核心是项目的各种要素之间的因果关系，即“如果”提供了某种条件，“那么”就会产生某种结果。这些条件包括事物内在的因素及其所需要的各种外部条件。（二）LFA的基本模式逻辑框架分析方法的结果是要形成一个逻辑框架表。由于该表能够充分体现表内包含的各项内容之间的逻辑关系，而且这种逻辑关系构成了一个矩阵式框架结构，因此，逻辑框架表又称为逻辑框架矩阵表。LFA的模式是一张4X4的矩阵。1目标层次逻辑框架表汇总了项目实施活动的全部要素，并按宏观目标、具体目标、

25、产出成果和投入的层次归纳了投资项目的目标及其因果关系。（1）宏观目标。项目的宏观目标即宏观计划、规划、政策和方针等所指向的目标，该目标可通过几个方面的因素来实现。宏观目标一般超越了项目的范畴，是指国家、地区、部门或投资组织的整体目标。这个层次目标的确定和指标的选择一般由国家或行业部门选定，一般要与国家发展目标相联系，并符合国家产业政策、行业规划等的要求。（2）具体目标。具体目标也叫直接目标，是指项目的直接效果，是项目立项的重要依据。一般应考虑项目为受益目标群体带来的效果，主要是社会和经济方面的成果和作用。这个层次的目标由项目实施机构和独立的评价机构来确定，目标的实现由项目本身的因素来确定。（3

26、）产出。这里的“产出”是指项目“干了些什么”，即项目的建设内容或投人的产出物。一般要提供可计量的直接结果，要直截了当地指出项目所完成的实际工程（如港口、铁路、输变电设施、气井、城市服务设施等），或改善机构制度、政策法规等。在分析中应注意，在产出中，项目可能会提供的一些服务和就业机会，往往不是产出而是项目的目的或目标。（4）投入和活动。该层次是指项目的实施过程及内容，主要包括资源和时间等的投入。2客观验证指标逻辑框架垂直各层次目标，应有相对应的客观且可度量的验证指标，包括数量、质量、时间及人员等，来说明层次目标的结果，验证每一个目标的实现程度，这种指标的确立应该是客观的，不能凭主观臆断，同时又是

27、可以被验证的。3客观验证方法在逻辑框架水平逻辑层次上，对应验证指标的是验证方法。验证方法就是主要资料来源和验证所采用的方法。主要资料来源（监测和监督）和验证方法可按照数据收集的类型、信息的来源渠道和收集方法进行划分。4重要的假定条件在逻辑框架的4个目标层次之间有一些重要的限制条件，称为假定条件，即必要的外部条件或风险。重要的假定条件主要是指可能对项目的进展或成果产生影响，而项目管理者又无法控制的外部条件，即不可控风险或限制条件。八、 工程咨询知识及其特点（一）工程咨询知识工程咨询需要多方面知识与技能。知识，有哲学、工程学、经济学、社会学、管理学、财务会计、法律等方面的知识；技能，有专业知识、项

28、目管理、公共关系、野外考察、外国语、信息处理等方面的技能。（二）工程咨询知识的特点1数量多，种类庞杂工程咨询行业涉及国民经济众多部门，专业门类多，大小不一，跨地区、跨国界。即便是行业工程咨询，也涉及多种专业。例如对校舍工程的咨询，就涉及国民经济、统计、消防、建筑、结构、给排水、暖通、电气、技术经济、法律等十多个专业。2隐性知识难以提炼隐性知识，特别是经验，在工程咨询中有重要作用。经验需要积累，且常难以提炼和恰当表达。正因为如此，长期积累的经验最容易随着这些经验的载体人离去而散失。3保密要求高咨询企业在咨询过程中获得了客户大量信息，有些很敏感，客户不希望透漏给第三方。在本企业内部共享由此而获得的

29、信息、经验与知识时，或将来为其他客户服务时，应确保不透漏给第三方。九、 建立知识管理系统步骤建立知识管理系统，一般经历认知、规划、试点、投入使用与建立新制度几个阶段。（一）认知这一阶段任务是统一企业对知识管理的认识，评价企业知识管理现状，提出知识管理的策略。主要工作有：对企业管理者，尤其是高层培训，使其全面、正确地认识知识管理的作用；利用知识管理成熟度模型等多角度评价企业知识管理现状，调查、分析存在的主要问题；评价知识管理对企业发展的长远和近期影响；做出必要的决策；提出实施战略和努力方向等。（二）规划在认知的基础上，制订详细的实施计划。这一阶段主要是详细分析本企业所需知识的类型，根据业务流程等

30、制订知识管理计划。规划时，务必将知识管理融入企业管理之中。主要工作有：从战略、业务流程及职能划分的角度制订计划；实事求是地分析企业管理与知识管理的现状；从企业发展战略上提出知识管理的目标和实施策略，并对业务流程进行合理化改造；分析对知识管理的具体要求；为知识管理奠定坚实的理论与实施基础。（三）试点选取适当部门和业务试行知识管理。及时观察与记录实施结果，解决遇到的问题。咨询业务虽然需要多方面知识，但重点应放在关键知识上，提出改进知识管理的具体策略。在分析与总结试点成败、要求和改进计划之后，应考虑必需的IT系统建立或改造工作。应建立有力的团队，协调各业务部门、外部参与者等多方面的行动。（四）投入使

31、用知识管理计划试点并经完善之后，应全面推广。主要工作有：推广试点部门的具体作法和完善后的知识管理计划；将知识管理融人业务流程和价值链；建立初步的知识管理制度；将企业逐步改造成学习型组织，充分利用头脑风暴等手段和技术提炼知识。在全面推广过程中应注意：把握实施全局，合理协调企业文化、管理与技术；要恰当控制难免的混乱；将知识管理融入日常业务和工作并非一蹴而就，须持之以恒；努力使知识管理为企业发展做出贡献；对于人的思想观念等应予以引导，充分考虑实施知识管理造成的利益再分配；建立有效的激励和评价制度，确保知识管理成功.（五）建立新制度建立适合于知识管理与企业发展的新制度，既是知识管理项目实施的结束，又是企业知识管理的新开端，也是企业自我完善的过程。为此，企业须重新定义发展战略，并改造企业组织结构及业务流程，准确评估知识管理为企业带来的价值。