气泡水项目数据采集分析与知识管理（完整版）.docx

《气泡水项目数据采集分析与知识管理（完整版）.docx》由会员分享，可在线阅读，更多相关《气泡水项目数据采集分析与知识管理（完整版）.docx（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、泓域咨询/气泡水项目数据采集分析与知识管理气泡水项目数据采集分析与知识管理一、 逻辑框架法中的逻辑关系（一）垂直逻辑关系目标各层次的主要区别是，项目宏观目标的实现往往由多个项目的具体目标所构成，而一个具体目标的取得往往需要该项目完成多项具体的投入和产出活动。这样，四个层次的要素就自下而上构成了三个相互连接的逻辑关系。第一级：如果保证一定的资源投入，并加以很好地管理，则预计有怎样的产出；第二级：如果项目的产出活动能够顺利进行，并确保外部条件能够落实，则预计能取得怎样的具体目标；第三级：项目的具体目标对整个地区乃至整个国家更高层次宏观目标的贡献关联性。这种逻辑关系在LFA中称为“垂直逻辑”，可用来

2、阐述各层次的目标内容及其上下层次间的因果关系。（二）水平逻辑关系垂直逻辑对项目目标层次的因果关系进行了分析，但这种分析不能满足对项目进行分析和评价的要求。水平逻辑分析的目的是通过主要验证指标和验证方法来衡量一个项目的资源和成果。与垂直逻辑中的每个层次目标对应，水平逻辑对各层次的结果加以具体说明，由验证指标、验证方法和重要的假定条件所构成，形成了LFA的4X4的逻辑框架。在项目的水平逻辑关系中，还有一个重要的逻辑关系就是重要假设条件与不同目标层次之间的关系，主要内容是：一旦前提条件得到满足，项目活动便可以开始。一旦项目活动开展，所需的重要假设也得到了保证，便应取得相应的产出成果；一旦这些产出成果

3、实现，同水平的重要假设得到保证，便可以实现项目的直接目标；一旦项目的直接目标得到实现，同水平的重要假设得到保证，项目的直接目标便可以为项目的宏观目标做出应有的贡献。对于一个理想的项目策划方案，以因果关系为核心，很容易推导出项目实施的必要条件和充分条件。项目不同目标层次间的因果关系可以推导出实现目标所需要的必要条件，这就是项目的内部逻辑关系。而充分条件则是各目标层次的外部条件，这是项目的外部逻辑。把项目的层次目标（必要条件）和项目的外部制约（充分条件）结合起来，就可以得出清晰的项目概念和设计思路。总之，逻辑框架分析方法不仅仅是一个分析程序，更重要的是一种帮助思维的模式，通过明确的总体思维，把与项

4、目运作相关的重要关系集中加以分析，以确定“谁”在为“谁”干“什么”？“什么时间”？“为什么”？以及“怎么干”。虽然编制逻辑框架是一件比较困难和费时的工作，但是对于项目决策者、管理者和评价者来讲，可以事先明细项目应该达到的具体目标和实现的宏观目标，以及可以用来鉴别其成果的手段，对项目的成功计划和实施具有很大的帮助。二、 工程咨询信息及其管理概述（一）工程咨询信息的内涵信息资源是工程咨询行业的核心资源，通过获取海量有效的信息，依靠信息、知识和智慧、先进科技手段进行服务。信息爆炸的社会要求工程咨询行业服务机构拥有获取信息、处理信息的能力和手段。工程咨询项目管理信息化是结合行业业务特点，以信息资源开发

5、利用为核心，利用现代信息技术、网络技术等现代科技，强化信息技术在业务中的渗透，在工程咨询项目各环节中推广应用信息技术，以提高工程咨询机构管理决策能力，提升咨询工作效率，增强机构行业竞争力。工程咨询需要的信息，涉及自然、资源、气候、水文、地质、人口、人文、项目投入产出、市场（商品、劳动力、金融）、财政及政策、货币政策、法规、标准与规范、发展规划等。（二）工程咨询信息管理的必要性我国经济进入新常态，全球化、绿色发展、结构调整、新技术应用等成为发展主基调，这不仅需要规模巨大的投资，而且更加注重发展质量，这就给工程咨询业带来了极大的发展机遇，也对工程咨询信息管理提出了新的需求。未来工程咨询将更多的应用

6、建筑信息模型技术（BIM）、大数据、物联网、地理信息系统（GIS）无人机应用、AR仿真模拟、人工智能辅助查询与分析系统等，也迫切要求工程咨询业能够尽快改变传统咨询手段，必须针对新技术、新产业进行调整，建立完善的数据分析与知识管理方法。传统的信息管理模式工作流程繁琐，耗费人力物力，亟待向智能管理模式迈进。工程咨询信息管理以丰富的信息资源为管理重点，利用“互联网+”、数据库管理系统等先进的信息管理手段，协助工程咨询人员能够从海量的业务数据中提供有用的信息，进而做出科学的判断以及正确的决策，从而实现为工程咨询的决策提供更加全面及时的信息支出，使工作更加便捷，回复也更加及时，大幅减少出现错误的概率，安

7、全性更高。三、 工程咨询信息类型及来源（一）信息类型工程咨询需要的信息，量大、面广。为了便于识别、分析、存储与保管，可从不同的角度将其分类。例如，从信息属性、来源、形态、用途、载体，是否随时而变或是否经过加工处理等角度划分。1不同属性的信息工程咨询中常用如下几种属性信息：（1）法律。国家、各级政府颁布的有关投资与工程建设的各种法律、法规、规章等。（2）规划与政策。国家和地方的各种规划（战略、行业），以及财政、税收、货币、投资和产业等方面的政策。（3）标准与规范。国家各部门或专业协会发布的技术经济指标、定额、标准与规范等。（4）自然与资源。调查、统计或其他机构保存或取得的河流、湖泊、沼泽、山脉、

8、森林、植被、矿藏、水文等地理资料，气象、气候等天文资料等。（5）行业统计。全国乃至全球各行业规模与产业动向、生产与销售、进出口、技术，以及主要企业、公司等的现状、竞争态势，以及发展趋势等。（6）投资与项目。全国乃至全球各种项目的实施过程与结果，包括投资、规模、技术来源、标准、设备、产品性能和目标市场等。（7）区域社会与经济状况。区域的社会、民族、文化、教育、宗教、习俗等人文状况，区域经济发展、税收、财政、基础设施等。2来源不同的信息（1）内部信息。企业或项目已有或反映企业及项目状况，不希望外人获知的信息。（2）外部信息。诸如宏观政策的变动、市场动态、竞争情况、政策法规、技术发展等方面的信息。3

9、媒介与形式不同的信息信息有多种形式，如数据、文字、图样、影像、录音。信息载体或媒介亦有多种，如书籍、文件、报告、会议、数据库和磁盘等。4原始信息与加工信息信息有原始和加工信息。原始信息，如人口普查记录；加工信息，利用某些方法，根据原始信息取得的判断、评价、预测及建议等，如对人口构成的分析。5用途不同的信息信息的用途五花八门，如标准、规范、手册等，通常用于技术方案设计；如生产资料价格、概算定额等，通常用于投资估算；如税率、产品价格、影子价格等，通常用于项目财务分析或经济分析；行业基准收益率、市场竞争情况等，通常用于投资项目决策。6动态信息与静态信息信息可分为静态和动态两类，前者指不随时间变化或变

10、化较小的信息，如道路、停车场、交通附属设施等；后者为随时变化的信息，如道路状况、交通事故、天气、车辆密度与流量等。7显性信息与隐性信息显性信息指以文字、图形或其他符号明显记载于书籍或其他介质的信息。隐性信息是须经过分析、联系与推断才能获得的信息。（二）工程咨询对信息的基本要求信息是咨询和决策的基础，至少应满足如下要求。1来源须可靠，必须来源于实际，不能含有虚假、伪造的成分。2必须全面或较全面反映客观事物与过程，不得将片面、残缺的信息用于咨询。3必须适合或基本适合选用的咨询方法。不同的咨询方法需要不同范围和时间段的信息。如果不能适合选用的咨询方法，就应选择其他咨询方法。（三）信息来源信息来源很多

11、，例如图书馆、档案馆、调查或咨询机构、学校、出版与研究机构、商场、国家与地方统计局及其他政府或新闻机构、国际组织与外国驻华机构、互联网等。1网络和出版物从互联网上能够快速检索到最新、非常有价值的信息。当然，对这些信息必须特别注意加以鉴别，去伪存真。公开出版物同样发布大量有用的信息，例如行业年鉴、调查与统计报告、专题研究报告等。2借阅与购买从合作单位、专门机构索取或购买资料是一种重要的信息来源。如到各种图书馆借阅文献与资料，购买国家或地方统计局出版的综合与行业统计年鉴，向某些调查机构索取或购买调查报告，向测量部门购买卫星图片、航测或航拍图片，向地震部门购买地震分布资料，向水文、气象部门采购历年水

12、文、气象资料，向城市主管部门采购地理信息资料，向地质勘探部门采购地质勘探资料等。3自有信息从事规划、勘察、设计、科研、监理等咨询活动的咨询企业，积累了大量宝贵信息，例如水文地质与地形勘察报告、图档、投资估算、设计概算、工程决算、可行性研究报告、监理报告、实验报告、总结报告、国内外工程招标信息、最新行业动态和资讯、竞争企业情报、国内外工程规范和标准惯例、公司资质和专业资质、人力资源、公文公告、财务信息、企业管理制度和报表模板等，不少咨询企业还拥有专利。四、 项目概述（一）项目基本情况1、项目名称：气泡水项目2、承办单位名称：xx集团有限公司3、项目性质：新建4、项目建设地点：xxx5、项目联系人

13、：郭xx（二）主办单位基本情况公司注重发挥员工民主管理、民主参与、民主监督的作用，建立了工会组织，并通过明确职工代表大会各项职权、组织制度、工作制度，进一步规范厂务公开的内容、程序、形式，企业民主管理水平进一步提升。围绕公司战略和高质量发展，以提高全员思想政治素质、业务素质和履职能力为核心，坚持战略导向、问题导向和需求导向，持续深化教育培训改革，精准实施培训，努力实现员工成长与公司发展的良性互动。公司秉承“以人为本、品质为本”的发展理念，倡导“诚信尊重”的企业情怀；坚持“品质营造未来，细节决定成败”为质量方针；以“真诚服务赢得市场，以优质品质谋求发展”的营销思路；以科学发展观纵观全局，争取实现

14、行业领军、技术领先、产品领跑的发展目标。 公司满怀信心，发扬“正直、诚信、务实、创新”的企业精神和“追求卓越，回报社会” 的企业宗旨，以优良的产品服务、可靠的质量、一流的服务为客户提供更多更好的优质产品及服务。公司不断建设和完善企业信息化服务平台，实施“互联网+”企业专项行动，推广适合企业需求的信息化产品和服务，促进互联网和信息技术在企业经营管理各个环节中的应用，业通过信息化提高效率和效益。搭建信息化服务平台，培育产业链，打造创新链，提升价值链，促进带动产业链上下游企业协同发展。（三）项目建设选址及用地规模本期项目选址位于xxx，占地面积约31.00亩。项目拟定建设区域地理位置优越，交通便利，

15、规划电力、给排水、通讯等公用设施条件完备，非常适宜本期项目建设。五、 项目总投资及资金构成本期项目总投资包括建设投资、建设期利息和流动资金。根据谨慎财务估算，项目总投资13408.89万元，其中：建设投资10461.83万元，占项目总投资的78.02%；建设期利息286.19万元，占项目总投资的2.13%；流动资金2660.87万元，占项目总投资的19.84%。六、 资金筹措方案（一）项目资本金筹措方案项目总投资13408.89万元，根据资金筹措方案，xx集团有限公司计划自筹资金（资本金）7568.40万元。（二）申请银行借款方案根据谨慎财务测算，本期工程项目申请银行借款总额5840.49万元

16、。七、 项目预期经济效益规划目标1、项目达产年预期营业收入（SP）：28500.00万元。2、年综合总成本费用（TC）：24150.00万元。3、项目达产年净利润（NP）：3172.41万元。4、财务内部收益率（FIRR）：17.19%。5、全部投资回收期（Pt）：6.40年（含建设期24个月）。6、达产年盈亏平衡点（BEP）：11883.86万元（产值）。八、 项目建设进度规划项目计划从可行性研究报告的编制到工程竣工验收、投产运营共需24个月的时间。九、 工程咨询信息采集途径调查方法可分为普查与抽样调查两大类，这两类都有文案调查、实地调查、问卷调查、实验调查等几种。选择调查方法要考虑收集信息

17、的能力、调查研究的成本、时间要求、样本控制和人员效应的控制程度。上述各种方法，各有利弊，各有适用范围。文案调查是上述各种调查方法中最简单、最一般和常用的方法，也是其他调查方法的基础。实地调查能够控制调查过程，应用灵活，信息充分，但耗时长、费用多，调查对象易受心理暗示影响，不够客观。问卷调查适应范围广、简单易行、费用较低，得到了大量应用。实验调查最复杂、费用高、应用范围有限，但调查结果可信度较高。（一）文案调查法文案调查法是指对已经存在的各种资料档案，以查阅和归纳的方式进行的市场调查。文案调查法又称二手资料或文献调查。文案资料来源很多，主要有：国际组织和政府机构资料；行业资料；公开出版物；相关企

18、业和行业网站；有关企业的内部资料。（二）问卷调查法这种方法是调查人员以面谈、电话询问、网上填表或邮寄问卷等方式，了解调查对象的行为方式，从而收集信息。问卷调查法是市场调查常用方法，尤其在消费者行为调查中大量应用，其核心工作是设计问卷，实施问卷调查。（三）实地调查法此法是调查人员通过跟踪、记录调查对象的行为取得第一手资料的方法。这种方法是调查人员直接到市场或某些场所（商品展销会、商品博览会、商场等）亲身感受或借助于某些摄录设备和仪器，跟踪、记录调查对象的活动、行为和事物的特点，获取所需信息资料。（四）实验调查法该法是指调查人员在调查过程中，通过改变某些影响调查对象的因素，观察调查对象行为的变化，

19、从而获得消费行为和某些因素之间的内在因果关系。该法主要用于消费行为的调查，企业推出新产品、改变产品外形和包装、调整产品价格、改变广告方式时，都可以用这种方法。十、 网络信息搜索和提取方法（一）概过现在，虽然不能说人类所有文献与其他信息都上了互联网，但是网上的信息极为丰富，许多都可用于咨询。但是，许多咨询人员还不善于甚至不知道如何从网上快速、安全、有效地获得自己需要的信息和知识。咨询工程师应当知晓网上有何利信息，应掌握从网上获取信息的方法与基本技巧。对于网上的信息，可利用浏览器和搜索引擎获取。浏览器是供用户阅读网页内容的软件；而搜索引擎，指从互联网上搜集信息的特定电脑程序。早期的搜索引擎是收集互

20、联网中服务器的地址，按这些服务器拥有的资源类型将其编成不同的目录，各个目录再逐层分类。搜索引擎则沿着此类层级向下搜索，找到用户想要的信息。这种方式只适用于互联网信息不多的时代。随着互联网上信息的迅猛增长，出现了新式搜索引擎，性能大为改进，能够找到网站每一页的起始地址，随后搜索网上所有超级链接，把代表超级链接的所有词汇放入一个数据库。搜索引擎的功能不再限于搜索，已经添加了电子商务、新闻信息服务、个人免费电子信箱服务等。（二）搜索引擎工作原理搜索引擎有信息搜集、信息整理和接受用户查询三部分，各自工作原理大致如下：1搜集信息：搜索引擎利用称为网络蜘蛛（spider）的自动搜索机器人程序，从少数几个网

21、页开始，将各个网页的超链接连结在一起，只要网页上有适当的超链接，机器人便可以遍历绝大部分网页。2整理信息：这个过程称为“建立索引”。搜索引擎不仅要保存搜集到的信息，还要按照一定规则编排之。这样，搜索引擎无须重新翻查已保存的所有信息，便能迅速找到所要的资料，从而能够大大加快搜索速度。3接受查询：对于每时每刻都会接到的大量用户几乎同时发出的查询请求，搜索引擎按照各个用户的要求检查自己的索引，能在极短时间内找到用户需要的资料，并交给用户。目前，搜索引擎交给用户的主要是网页链接，用户按照这些链接便能找到含有自己所需资料的网页。搜索引擎一般会在这些链接下加一段有关这些网页的摘要，以便用户判断此网页是否含

22、有自己需要的内容。（三）搜索引擎种类现在，搜索引擎有很多种，可以从不同的角度分类。按搜索方法，分全文索引、目录索引、元搜索、垂直搜索、集合式搜索、门户搜索、个性搜索、专家型搜索与免费链接列表等。按搜索对象，分购物、自然语言、新闻、MP3、图片等搜索引擎。按搜索范围，分桌面、地址栏、本地等搜索引擎。按出现的时间，分第三代、第四代搜索引擎等。现在，用的较多的搜索引擎有Google，百度、Yahoo、MSNSearch，Webcrawler，Lycos，CNetSearch，LookSmart等。（四）搜索方法与技巧要想使搜索引擎能在网上快速找到有关咨询的资料，首先要明确查询目的。目的不同，查询策略

23、与方法不同。在明确目的之后，还应了解查询的种类与技巧，学会恰当地使用关键词。搜索方法的选择取决于搜索的内容。不同搜索引擎的复杂条件查询功能和实现方法各有不同，网站中一般都有“帮助”和“说明”解释各自的功能和方法。现在的搜索引擎都有模糊查询功能。当用户输入关键词时，搜索引擎不但交给用户关键词的网址，还发来与关键词意义相近的内容。比如，查找“建筑报”一词时，模糊查询搜索的结果会有“建筑报”“建设报”“建筑时报”等的网址。网址的排列，一般是完全符合关键词在最前边，其次是相近的。模糊查询的结果往往并非用户所需，为了排除不需要的结果，各种搜索引擎也设置了相应的功能。十一、 数据统计分析数据分析重要的一类

24、是对具有随机性质的数据进行分析，在多数情况下是用于预测。本段仅介绍统计分析。统计分析不仅是计算样本的数字特征（期望值、方差、相关系数、协方差、离散度、概率分布等），还应当建立适当的模型，进而做出预测。统计分析一般有如下工作或阶段。1选择数字特征。统计分析，就是利用若干数字特征全面认识数据的统计规律。选择数字特征是统计分析研究问题的准备阶段，是统计过程的重要环节。数字特征应当：（1）能够客观地反映研究分析对象的性质、特点、内在联系和运动过程；（2）尽可能突出重点，反映分析对象的全貌；（3）应能反映分析对象的变化；（4）便于资料获取。2收集并整理数据。确定了需用的数字特征之后，就要收集并整理所需的

25、数据。样本的容量与质量对统计结果影响极大。3计算数字特征。利用整理后的样本计算必要的数字特征。这项工作可以同下面的建模合在一起，利用适当的软件进行。4建立模型。计算出样本数字特征后，应选择适合样本模式的模型。统计分析可用的模型很多，都有各自的特点及适用条件。选择模型时，应全面考虑研究对象与目的、到手的数据与资料、统计方法等各自的特点，以及咨询人员对方法的熟悉程度等。5检验模型误差。建模之后，可利用样本检验模型的误差，误差大小由样本与所选模型与方法所决定。根据经济学理论和研究对象的具体特点，分析和评价模型误差，以及模型和方法本身；若误差未达到要求，应改进模型与方法。6利用模型预测。预测是咨询结论

26、和建议的基本依据之一，应成为咨询及决策人员的高质量信息。7评价统计与预测结果。对统计与预测结果进行评价的任务是对初步统计结果（如离散程度、影响、走势等）进行概括，并寻找它们之间的联系。评价过程一般有：形成初步概念；对现象定性；提出主要观点；阐述所提观点的理由；提出论据；得出结论。咨询工程师在进行评价时，要在大局高度上全面、长远地看问题，多方面观察，不偏废任何一方；注意数据的衔接，当来源不同的数据矛盾时应弄清情况后再做取舍。十二、 大数据系统和数据挖掘技术（一）数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量

27、，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数

28、据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（

29、1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变

30、换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个

31、反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了Robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用Robot程序采集静态Web页面，最后获取被访问站点网络数据库中的动态信息，生成WWW资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向量对照，将符合要求的信息交给用户。