汽车用品公司数据采集分析(范文).docx
《汽车用品公司数据采集分析(范文).docx》由会员分享,可在线阅读,更多相关《汽车用品公司数据采集分析(范文).docx(17页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、CMC.泓域咨询/数据采集分析汽车用品公司数据采集分析目录第一章 宏观环境分析2第二章 数据采集分析与知识管理3一、 大数据系统和数据挖掘技术3二、 信息鉴别常用方法7第三章 公司简介10一、 公司基本信息10二、 公司简介10第四章 行业背景分析12第五章 项目简介14一、 项目名称及项目单位14二、 项目建设地点14三、 建设规模14四、 项目建设进度14五、 建设投资估算14六、 项目主要技术经济指标15第一章 宏观环境分析“十三五”期间,四川省以提高经济发展质量和效益为中心,以供给侧结构性改革为主线,着力推进转型发展,加快形成适应经济发展新常态的体制机制和发展方式,统筹推进经济、政治、
2、文化、社会和生态文明建设,确保与全国同步全面建成小康社会,实现由经济大省向经济强省跨越、由总体小康向全面小康跨越。第二章 数据采集分析与知识管理一、 大数据系统和数据挖掘技术(一)数据挖掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力,或者既往数据库系统结构无法容纳的数据。大数据常以万亿或EB衡量,且种类多、实时性强,蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案,及大型电子商务。大数据是数据挖掘产生与生存
3、发展的土壤。如今数据每五年翻一番,面对前所未有的海量数据,为了从中发现有用的信息必须进行数据挖掘。此外,计算机存储、处理大量数据,以及运算的能力大为增强,为数据挖掘创造了条件,使其成为一门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于:(1)处理工作量。数据分析的数据量可能并不大,而数据挖掘的数据量极大。(2)制约条件。数据分析是从某些假设出发,建立方程或模型,而数据挖掘不作假设,可以自动建立方程。(3)处理对象。数据分析往往是针对数字型数据,而数据挖掘对象类型繁多,例如图像、声音、文本等。(4)处理结果。数据分析可以解释结果的含义;数据挖掘的结果不易解释,着眼于
4、预测未来,并提出决策建议。想要从数据中发现规律(即认知),往往需将数据分析和数据挖掘结合起来。(二)数据挖掘步骤按挖掘对象,数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种,各自步骤分述如下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。(1)信息收集。从确定的挖掘对象中提取特征,然后选择合适的收集方法,将收集到的信息存入数据库。对于海量数据,必须选择合适的数据仓库。(2)数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排,以便以后使用。(3)数据规约。多数数据挖掘算法耗时很长,商业数据往往较多,数据
5、挖掘更耗时间。数据规约就是简化已有可用数据集的表示,规约后数量大减,但仍能保持原数据的完整性,对规约数据的挖掘结果,与对规约前数据的挖掘结果相同或几乎相同。(4)数据清理。有些数据不完整(属性缺少属性值)、含噪声(属性值错误),不一致(同一信息有多种表示),需要清理,使其完整、正确、一致后存入数据仓库。(5)数据变换。将数据变换成适合数据挖掘的形式。实数型数据,可将其分层和离散化。(6)数据挖掘。根据数据格式、属性与特点,选择合适的处理工具,例如统计方法、事例推理、决策树、规则推理、模糊集,甚至神经网络,取得有用的信息。(7)模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。(8)知识表
6、示。将数据挖掘得到的信息以可视方式交给用户,或作为新的知识存人知识库,供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源,则可以省略数据集成。数据规约、数据清理、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段,而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程,若一次未满足要求或未得到有用结果,则需回到前面,经过调整后重新开始。2,网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从WWW中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上,通过归纳学习、机器学习
7、、统计分析等发现挖掘对象间的内在关系与特性,进而在网络中提取用户感兴趣的信息,获得更高层次的知识和规律。网络信息挖掘沿用了Robot,全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引擎使用了这些技术,能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下:(1)确立目标样本。由用户选择目标文本,提取特征信息。(2)提取特征信息。根据目标样本的词频分布,从统计词典中提取挖掘目标的特征向量并计算出相应的权值。(3)网络信息获取。先利用搜索引擎站点选择待采集站点,再利用Robot程序采集静态Web页面,最后获取被访问站点网络数据库中的动态信息,生成WWW资源索引库。(4)信息
8、特征匹配。提取索引库中的源信息特征向量,并与目标样本的特征向量对照,将符合要求的信息交给用户。二、 信息鉴别常用方法(一)溯源法对到手信息涉及的问题应追根溯源,及时核对。例如,尽量找到现场和掌握第一手资料的人;核对原始资料,并查对主要参考文献;按其中叙述的方法、步骤,重做实验或演算,以便从来源上找到鉴别依据。鉴别和筛选在手信息,判断是否完整、适用与可靠,是咨询人员的重要工作。工程咨询所需信息十分广泛,不可能也不必均由咨询人员鉴别。为了确保信息可靠,应尽可能选用权威机构发布或已鉴定、批准的信息。例如,地质储量选用储量委员会批准的储量报告;地震带的分布用国家地震局的数据;历史数据用国家统计局的数据
9、。一般来说,专业技术力量强的单位提供的信息较可靠。例如,国际金融组织的国际金融信息较可靠;来自从事钢铁、汽车行业研究的机构的钢铁、汽车业信息较可靠。(二)比较法有些信息受主客观条件限制难以溯源,对此,可用比较法,即比较不同人、不同时间和其他方面的材料;对于某一事实,说法、结论是否一致。如果一致,则基本可辨真伪。若否,就需进一步核查。(三)佐证法任何事物都与其他事物有一定联系,并相互制约。找到这些联系和制约因素,便可判断事物的真伪。一般说来,口头材料不如文字材料可靠,文字不如实物可靠。分析信息产生的过程也是寻求信息佐证的办法。1普查数据一般比抽查数据全面、准确。2监测数据,长期比短期全面,监测范
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 汽车用品 公司 数据 采集 分析 范文
限制150内