工信版（中职）数据采集技术（初级）项目1：数据采集技术教学课件.pptx

《工信版（中职）数据采集技术（初级）项目1：数据采集技术教学课件.pptx》由会员分享，可在线阅读，更多相关《工信版（中职）数据采集技术（初级）项目1：数据采集技术教学课件.pptx（29页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、YCF（中职）数据采集技术（初级）项目1：数据采集技术教学课件CONTENTS任务一：数据采集项目情景零数据采集是大数据产业的基石基石。不开采石油，就无法得到汽油等衍生品。当然，石油开采并不容易。各行各业包括政府部门的信息化建设都是封闭式进行，海量数据被封在不同软件系统，数据源多种多样，数据量大、数据源多种多样，数据量大、更新快更新快。数据采集的重点不在数据本身，而在于如何能够真正地解决解决数据运营中的实际商业问题实际商业问题。但是，要解决商业问题，就得让数据采集产生价值数据采集产生价值，就得做数据分析和数据挖掘。而在数据分析和数据挖掘之前，首先必须保证采集到高质量的高质量的数据数据。只有通过

2、对所需数据的全面准确采集，形成数据流规模，然后再对数据流进行分析，这样分析出的数据结果对决策行为才有指导性作用指导性作用。学习目标零u 理解理解定义定义u 掌握特点掌握特点u 掌握过程掌握过程知识储备任务一：数据采集壹u 数据数据的应用价值的应用价值知识储备任务一：数据采集壹u 数据采集的意义数据采集的意义No SQLDBBlobC#MapReduceHivePigStored ProceduresVM知识储备任务一：数据采集壹结构化数据结构化数据 具有固定格式或有限长度的数据，如数据库，元数据等。半半结构化数据结构化数据非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSO

3、N文档等。非非结构化数据结构化数据数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、图像和音频/视频信息等等。u 数据数据的类型的类型知识储备任务一：数据采集壹数据采集，又称数据获取，是利用一种程序或装置从系统外部采集采集数据数据,经过数据清洗数据清洗，最终输入到存储存储系统中。以自动化自动化手段为主，摆脱人工录入的方式涵盖了全量采集全量采集、增量采集增量采集，不对数据进行采样采集方式多样化、内容丰富化内容丰富化，摆脱以往只采集基本数据的方式u 定义定义u 特点特点知识储备任务一：数据采集壹123采集采集范围范围 能够从多多个个数数据据领领域域内采集、清洗、存储

4、目标数据。业务系统日志数据业务系统日志数据数据库数据数据库数据45互联网应用数据互联网应用数据容器日志数据容器日志数据操作系统日志数据操作系统日志数据6网络设备日志数据网络设备日志数据u 数据采集范围数据采集范围知识储备任务一：数据采集壹u 采集流程采集流程数据采集数据采集数据数据清洗清洗采集：多领域范围清洗：验证、拆分、过滤存储：灵活、合理数据数据存储存储知识储备任务一：数据采集壹u 采集流程采集流程网页网页爬取的采集爬取的采集流程流程采集：通过python编写代码，爬取网页。清洗：通过python完成网页数据的拆分等存储：通过python将最终的采集结果存入数据库，或者文件。数据场景数据场

5、景被被采集端采集端采集层采集层清洗层清洗层存储层存储层PythonPython知识储备任务一：数据采集壹u 采集流程采集流程日志日志数据类型的数据采集数据类型的数据采集流程流程采集：通过采集工具（filebeat等）配置，完成采集。清洗：通过开源工具（logstash等）配置来接收原始的日志数据并进行拆分、验证。存储：通过开源工具（logstash）将采集结果存入数据库，或者文件中。被采集端被采集端采集层采集层清洗层清洗层存储层存储层知识储备任务一：数据采集壹 全面性全面性数据量具有分析价值、数据面足够支撑分析需求。多维多维性性数据更重要的是能满足分析需求。灵活、快速自定义数据的多种属性和不同

6、类型，从而满足不同的分析目标。高效高效性性采集数据一定要明确采集目的，带着问题搜集信息，使信息采集更高效、更有针对性。及时及时性性 对于实时监控性质的系统来说，要实时采集数据并上报。u 要求要求知识储备任务一：数据采集壹u 数据采集的知识、能力体系数据采集的知识、能力体系基基础础知知识识数据采集理论网页基础数据网络爬虫移动端应用采集技术框架采集客户端开发互联网应用数据业务系统体系dotNet框架体系Java技术体系业务系统行为业务系统日志主流关系数据库非关系数据库数据存储数据采集行为日志数据数据库数据操作系统基础操作系统行为Windows系统体系Linux系统体系操作系统数据场场景景实实战战数

7、据验证数据拆分虚拟化关系数据库非关系数据库网络技术Python服务容器多媒体数据基础中间件容器基础Web容器中间件容器行为中间件容器网络工程网络设备设备流量协议设备模拟仿真网络设备工控设备工控协议数据多媒体终端多媒体数据硬件终端 分析各种数据的发生场景，掌握数据的产生方式和意义。场景分析综综合合能能力力数据筛选 运用合适的编程语言编写数据采集功能和系统。开发能力 根据采集流程各环节要求，对各种采集工具进行深度定制。工具定制 根据采集的数据规模，制定和编排不同集群规模的数据采集流程，高效完成数据采集、清洗。数据处理 熟悉领域内第三方系统和平台，能够熟练使用、借鉴和学习。平台使用 根据不同数据特点

8、，选择合适的数据存储系统，设计数据存储表结构。数据存储知识储备任务一：数据采集壹数据分析能力数据分析能力数据的种类千差万别种类千差万别，软件主体软件主体直接产生的数据，有数据库存储数据、数据库行为数据、互联网应用数据、业务系统行为/状态数据、操作系统行为数据、中间件容器行为/状态数据等；硬件主体硬件主体直接产生的数据，有互联网设备数据、工控设备数据、多媒体设备数据等。随着计算机领域软硬件技术的快速发展，各种软件数据、硬件数据的种类规模都在快速增加快速增加，差异性也变得越来越大。不同种类的数据都有自己特定特定的格式、标准、含义、协议规范等，需要专业人员具备对各种数据场景进行分析分析的能力，用科学

9、的方法和手段对数据进行解读、分析、采集、清洗、存储。为后续的数据加工、挖掘提供充足、可靠可靠的数据原料。u 能力解读能力解读知识储备任务一：数据采集壹数据采集能力数据采集能力采集工具因数据而不同。根据不同数据的来源差别、特征差异性，需要采用编写软件工具、软件软件系统来完成整个数据采集全流程。对于一些特定的硬件设备，还需要使用相应的硬硬件型采集设备件型采集设备去收集硬件数据。数据采集工程师要具备开发软件、硬件等采集工具的定制能力。数据量的巨大规模巨大规模，对数据采集的性能、效率、稳定、存储性能、效率、稳定、存储都提出了更高的要求。在技术深度上，要求数据采集工程师掌握高并发、集群化、虚拟化等更高端

10、的技术高端的技术。u 能力解读能力解读知识储备任务一：数据采集壹数据采集方案的规划能力数据采集方案的规划能力符合证书标准要求的专业人才，将具备全面的能力全面的能力，能够根据实际的现场数据采集环境，制定采集方案制定采集方案，开发和定制采集工具，综合利用综合利用采集系统、平台、框架，完成数据采集、预处理、存储的完成过程。u 能力解读能力解读任务描述任务一：数据采集壹1、数据场景：、数据场景：1）考生机器上已部署一个apache服务，并在apache服务里设置好一个静态网站。2）apache httpd、filebeat、logstash等工具软件已提前在考生机器的指定目录中放好。2、采集要求、采集

11、要求1）根据apache配置信息能找到access_log日志文件2)使用采集工具（比如filebeat）收集apache的access_log日志数据3)通过filebeat输出到logstash4）在logstash里引用已定义好的针对access_log的正则表达式5）通过logstash输出到指定文件中。任务步骤任务一：数据采集壹u 被被采集端采集端-数据场景数据场景 （Apache httpdApache httpd）配置文件配置文件E:ServerApache24confhttpd.conf#ServerRootDefine SRVROOT E:/Server/Apache24Se

12、rverRoot$SRVROOT“#设置端口Listen 8099#日志数据信息#LogFormat%h%l%u%t%r%s%b%Refereri%User-Agenti combined LogFormat%h%l%u%t%r%s%b common LogFormat%h%l%u%t%r%s%b%Refereri%User-Agenti%I%O combinedio CustomLog logs/access.log common任务步骤任务一：数据采集壹u 被被采集端采集端 （Apache httpdApache httpd）启动启动cd/d e:ServerApache24binhttp

13、d.exe验证验证http:/127.0.0.1:8099/日志目录日志目录 E:ServerApache24logsaccess.log任务步骤任务一：数据采集壹u 采集端采集端 （FilebeatFilebeat）配置文件配置文件E:Serverfilebeatfilebeat-6.8.0-windows-x86_64filebeat.ymlfilebeat.inputs:-type:log enabled:true paths:-E:ServerApache24logsaccess.logoutput.logstash:hosts:localhost:5044启动启动cd/d E:Ser

14、verfilebeatfilebeat-6.8.0-windows-x86_64filebeat-c filebeat.yml任务步骤任务一：数据采集壹u 清洗层清洗层 logstashlogstash配置文件配置文件 E:Serverelklogstash-6.8.7configlogstash-filebeat-csv.confinput beats port=5044 filter grok match=message=%HTTPD_COMMONLOG output csv path=E:Serverelkoutputfile.csv fields=clientip,verb,bytes

15、 csv_options=col_sep=stdout codec=rubydebug 启动启动cd/d E:Serverelklogstash-6.8.7binlogstash-f ./config/logstash-filebeat-csv.conf扩展任务任务一：数据采集壹0202u 加工加工04040 05 50 06 6采集端数据提炼数据去噪数据属性组合01010303数据过滤数据拆分数据验证针对不断增加的数据类型和数据分解要求，在数据采集过程中的数据分析特点也不断的被强化。数据清洗和处理数据清洗和处理编程开发 使用编程语言完成数据采集的工具开发。采集平台学习第三方采集平台，从而掌握

16、一个完整系统的特点和功能结构。工具定制针对采集的各个环节涉及到的工具进行定制开发。扩展任务任务一：数据采集壹u 采集手段采集手段采集编程采集工具采集系统采集框架扩展任务任务一：数据采集壹u 采集方式采集方式智能手机平板服务器数字信号中间件容器检测设备监控设备POS终端互联网设备工控设备视频数据音频数据iOS终端设备操作系统业务系统日志数据互联网应用数据扩展任务任务一：数据采集壹u 采集范围采集范围扩展任务任务一：数据采集壹u 存储系统选择存储系统选择 文件存储文件存储 关系型数据库关系型数据库 非关系型数据库非关系型数据库u 设计设计能力能力 存储系统规划存储系统规划 数据表的设计数据表的设计扩展任务任务一：数据采集壹u 采集项目分析采集项目分析数据场景数据场景 数据规模数据规模 数据准确率数据准确率 入库要求入库要求 数据备份数据备份 性能损耗占比性能损耗占比项目分析总结文档项目分析总结文档扩展任务任务一：数据采集壹u 方案选型和设计方案选型和设计采集手段选型采集手段选型 存储系统选择存储系统选择 部署方案设计部署方案设计 数据备份方案设计数据备份方案设计 数据结构设计数据结构设计数据采集方案文档数据采集方案文档