(中职)数据采集技术(初级)项目9:创建SpringBoot项目教学课件.ppt
《(中职)数据采集技术(初级)项目9:创建SpringBoot项目教学课件.ppt》由会员分享,可在线阅读,更多相关《(中职)数据采集技术(初级)项目9:创建SpringBoot项目教学课件.ppt(38页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、正版可修改PPT课件(中职)数据采集技术(初级)项目9:创建SpringBoot项目教学课件CONTENTS任务1 创建SpringBoot项目项目情景 经理:我们公司的业务系统可能会采用分布式部署分布式部署,日志分别在不同的服务器上。如何进行日志采集呢?小张:业务系统日志数据采集?以前垂直项目时,我们的日志在一台服务器上一台服务器上,可以直接查看。现在我们的日志在多台服务器,应该进行收集并集中查看并集中查看,对吧经理?经理:你说的没错。建议先搭建一个SpringBoot项目,模拟模拟业务系统。并输出日志,以便于进行采集。小张:好的,没问题。小张:我再补充一下,日志采集使用的应该是ELK中的l
2、ogstash吧?而SpringBoot项目是一个业务模拟系统,无论业务系统用什么开发,logstash都可以采集这些日志,对吧经理?(附加说明:在不同的环境下,信息采集的方式各有不同,工具有:flume,sqoop,kettle,beats,logstash)。经理:你说的没错!Perfect。小张和经理谈完话后,决定给公司同事做以下交流:1:业务系统的概述2:日志概述。日志和数据的异同。具体包含以下步骤:1:安装开发环境。2:开发业务模拟系统。3:日志输出与配置。学习目标【知识目标】l 了解什么是业务系统l 了解业务系统产生的日志数据l 掌握业务系统中数据产生的价值l 了解.NET开发框架
3、l 了解Java语言的概述l 了解Java语言的用途l 了解JavaEE框架l 了解JaveEE其他Spring/Hibernate/MyBatis/JPA/Struts框架l 了解微服务框架【技能目标】l 能够创建SpringBoot项目l 能够运行SpringBoot项目知识储备任务一:创建SpringBoot项目1业务系统概述业务系统概述随着互联网数据的不断增涨,目前的业务系统已经从之前一个独立垂垂直直的业务系统变成由多个业务系统整合的平台平台。比较老牌的业务系统如:ERP,CRM,HIS,MIS等等。业务系统解决的问题是:1:让业务流程变的更加规范。2:数据实时展示,并给出领导层决策。
4、3:历史数据长久保存并随时可查。业务系统是指在一个专业/行业方面,比如人事系统、财务系统、物资系统等,从某一个方面从上到下的组织架构及所有的业务工作。其中应用最多的是企业业务系统。企业业务系统是解决企业的外部问题,与解决企业内部问题的组织系统相辅相成。业务系统解决的问题是人如何将产品卖出,使得企业利润最大化。在业务系统中应用最多的有ERP、CRM等。知识储备任务一:创建SpringBoot项目新老业务系统比较知识储备任务一:创建SpringBoot项目(1)ERP系统系统ERP(Enterprise Resource Planning)是企业资源计划企业资源计划的建成,由不同的功能模块组成的软
5、件系统。建立在信息技术基础上,集信息技术与先进管理思想于一身,以系统化的管理思想,为企业员工及决策层提供决策手段的管理平台。它是从MRP(物料需求计划)发展而来的新一代集成化管理信息系统,它扩展了MRP的功能,其核心思想是供应链管理。它跳出了传统企业边界,从供应链范围去优化企业的资源,优化了现代企业的运行模式,反映了市场对企业合理调配资源的要求。它对于改善企业业务流程、提高企业核心竞争力具有显著作用。ERP是一个信息高度集成的管理系统,不仅可以使企业内部的物流和资金流集成在一起,也可以将企业外部有关供应商以及其市场和客户的物流和资金流信息集成在一起。目前国际上普遍被采用的ERP系统有SAP,B
6、aaN(供应链 ERP),JDE,Oracle,QAD等。而国内的ERP系统有用友、金蝶、浪潮、神州数码、新中大等。ERP核心业务功能包括:财务会计;管理会计;销售管理;采购管理;客户关系管理;供应商管理;物流管理;生产计划;质量管理等。一个典型的ERP系统除了上述功能外。通常还包括项目管理、投资管理、资金管理等辅助功能。知识储备任务一:创建SpringBoot项目(2)CRM系统系统CRM是指利用计算机网络实现的以“客户”为中心的系统。它通过服务、挖掘客户、维护客户与销售之间的关系,提高客户的满意度、提高服务质量,从而实现企业效益最大化。CRM主要应用于以下几个方面:l 客户档案有序管理以往
7、的客户资料都是通过纸质文档进行存储管理,有时候出去见完客户后,得急匆匆的打开电脑进行录入客户资料,就怕忘记。而通过CRM系统,销售人员可以随时随地的录入客户资料、及时更新客户信息变动,确保信息的完整性。l 合同管理合同管理是维护企业双方的利益武器。所以利用CRM系统实时维护合同状态细节,及时更新合同的每一个细节及记录每一个合同管理时间、流程,让签约回款流程标准化,执行更加顺畅。l 销售报表以往的销售日报都是通过纸质进行上报,但是报表上无法显示销售工作的真实性。而利用CRM系统可以清晰的记录销售的每一个环节,每一个工作进度。因此,领导可以通过销售日报及时掌握最新动态,让销售工作的管理更加有序。l
8、 预测销售业绩通过数据看板生成销售数据看板,可以预测销售业绩,直观的展示商机动态,领导可以随时查看商机跟进情况,预测销售结果能够指导团队管理。知识储备任务一:创建SpringBoot项目2业务业务系统的系统的行为行为数据数据产生及价值产生及价值在使用业务系统过程中,会产生不同的数据。比如用户操作过程中添加的数据,修改项目中具体的内容时产生的数据等,系统出现问题、操作失败等出现的数据。通常情况下,业务系统中产生的数据会有两种保存方式,数据库数据和日志数据。l 数据库数据数据库保存的数据一般是业务数据业务数据。l 日志数据日志作为企业应用系统中一个重要的组成部分。它可以记录业务系统的几乎所有行为行
9、为,并且按照一定的格式表示。通过日志记录的信息可以为企业应用系统纠错纠错,跟踪跟踪系统的运行,优化优化系统性能等。在安全管理中,日志系统通过记录被拒绝的访问,可以反映系统错误操作和恶意攻击的情况,它也是系统安全审计的主要方法之一。在高可靠的系统中,日志记录的信息能准确、及时反映系统的状况,从而可以保障系统运行的连续性。业务系统运行时,会把请求运行情况、异常情况记录在日志文件里。通过分析业务系统产生的日志数据,可以分析业务系统的访问量、运行状态、异常情况、功能访问分布等情况;当系统发生问题时,可以快速定位系统异常问题的发生位置。知识储备任务一:创建SpringBoot项目不同系统产生的日志,左边
10、是tomcat的日志,右边是windows的系统日志知识储备任务一:创建SpringBoot项目(1)日志概述)日志概述 日志主要包括系统日志、安全日志和应用程序日志。系统开发人员和系统维护人员可以通过日志来了解服务器软硬件信息,检验配置过程中的错误及错误发生的原因。通过分析日志可以了解系统的负荷,性能安全性及时纠正系统的错误。通常情况下,日志分散在不同的存储设备上,如果管理数百个服务器,依次查看每台机器的传统方法查阅日志,很麻烦效果也不高,目前很多公司都使用集中化管理日志,比如开源的syslog,将所有的服务器上的日志收集汇总。在对日志进行集中化管理过程中,可以将所有机器上的日志进行收集,完
11、整的日志具有以下作用:信息查找:通过检索日志信息,可以找出系统中存在的bug,并根据日志进行bug修改。服务诊断:通过对日志信息进行统计分析,了解服务的负荷和服务运行状态,找出耗时请求并进行优化。数据分析:如果是格式化的log,可以做进一步的数据分析,统计、聚合出有意义的信息。知识储备任务一:创建SpringBoot项目(2)ELK概述概述ELK中的L(logstash)可用于收集集群日志,保存到E(ES)中的日志可进行有效的查询和检索。ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。Elasticsearch是一个基于Lucene的开源分布式搜索服务器,
12、拥有零配置、分布式、索引自动分片、自动发现、索引副本即止、自动搜索负载等特点。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,E使用Java语言开发,L用Ruby语言开发,K使用go开发,并作为Apache许可条款下的开放源码发布。主要用于云计算,能够达到实时搜索(数据被保存1秒后,即可以被搜索出来),稳定、可靠、快速、安装使用方便。Logstash主要功能是对日志进行收集主要功能是对日志进行收集、过滤并将其存储,方便以后搜索,自带一个Web界面,可以搜索和展示所有日志。Kibana是一款基于浏览器页面的Elasticsearch前端展示工具,可以为 Logstas
13、h 和 ElasticSearch 提供的日志分析友好的 Web 界面,主要用于汇总、分析和搜索重要数据日志。在安装过程中,彼此之间存在一定的依赖关系,Kibana 依赖 Elasticsearch,Logstash 数据可以输出到 Elasticsearch。ELK三个组件的关系如右图所示:知识储备任务一:创建SpringBoot项目3业务业务系统系统的开发的开发语言与技术框架语言与技术框架不同的开发语言开发的业务系统,产生的日志数据格式是不一样的,在现实生活中,用于开发业务系统常用的开发语言有Java、.net、Python、go、PHP等,还有基于C/S架构的数据系统可以使用C#WinF
14、orm,C+QT等。知识储备任务一:创建SpringBoot项目(1).NETDotNET是微软公司旗下的技术。.NET Framework 是指DotNET的运行环境.Net平台是微软搭建的技术平台,技术人员在此平台上进行应用的搭建与开发。它提供了运行所必须的环境.NET Framework类库以及CLR(公共语言运行时)。好比我们人类的生存必须基于有氧气的基础之下。程序也不例外,它的运行也需要很多所必需的环境。这就是.Net平台。大多数.NET的日志框架有着一些共同的概念和特性。根据作用来分主要有以下组件或概念:记录器(Logger)、监视器/目标(Monitor/Target)、包装器(
15、Wrapper)、过滤器(Filter)、布局(Layout)、严重性级别(Severity)。l 记录器:日志的对象,可以同时连接一个或多个不同的监视器,记录各种不同的消息和信息。l 监视器:用于存储和显示日志消息的媒介,有多种存在形式。如一般的文本文件、数据库、网络、控制台、邮箱等。l 包装器:用于制定日志记录的方式。如:同步/异步记录,(出错时)回滚记录。l 过滤器:用于根据严重性级别来过滤和忽略某类消息,只记录特定级别的日志消息。l 布局:用于格式化输出。定义输出项和输出格式。l 严重性级别:是对消息的分类,严重性级别表示消息的严重程度。也是过滤器的过滤依据。如:调试(DEBUG)、消
16、息(INFO)、警告(WARN)、错误(ERROR)、严重错误(FATAL)严重性依次增强。现在,已经有很多成熟的.NET日志工具,免费的、收费的、开源的都有。一些主流的日志工具和框架有:NLog、log4net、Enterprise Library、ObjectGuy Framework等。知识储备任务一:创建SpringBoot项目(2)JavaJava是由Sun Microsystems公司于1995年5月推出的Java面向对象程序设计语言和Java平台的总称。由James Gosling和同事们共同研发,并在1995年正式推出。Java分为三个体系:JavaSE(J2SE)(Java2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 采集 技术 初级 项目 创建 SpringBoot 教学 课件
限制150内