智慧农业大数据平台整体解决方案79页.docx
《智慧农业大数据平台整体解决方案79页.docx》由会员分享,可在线阅读,更多相关《智慧农业大数据平台整体解决方案79页.docx(79页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、智慧农业大数据平台建设方案智慧农业大数据平台建设方案V3.0农业自然资源、生产、市场、农业管理等基准数据,并对数据采集、 传输、存储和汇交等制定标准和规范,为现代农业开展决策提供坚实 的基础支撑。2.3 加强智能模型系统研发,推动农业智能转型。数据的处理和分析能力是大数据技术的核心。针对农业领域数据 海量、分散、异构等现象而难以集成、不能挖掘其巨大潜在价值的现 状,应重点开展农业大数据智能学习与分析模型系统关键技术研究, 利用人工智能、数据挖掘、机器学习、数学建模等技术,针对农业领 域所要解决的实际问题,建立有效的数学模型对数据进行处理,并利 用最终形成的模型对海量数据进行处理分析,辅助农业决
2、策,实现决 策的智能化、精确化和科学化。2.4 倡导数据开放,服务和引领农业开展。数据的应用是大数据的最终目的,数据的公开开放有助于我国农 业的健康开展。为此,应加强数据立法,为农业信息公开提供法律保 障;形成数据开发的体制和机制,保证在数据会商、开放标准、发布 规范等方面的切实可行;以召开中国农业展望大会和发布中国农业展 望报告为契机,形成具有中国特色的农产品监测预警和信息发布制 度,最终为生产决策、市场监测、农业管理提供信息支撑,引领现代 农业开展。农业转型升级3总体设计3.1方案总体设计面向大数据生态链,大数据分析平台包含基础架构层、数据分析 层、数据展现层三局部。通过引用底层通用大数据
3、基础架构,主要实-9-智慧农业大数据平台建设方案V3.0现完成大数据分析层功能与大数据展现层功能。在本次工程中,针对大数据平台的基础架构平台进行设计规划。大数据生态链数据展示数据分析数据建模数据ETL数据挖掘数据实时分析基础架构(味黑必忘於田6).ladsxooztedsi seqHHive(交互式数据仓库)MapReduce(分布式计算框架)Pig (数据流处理)Mongodb (分布式数据库)HDFS(分布式文件系统)基于图标统计展示 基于地理位国展示:基于时间序列展示基于关联关系展示 基于聚族关系展示1.1总体实现思路大数据分析平台提供一套完整的数据管理平台框架,从“数据汇 入、数据存储
4、、数据分析、数据展示”全过程对数据进行管理。通过 各种采集方式将不同异构源的数据集中汇入,将预处理后的数据进行 分布式存储,基于数据特性建模并引用分析规那么进行数据的挖掘分 析,通过多类型方式按需实现界面可视化展示及交互应用。-10-智慧农业大数据平台建设方案V3.0牧业厅业务网入侵检测系统网络接入及平安防护区抗 DDOS数据中心I核心交换机VPN接入IP交换机虚拟化平安网关n n n =存储藏份系学口口 =数据容灾系名4A4A认证系统堡垒主机网络行为审计DG日KiSCSI HAS、 平安设备集中管理平台Syslog. Snmp Tr,p. FileCollector.ODBC. WML.计算
5、、存储资源池全网平安预警处置平台数据存储容灾平台内蒙古农牧业厅大数据中心图3-1大数据平台总体架构图3. 2方案部署设计3. 2.1外部数据导入系统负责接收处理其他相关厅局共享数据,部署两台单向网闸进行数 据交换与病毒过滤处理,保证得到平安有效数据,进入外部接收数据 库格式转换后送入数据采集引擎。-11 -智慧农业大数据平台建设方案V3.03. 2.2核心数据库区核心数据库区部署双机数据库集群服务器,保障数据库高可用, 同时部署数据防泄露系统和数据库防火墙系统,来保障数据库的数据 平安可控。3. 2.3网络接入及平安防护区全网核心接采用双链路全交叉负载设计,保障核心网络高可能、 高带宽、高平安
6、运行,在核心网络中部暑数据中心级防火墙、抗DDOS、 入侵检测系统、网络行为审计系统、VPN系统保障核心网络可能性、 完整性、平安性。3. 2.4平安计算、存储资源池采用10台双路服务器、2台存储、1台容灾、2台FC交换机组 成硬件资源池,部服务器平安虚拟化系统,为大数据平台提供计算、 存储资源,同时虚拟化系统具备完全的平安防护能力,其平安防护能 力与综合平安网关能力一致,并提供虚拟化与平安可视化能力。3. 2. 5网络平安集中管理平台平安设备和策略管理系统主要针对使用了平安设备和第三方设 备的客户。它允许平安管理员简便高效地从一个中央控制台管理多达 数千台设备。其关键在于它能够通过简便易用、
7、直观的管理功能,迅 速完成设备部署。集中管理全网所有平安设备,集中部署,集中策略,集中下发等 统一平台管理能力。3. 2.6网络平安预警平台主要负责监控、分析和管理企业信息系统的整体平安态势,并为-12-智慧农业大数据平台建设方案V3.0整个信息系统的平安运营提供决策服务,实现平安动态可视化。通过采用多种技术、手段,收集和整合各类平安事件,并运用实 时关联分析技术、智能推理技术和风险管理技术,实现对平安事件的 深度分析,能快速做出智能响应,实现对平安风险的统一监控分析和 预警处理。依据信息平安标准,结合平安服务的最正确实践,以资产管理为基 础,以风险管理为核心,以事件管理为主线,通过深度数据挖
8、掘、事 件关联等技术,辅以有效的网络管理与监视、平安报警响应、工单处 理等功能,对企业内部各类平安事件进行集中管理和智能分析,最终 实现对企业全风险态势的统一监控分析和预警处理。3. 2.7 运维管理中心综合而全面的IT运行维护系统,是网管用户的最终选择。这个 系统应该能够兼顾多方面的需求,在一个统一的平台上,实现对异构 的IT环境之运行、维护的规范化,同时对IT信息化的使用效果进 行综合管理和分析,这包括:面向服务的综合资源管理:对整个IT环境的所有资源,实现在 一个平台上的综合透明的管理;全面掌握IT资源利用情况、诊断服 务瓶颈,优化服务质量,同时为服务的扩展提供依据;智能故障分析:能通过
9、性能阈值判断服务的临界状态,同时提供 故障过滤与故障根源分析,简化故障处理难度;全网流量分析可监控:网络中的“摄像头”,自动快速发现影响 网络性能和状态,事前运维管理,轻松掌控全局;即时可用的价值保证:方便的部署,实用的功能,大幅降低网络-13-智慧农业大数据平台建设方案V3.0与系统的运行维护工作量。一个通用的IT基础设施和服务应用的管 理平台。它从网络和应用的不同层次,收集与业务/服务相关的各种 信息:网络设备信息、全网流量信息、服务器内存、I/O的使用情 况,甚至应用系统对资源的占用情况等;同时,内置的智能系统对收 集到的信息进行综合关联分析;4详细设计4.1外部数据导入系统外部数据导入
10、系统与外部数据来源间部署“单向数据隔离交换与病毒清除系统”,在保障数据源正常接收情况下完成网络隔离及病毒过滤。4. 1.1外部数据导入系统构架及工作原理计算机网络依据物理连接和逻辑连接来实现不同网络之间、不同 主机之间、主机与终端之间的信息交换与信息共享。单向网闸既然隔 离、阻断了网络的所有连接,实际上就是隔离、阻断了会话的连通。 单向网闸借鉴传统网闸技术,在使用数据“摆渡”的方式实现两个网 络之间的信息交换。网络的外部主机系统通过单向网闸与网络的内部主机系统“连 接”起来,单向网闸将外部主机的TCP/IP协议全部剥离,将原始数-14-智慧农业大数据平台建设方案V3.0据通过存储介质,以单向发
11、送的方式导入到内部主机系统,内部主机 系统再将相应的信息发送至真正的使用者或在本地实现备份。单向网闸在网络的第七层将数据还原为原始数据文件,然后以 “摆渡文件”的形式来传递原始数据。下面以信息流由外网到内网为 例,说明通过单向网闸的信息传输过程。内网处理单元身份认证 应用代理 访i可控制 内容过速 入侵检测 病毒查杀身份认证 应用代理 访问控制 内容过滤 入侵检测 病毒查杀(图一)单向网闸的工作原理是在内、外网处理单元独立完成网络协议终 止、内容检查与日志审计,将符合平安策略的数据内容提交至平安数 据交换区等待数据传输。单向传输单元按照设定的周期由外网处理单 元的平安数据交换区将数据内容提取并
12、单向传输至内网处理单元的 平安数据下载区,等待用户的读取或传输至指定的计算机上。同时系 统集成防病毒技术及扩展入侵检测技术,形成一套具有多重防护的安 全解决方案。4. 1. 2 主要功能主要功能特点就是在保证两个网络隔离的情况下,做指定的单向 数据平安传输。由内、外网处理单元和物理单向传输单元组成。物理 单向传输单元在内、外网主机间按照指定的周期进行平安数据的摆-15-智慧农业大数据平台建设方案V3.0渡。4. 1. 2.1平安隔离物理单向:系统由内网单元、外网单元及单向传输单元三个物理局部组成。协议隔离:内、外网单元主机均采用平安操作系统,分别独立完成网络协议的终止。应用隔离:系统采用应用解
13、码,客户应用可经过模块编码验证,只有符合白名单的编码规那么的数据才可被传输至内网单元。内容隔离:外网单元分别将待交换传输的数据进行内容检查与病毒查杀,不符合平安规定的数据内容将被直接删除,合法的数据才允 许被平安数据交换单元交换至另一端,从而保证了数据内容的平安 性。风险隔离:系统以白名单机制运行,仅许可正常的、用户许可的网络应用,防范未知的平安风险。并且系统集成防病毒并可扩展多种 常规平安防护引擎,如入侵检测等。4. 1. 2. 2信息交换单向网闸的工作原理基于人工信息交换的操作模式,即由外网处 理单元接收来自客户端的发送数据请求,内网处理单元负责接收来自 外网处理单元的信息,并将信息提交至
14、目标服务器。由于单向传输单 元的物理单向性,两个处理单元之间没有交互式会话,无法实现发送 数据的校验。在此前提下,通过专有硬件实现网络间信息的实时单向 传输可能会造成局部数据的丧失。TCP应用单向传输:对于符合规那么的应用数据单向传输至内网处-16-智慧农业大数据平台建设方案V3.0理单元,对于不符合白名单规那么的会话将日志报警并断开会话。UDP应用单向传输:对于不符合白名单规那么的会话将日志报警。 内网处理单元对于从外网处理单元发送过来的数据根据任务号可发 送给相应的服务器。被动文件信息传输:通过系统内置的单向文件传输模块,单向网 闸能够实现私有文件从外网向内网的单向传输。客户机通过管理控制
15、 台分配的账号,使用专用的文件客户端软件上传或下载文件。每个账 号均有自己的私有目录空间,另外系统提供一个公共空间以供所有用 户使用。单向邮件信息传输:通过系统内置的单向邮件传输模块,单向网 闸能够实现邮件信息从外网向内网的单向传输。数据库单向同步:单向网闸能够实现外网数据库向内网数据库的 单向同步,支持 Oracle、Sql Server Sybase、MySql 和 DB2 数据等。4. 网络访问控制可通过订制访问策略,精细地控制 谁(网络对象)能够(允 许或禁止)访问系统。管理控制台以人性化的人机接口协助管理员轻 松实现管理目标。网络访问控制:单向网闸的内、外网单元可分别实现链路层、网
16、络层、传输层访问控制,通过灵活组合网络对象,制定与实际需求完 全吻合的访问控制策略。访问用户控制:单向网闸的内、外网单元可分别实现定制、绑定 哪些用户可以访问系统。-17-智慧农业大数据平台建设方案V3.04. L 2. 4数据内容审查单向网闸外网处理单元对接收到的文件和信息进行平安性检查, 确保只有符合保密、平安策略的数据、文件才允许被单向传输至内网 端。白名单规那么:数据流代理应用规范可由管理员设定,只有负责设 定的数据规范才可以被传输关键字检查:单向网闸的外网单元可依据管理员设定的涉密或不 健康的信息进行过滤,将过滤到关键字的信息摒弃并记录日志告警。文件类型检查:隔离系统的内、外网单元可
17、将指定的可能产生危 险的文件类型过滤、删除并且记录日志告警。病毒检查:单向网闸的外网处理单元可针对用户上传的文件进行 检查,在确保没有病毒的情况下才被转存到平安数据区。当发现病毒 后,系统会将病毒文件删除,并记录日志告警。-18-智慧农业大数据平台建设方案V3.0目录1 需求背景-3-1.1 信息平安现状-3-1.2 基本原那么-7-2 需求分析-8-2.1 加强数据学科体系建设,丰富数据科学理论方法。-8-2.2 要构建农业基准数据,夯实农业开展基础支撑。-8-2.3 加强智能模型系统研发,推动农业智能转型。-9-2.4 倡导数据开放,服务和引领农业开展。-9-3 总体设计-9-3.1 方案
18、总体设计-9-1.1总体实现思路-10-3.2方案部署设计-11 -2.1外部数据导入系统-11-3. 2.2核心数据库区-12-2. 3 网络接入及平安防护区-12 -4. 2.4平安计算、存储资源池-12-2. 5 网络平安集中管理平台-12 -5. 2.6网络平安预警平台-12-2.7运维管理中心-13-4 详细设计-14-4. 1外部数据导入系统-14 -外部数据导入系统构架及工作原理- 14 -4.1.1 主要功能-15-4. 2网络接入及平安防护区-19 -2.1异常流量管理与抗拒绝服务能力-19 -4. 2. 2深度识别与访问控制能力-20 -2. 3可疑入侵检测能力-24 -6
19、. 2. 4网络行为审计系统-27 -4.3 计算、存储资源池-30-智慧农业大数据平台建设方案V3.04.2网络接入及平安防护区牧业厅牧业厅业务网4A认证系统网络接入及平安防护区入侵检测系统堡垒主机0A网络行为审计S. VPN接入一q网页防篡改4. 2.1异常流量管理与抗拒绝服务能力能够从纷杂的网络背景流量中精准地识别出各种和未知的 拒绝服务攻击流量,并能够实时过滤和清洗,确保网络正常访问流量 通畅,是保障服务器数据可用性的平安产品。应具有在线串接、旁路检测和旁路清洗三种工作模式,既可以单 台设备在线串接方式部署,也可以两台设备分别进行检测和清洗工 作。能够检测与防御流量型DDOS攻击(如U
20、DPFlood、TCP SYN Flood 等)、应用型DDOS攻击(如CC、DNS Flood、慢速连接耗尽等)、 DOS攻击(如Land、Teardrop Smurf等)、非法协议攻击(如IP 流、TCP无标记、无确认FIN、圣诞树等)四大类拒绝服务攻击。还 应具有流量牵引和回注、数据包过滤、攻击报文取证等功能,支持双 机热备和集群,并提供了详尽的攻击事件记录、各种统计报表,并以-19-智慧农业大数据平台建设方案V3.0可视化方式动态展示,实现实时的全网威胁监控。采用统一的检测与防护引擎设计,在数据平面处理器上实现了针 对数据报文的解析、识别、检测、清洗、动作和统计的一体化高速处 理,同时
21、支持特定业务应用防御的处理注册,在管理平面处理器上实 现了配置管理及日志报表等功能O到达了万兆小包线速的报文转发和 检测清洗能力。可以检测和清洗超过100种拒绝服务攻击,涵盖几乎所有常见的 流量型 DD0S 攻击,如:ICMP Flood、UDP Flood、TCP SYN/ACK/RST/FIN Flood、TCP SYN-ACK Flood、TCP Connection Flood (连接耗尽)、 GET/POST Flood、 CC、 S Flood、 DNS QUERY Flood、 DNS NXDomain Floods DNS反射、慢速等,以及DOS攻击和各种非法协议 攻击。还可以
22、有效发现和清洗各种未知加0S攻击。应具有针对应用层的DDoS攻击事件,针对 应用的DDoS攻 击。具有完善的应用层攻击防御功能,可有效防御各种应用层DDoS 攻击,如流行的CC、DNS反射、慢速连接耗尽等攻击。通过协议扩展, 具备检测和清洗 s和SIP协议拒绝服务攻击的能力。支持硬件bypass功能,可以串行接入用户网络环境,在设备升 级维护等需要重新启动过程中确保用户网络通畅。支持主备方式的双 机热备功能,可以实现链路的高可用性。4. 2. 2深度识别与访问控制能力4. 2. 2.1高精度应用识别应用识别引擎不仅可以识别出底层的承载协议(例如标准的 协议),还能进一步区分出上层的精确应用协议
23、类型,例如, -20-智慧农业大数据平台建设方案V3.0承载的各类Web视频应用(优酷视频、奇艺视频等)、各类网络邮箱 (gmail、126邮箱等)、各类网盘(115、百度网盘等)等;对于同 时采用明文方式和加密方式进行通信的应用(例如BT应用),应用 识别能够将BT应用细化识别为不同协议类型进行区分,具体可细分 为BT 明文数据、BT普通明文数据和BT加密数据等;对于利用 信令通道(或控制通道)协商数据通道的应用(例如VoIP应用的SIP 与H.323、FTP应用),数据中心防火墙的应用识别引擎可以通过识 别信令通道提取数据通道信息,从而成功识别出无特征的数据通道流 量。应用识别综合运用单包
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智慧 农业 数据 平台 整体 解决方案 79
限制150内