智慧农业大数据平台整体解决方案79页.docx
智慧农业大数据平台建设方案智慧农业大数据平台建设方案V3.0农业自然资源、生产、市场、农业管理等基准数据,并对数据采集、 传输、存储和汇交等制定标准和规范,为现代农业开展决策提供坚实 的基础支撑。2.3 加强智能模型系统研发,推动农业智能转型。数据的处理和分析能力是大数据技术的核心。针对农业领域数据 海量、分散、异构等现象而难以集成、不能挖掘其巨大潜在价值的现 状,应重点开展农业大数据智能学习与分析模型系统关键技术研究, 利用人工智能、数据挖掘、机器学习、数学建模等技术,针对农业领 域所要解决的实际问题,建立有效的数学模型对数据进行处理,并利 用最终形成的模型对海量数据进行处理分析,辅助农业决策,实现决 策的智能化、精确化和科学化。2.4 倡导数据开放,服务和引领农业开展。数据的应用是大数据的最终目的,数据的公开开放有助于我国农 业的健康开展。为此,应加强数据立法,为农业信息公开提供法律保 障;形成数据开发的体制和机制,保证在数据会商、开放标准、发布 规范等方面的切实可行;以召开中国农业展望大会和发布中国农业展 望报告为契机,形成具有中国特色的农产品监测预警和信息发布制 度,最终为生产决策、市场监测、农业管理提供信息支撑,引领现代 农业开展。农业转型升级3总体设计3.1方案总体设计面向大数据生态链,大数据分析平台包含基础架构层、数据分析 层、数据展现层三局部。通过引用底层通用大数据基础架构,主要实-9-智慧农业大数据平台建设方案V3.0现完成大数据分析层功能与大数据展现层功能。在本次工程中,针对大数据平台的基础架构平台进行设计规划。大数据生态链数据展示数据分析数据建模数据ETL数据挖掘数据实时分析基础架构(味黑必忘於田6).ladsxooztedsi seqHHive(交互式数据仓库)MapReduce(分布式计算框架)Pig (数据流处理)Mongodb (分布式数据库)HDFS(分布式文件系统)基于图标统计展示 基于地理位国展示:基于时间序列展示基于关联关系展示 基于聚族关系展示1.1总体实现思路大数据分析平台提供一套完整的数据管理平台框架,从“数据汇 入、数据存储、数据分析、数据展示”全过程对数据进行管理。通过 各种采集方式将不同异构源的数据集中汇入,将预处理后的数据进行 分布式存储,基于数据特性建模并引用分析规那么进行数据的挖掘分 析,通过多类型方式按需实现界面可视化展示及交互应用。-10-智慧农业大数据平台建设方案V3.0牧业厅业务网入侵检测系统网络接入及平安防护区抗 DDOS数据中心I核心交换机VPN接入IP交换机虚拟化平安网关n n n =存储藏份系学口口 =数据容灾系名4A4A认证系统堡垒主机网络行为审计DG日KiSCSI HAS、© ® ®平安设备集中管理平台Syslog. Snmp Tr,p. FileCollector.ODBC. WML.计算、存储资源池全网平安预警处置平台数据存储容灾平台内蒙古农牧业厅大数据中心图3-1大数据平台总体架构图3. 2方案部署设计3. 2.1外部数据导入系统负责接收处理其他相关厅局共享数据,部署两台单向网闸进行数 据交换与病毒过滤处理,保证得到平安有效数据,进入外部接收数据 库格式转换后送入数据采集引擎。-11 -智慧农业大数据平台建设方案V3.03. 2.2核心数据库区核心数据库区部署双机数据库集群服务器,保障数据库高可用, 同时部署数据防泄露系统和数据库防火墙系统,来保障数据库的数据 平安可控。3. 2.3网络接入及平安防护区全网核心接采用双链路全交叉负载设计,保障核心网络高可能、 高带宽、高平安运行,在核心网络中部暑数据中心级防火墙、抗DDOS、 入侵检测系统、网络行为审计系统、VPN系统保障核心网络可能性、 完整性、平安性。3. 2.4平安计算、存储资源池采用10台双路服务器、2台存储、1台容灾、2台FC交换机组 成硬件资源池,部服务器平安虚拟化系统,为大数据平台提供计算、 存储资源,同时虚拟化系统具备完全的平安防护能力,其平安防护能 力与综合平安网关能力一致,并提供虚拟化与平安可视化能力。3. 2. 5网络平安集中管理平台平安设备和策略管理系统主要针对使用了平安设备和第三方设 备的客户。它允许平安管理员简便高效地从一个中央控制台管理多达 数千台设备。其关键在于它能够通过简便易用、直观的管理功能,迅 速完成设备部署。集中管理全网所有平安设备,集中部署,集中策略,集中下发等 统一平台管理能力。3. 2.6网络平安预警平台主要负责监控、分析和管理企业信息系统的整体平安态势,并为-12-智慧农业大数据平台建设方案V3.0整个信息系统的平安运营提供决策服务,实现平安动态可视化。通过采用多种技术、手段,收集和整合各类平安事件,并运用实 时关联分析技术、智能推理技术和风险管理技术,实现对平安事件的 深度分析,能快速做出智能响应,实现对平安风险的统一监控分析和 预警处理。依据信息平安标准,结合平安服务的最正确实践,以资产管理为基 础,以风险管理为核心,以事件管理为主线,通过深度数据挖掘、事 件关联等技术,辅以有效的网络管理与监视、平安报警响应、工单处 理等功能,对企业内部各类平安事件进行集中管理和智能分析,最终 实现对企业全风险态势的统一监控分析和预警处理。3. 2.7 运维管理中心综合而全面的IT运行维护系统,是网管用户的最终选择。这个 系统应该能够兼顾多方面的需求,在一个统一的平台上,实现对异构 的IT环境之运行、维护的规范化,同时对IT信息化的使用效果进 行综合管理和分析,这包括:面向服务的综合资源管理:对整个IT环境的所有资源,实现在 一个平台上的综合透明的管理;全面掌握IT资源利用情况、诊断服 务瓶颈,优化服务质量,同时为服务的扩展提供依据;智能故障分析:能通过性能阈值判断服务的临界状态,同时提供 故障过滤与故障根源分析,简化故障处理难度;全网流量分析可监控:网络中的“摄像头”,自动快速发现影响 网络性能和状态,事前运维管理,轻松掌控全局;即时可用的价值保证:方便的部署,实用的功能,大幅降低网络-13-智慧农业大数据平台建设方案V3.0与系统的运行维护工作量。一个通用的IT基础设施和服务应用的管 理平台。它从网络和应用的不同层次,收集与业务/服务相关的各种 信息:网络设备信息、全网流量信息、服务器内存、I/O的使用情 况,甚至应用系统对资源的占用情况等;同时,内置的智能系统对收 集到的信息进行综合关联分析;4详细设计4.1外部数据导入系统外部数据导入系统与外部数据来源间部署“单向数据隔离交换与病毒清除系统”,在保障数据源正常接收情况下完成网络隔离及病毒过滤。4. 1.1外部数据导入系统构架及工作原理计算机网络依据物理连接和逻辑连接来实现不同网络之间、不同 主机之间、主机与终端之间的信息交换与信息共享。单向网闸既然隔 离、阻断了网络的所有连接,实际上就是隔离、阻断了会话的连通。 单向网闸借鉴传统网闸技术,在使用数据“摆渡”的方式实现两个网 络之间的信息交换。网络的外部主机系统通过单向网闸与网络的内部主机系统“连 接”起来,单向网闸将外部主机的TCP/IP协议全部剥离,将原始数-14-智慧农业大数据平台建设方案V3.0据通过存储介质,以单向发送的方式导入到内部主机系统,内部主机 系统再将相应的信息发送至真正的使用者或在本地实现备份。单向网闸在网络的第七层将数据还原为原始数据文件,然后以 “摆渡文件”的形式来传递原始数据。下面以信息流由外网到内网为 例,说明通过单向网闸的信息传输过程。内网处理单元身份认证 应用代理 访i可控制 内容过速 入侵检测 病毒查杀身份认证 应用代理 访问控制 内容过滤 入侵检测 病毒查杀(图一)单向网闸的工作原理是在内、外网处理单元独立完成网络协议终 止、内容检查与日志审计,将符合平安策略的数据内容提交至平安数 据交换区等待数据传输。单向传输单元按照设定的周期由外网处理单 元的平安数据交换区将数据内容提取并单向传输至内网处理单元的 平安数据下载区,等待用户的读取或传输至指定的计算机上。同时系 统集成防病毒技术及扩展入侵检测技术,形成一套具有多重防护的安 全解决方案。4. 1. 2 主要功能主要功能特点就是在保证两个网络隔离的情况下,做指定的单向 数据平安传输。由内、外网处理单元和物理单向传输单元组成。物理 单向传输单元在内、外网主机间按照指定的周期进行平安数据的摆-15-智慧农业大数据平台建设方案V3.0渡。4. 1. 2.1平安隔离物理单向:系统由内网单元、外网单元及单向传输单元三个物理局部组成。协议隔离:内、外网单元主机均采用平安操作系统,分别独立完成网络协议的终止。应用隔离:系统采用应用解码,客户应用可经过模块编码验证,只有符合白名单的编码规那么的数据才可被传输至内网单元。内容隔离:外网单元分别将待交换传输的数据进行内容检查与病毒查杀,不符合平安规定的数据内容将被直接删除,合法的数据才允 许被平安数据交换单元交换至另一端,从而保证了数据内容的平安 性。风险隔离:系统以白名单机制运行,仅许可正常的、用户许可的网络应用,防范未知的平安风险。并且系统集成防病毒并可扩展多种 常规平安防护引擎,如入侵检测等。4. 1. 2. 2信息交换单向网闸的工作原理基于人工信息交换的操作模式,即由外网处 理单元接收来自客户端的发送数据请求,内网处理单元负责接收来自 外网处理单元的信息,并将信息提交至目标服务器。由于单向传输单 元的物理单向性,两个处理单元之间没有交互式会话,无法实现发送 数据的校验。在此前提下,通过专有硬件实现网络间信息的实时单向 传输可能会造成局部数据的丧失。TCP应用单向传输:对于符合规那么的应用数据单向传输至内网处-16-智慧农业大数据平台建设方案V3.0理单元,对于不符合白名单规那么的会话将日志报警并断开会话。UDP应用单向传输:对于不符合白名单规那么的会话将日志报警。 内网处理单元对于从外网处理单元发送过来的数据根据任务号可发 送给相应的服务器。被动文件信息传输:通过系统内置的单向文件传输模块,单向网 闸能够实现私有文件从外网向内网的单向传输。客户机通过管理控制 台分配的账号,使用专用的文件客户端软件上传或下载文件。每个账 号均有自己的私有目录空间,另外系统提供一个公共空间以供所有用 户使用。单向邮件信息传输:通过系统内置的单向邮件传输模块,单向网 闸能够实现邮件信息从外网向内网的单向传输。数据库单向同步:单向网闸能够实现外网数据库向内网数据库的 单向同步,支持 Oracle、Sql Server> Sybase、MySql 和 DB2 数据等。4. 网络访问控制可通过订制访问策略,精细地控制 谁(网络对象)能够(允 许或禁止)访问系统。管理控制台以人性化的人机接口协助管理员轻 松实现管理目标。网络访问控制:单向网闸的内、外网单元可分别实现链路层、网 络层、传输层访问控制,通过灵活组合网络对象,制定与实际需求完 全吻合的访问控制策略。访问用户控制:单向网闸的内、外网单元可分别实现定制、绑定 哪些用户可以访问系统。-17-智慧农业大数据平台建设方案V3.04. L 2. 4数据内容审查单向网闸外网处理单元对接收到的文件和信息进行平安性检查, 确保只有符合保密、平安策略的数据、文件才允许被单向传输至内网 端。白名单规那么:数据流代理应用规范可由管理员设定,只有负责设 定的数据规范才可以被传输关键字检查:单向网闸的外网单元可依据管理员设定的涉密或不 健康的信息进行过滤,将过滤到关键字的信息摒弃并记录日志告警。文件类型检查:隔离系统的内、外网单元可将指定的可能产生危 险的文件类型过滤、删除并且记录日志告警。病毒检查:单向网闸的外网处理单元可针对用户上传的文件进行 检查,在确保没有病毒的情况下才被转存到平安数据区。当发现病毒 后,系统会将病毒文件删除,并记录日志告警。-18-智慧农业大数据平台建设方案V3.0目录1 需求背景-3-1.1 信息平安现状-3-1.2 基本原那么-7-2 需求分析-8-2.1 加强数据学科体系建设,丰富数据科学理论方法。-8-2.2 要构建农业基准数据,夯实农业开展基础支撑。-8-2.3 加强智能模型系统研发,推动农业智能转型。-9-2.4 倡导数据开放,服务和引领农业开展。-9-3 总体设计-9-3.1 方案总体设计-9-1.1总体实现思路-10-3.2方案部署设计-11 -2.1外部数据导入系统-11-3. 2.2核心数据库区-12-2. 3 网络接入及平安防护区-12 -4. 2.4平安计算、存储资源池-12-2. 5 网络平安集中管理平台-12 -5. 2.6网络平安预警平台-12-2.7运维管理中心-13-4 详细设计-14-4. 1外部数据导入系统-14 -外部数据导入系统构架及工作原理- 14 -4.1.1 主要功能-15-4. 2网络接入及平安防护区-19 -2.1异常流量管理与抗拒绝服务能力-19 -4. 2. 2深度识别与访问控制能力-20 -2. 3可疑入侵检测能力-24 -6. 2. 4网络行为审计系统-27 -4.3 计算、存储资源池-30-智慧农业大数据平台建设方案V3.04.2网络接入及平安防护区牧业厅牧业厅业务网4A认证系统网络接入及平安防护区入侵检测系统堡垒主机0A网络行为审计S. VPN接入一q网页防篡改4. 2.1异常流量管理与抗拒绝服务能力能够从纷杂的网络背景流量中精准地识别出各种和未知的 拒绝服务攻击流量,并能够实时过滤和清洗,确保网络正常访问流量 通畅,是保障服务器数据可用性的平安产品。应具有在线串接、旁路检测和旁路清洗三种工作模式,既可以单 台设备在线串接方式部署,也可以两台设备分别进行检测和清洗工 作。能够检测与防御流量型DDOS攻击(如UDPFlood、TCP SYN Flood 等)、应用型DDOS攻击(如CC、DNS Flood、慢速连接耗尽等)、 DOS攻击(如Land、Teardrop> Smurf等)、非法协议攻击(如IP 流、TCP无标记、无确认FIN、圣诞树等)四大类拒绝服务攻击。还 应具有流量牵引和回注、数据包过滤、攻击报文取证等功能,支持双 机热备和集群,并提供了详尽的攻击事件记录、各种统计报表,并以-19-智慧农业大数据平台建设方案V3.0可视化方式动态展示,实现实时的全网威胁监控。采用统一的检测与防护引擎设计,在数据平面处理器上实现了针 对数据报文的解析、识别、检测、清洗、动作和统计的一体化高速处 理,同时支持特定业务应用防御的处理注册,在管理平面处理器上实 现了配置管理及日志报表等功能O到达了万兆小包线速的报文转发和 检测清洗能力。可以检测和清洗超过100种拒绝服务攻击,涵盖几乎所有常见的 流量型 DD0S 攻击,如:ICMP Flood、UDP Flood、TCP SYN/ACK/RST/FIN Flood、TCP SYN-ACK Flood、TCP Connection Flood (连接耗尽)、 GET/POST Flood、 CC、 S Flood、 DNS QUERY Flood、 DNS NXDomain Floods DNS反射、慢速等,以及DOS攻击和各种非法协议 攻击。还可以有效发现和清洗各种未知加0S攻击。应具有针对应用层的DDoS攻击事件,针对 应用的DDoS攻 击。具有完善的应用层攻击防御功能,可有效防御各种应用层DDoS 攻击,如流行的CC、DNS反射、慢速连接耗尽等攻击。通过协议扩展, 具备检测和清洗 s和SIP协议拒绝服务攻击的能力。支持硬件bypass功能,可以串行接入用户网络环境,在设备升 级维护等需要重新启动过程中确保用户网络通畅。支持主备方式的双 机热备功能,可以实现链路的高可用性。4. 2. 2深度识别与访问控制能力4. 2. 2.1高精度应用识别应用识别引擎不仅可以识别出底层的承载协议(例如标准的 协议),还能进一步区分出上层的精确应用协议类型,例如, -20-智慧农业大数据平台建设方案V3.0承载的各类Web视频应用(优酷视频、奇艺视频等)、各类网络邮箱 (gmail、126邮箱等)、各类网盘(115、百度网盘等)等;对于同 时采用明文方式和加密方式进行通信的应用(例如BT应用),应用 识别能够将BT应用细化识别为不同协议类型进行区分,具体可细分 为BT 明文数据、BT普通明文数据和BT加密数据等;对于利用 信令通道(或控制通道)协商数据通道的应用(例如VoIP应用的SIP 与H.323、FTP应用),数据中心防火墙的应用识别引擎可以通过识 别信令通道提取数据通道信息,从而成功识别出无特征的数据通道流 量。应用识别综合运用单包特征识别、统计特征识别、多包特征识别 等多种识别方式进行细粒度、深层次应用和协议识别,同时采用多层 匹配模式与多级过滤架构,从而具有极高的应用协议识别率与精确 度,可精确识别高达98%的主流应用。止匕外,应用识别通过加密流量 识别方法,对于SSL/TLS加密流量,甚至是私有协议强加密流量,例 如 S流量、BT加密流量、迅雷加密流量、网络视频加密流量或 Skype加密流量,可实现完全识别。应用识别采用高效确实定型字符串多模式匹配状态机作为匹配 核心,并采用 分流、TCP/UDP分流等状态机缩小待识别流量范 围以进一步提高识别性能;同时,支持多种状态机压缩匹配方式,对 于大规模规那么库,可以大幅度缩减状态机内存的大小,从而防止内存 的膨胀性需求,而且使得状态机可以充分利用处理器的Cache特性而 保持较高的应用识别性能。应用识别基于多核硬件架构实现了多实 例、流水线特征匹配框架,各个引擎实例运行在不同的CPU核心。同-21 -智慧农业大数据平台建设方案V3.0时,输入流量可通过硬件分流机制被直接分发到相应的CPU核心,各 个引擎实例实现了独立调度和并行执行,从而具有线性的识别性能扩 展能力,可以通过增加引擎实例的数目实现整体应用识别性能的线性 增长。应满足高性能的应用层平安检测与防护需求,不但兼容最新 TCP/IP特性,同时防止了由传统内核态协议栈所带来的从内核态到 用户态的中断调度和数据复制问题。包含了多个平安引擎:应用识别、入侵防御、病毒过滤、URL分 类过滤、DLP、DDOS、VPN等等,提供了全面的平安防护能力。同时 数据中心防火墙采用了一体化流模式业务处理设计,将上述各平安引 擎全面开启后,在大数据网络环境下仍然能够确保高性能的平安业务 处理。在对应用层进行平安检查过程,例如应用识别、入侵防御、病毒 过滤等等,平安引擎检查的业务特征数据往往是在连续多个报文中, 单纯独立地处理单个报文,无疑会造成漏检和错检。而接收多个报文 以后再处理,无疑会降低性能并增加转发延时。平安业务处理能力,具体如下:并发连接数到达1个亿每秒新建连接(FW+APP) 80万网络层吞吐160Gbps 应用层吞吐(FW+APP) 120Gbps-22-智慧农业大数据平台建设方案V3.0对APT攻击进行有效防御。正是由于APT攻击中所谓“持续性” 这一特点,就意味着我们很难通过某一种平安检测机制,对一次攻击 行为进行阻断就能将威胁彻底消除。另外,越来越多的攻击事件采用 未知恶意代码、利用未知平安漏洞向目标发起隐形、低调的攻击行为, 这类攻击往往具有较高的成功几率,而其后果的严重性也更是无法想 象。在边界平安防护层面的APT攻击中,主要表达在针对漏洞的 恶意代码攻击。针对基于漏洞、恶意代码等等发起的APT攻击行 为,需要下一代防火墙产品要具有高效、全面的平安检测引擎以应对 APT攻击过程中的每个环节,而专业、大规模以及响应快速的各种威 胁检测特征库也同样是防御APT攻击的关键因素。提供了病毒过滤、入侵防御、Botnet (僵尸网络)阻断、URL (含 恶意网址)过滤、DLP、应用识别以及DDoS防御等多种平安引擎,通 过一体化流模式业务处理,只需对报文进行一次拆解即可对其实现 2-7层高效、全面的平安检查。数据中心防火墙具有业界专业的攻击 规那么库、病毒特征库、URL网址库与Botnet识别库,为各个平安引 擎对APT攻击过程中的每一个行为进行准确判断提供了强有力的技 术支撑。在针对未知威胁(如Oday/lday漏洞)的APT攻击防护中,通过 与APT防御系统联动,对不可信的代码程序进行静态、动态双模分析, 并采用联动机制对基于未知漏洞、恶意代码的APT攻击实现主动防 御。能够通过直观、简单的方式了解设备的健康状况、发现业务风-23-智慧农业大数据平台建设方案V3.0险,为用户提供了对设备的全方位健康体检功能,通过结合内置的 健康评分体系,对网络中设备的健康情况进行综合评定,并以“一键 式健康体检评分”和“多视角体检分析报告”的形式进行展现,有效 地帮助用户评估设备自身的健康状况,从而提高用户对设备平安风险 的防范能力。4. 2. 2. 2功能组成未知威胁防御入侵病毒应用WEB负载均衡防御防施夜别防护远程接入统一身份认证流量管控一体化访问控制14. 2. 3可疑入侵检测能力4. 2. 3.1网络攻击检测功能入侵检测引擎用于检测网络中数据的合法性,以旁路模式部署于 要保护的网络中。引擎内置违反平安事件数据库,用于存储检测到的 平安事件信息。具有高速的数据并行检测处理和转发能力,能够胜任高速网络的 平安防护要求。检测引擎采用协议分析、模式识别、统计阀值和流量异常监视等 综合技术手段来判断入侵行为,可以准确地发现并检测各种网络恶意-24-智慧农业大数据平台建设方案V3.0攻击。基于目标系统的流重组检测引擎,首先对到达的TCP数据包按照 其目标服务器主机的操作系统类型进行流重组,然后对重组后的完整 数据进行攻击检测,从而从根源上彻底检测了 TCP流分段重叠攻击行 为。全面支持DOS/DDOS检测,通过构建统计性攻击模型和异常包攻 击模型,可以全面检测 SYN flood、ICMP flood. UDP flood、DNS Flood, DHCP flood、Winnuke、TcpSScan 以及 CC 等多达几十种 DOS/DDOS 攻 击行为;还可以通过自学习模式,针对用户所需保护的服务器进行智 能检测。专业攻防实验室充分与国际厂商和国家权威机构合作,不断跟 踪、分析、研究最新发现的平安漏洞,拥有自主知识产权的攻击检测 规那么库。目前,该规那么库已经通过国际权威组织CVE的兼容性认证, 并保持至少每周一次的更新频率。支持IPv6协议的攻击检测,完全 识别IPv6封包下的攻击检测。能够识别包括传统协议、P2P下载、股票交易、即时通讯、流媒 体、网络游戏、网络视频等在内的百多种网络应用,并能够详细统计 每一种应用的流量、连接数和累积传输字节数,使用户很容易判断网 络中的各种带宽滥用行为。对应用协议交互过程进行智能分析,而非简单依据服务端口的技 术手段来判断应用协议类型,对那些采用动态变化服务端口或者使用 标准协议端口隐藏传输内容的应用也可以准确识别,能够精确监控内 网用户的上网行为。-25-智慧农业大数据平台建设方案V3.0网络病毒库,采用基于数据流的检测技术,能够检测包括木马、 后门和蠕虫在内的新近流行的超过100万种网络病毒。直接在数据流 中检测病毒,进行高速检测,并能够实时检测流行的各种网络病毒。能够统计分析内网用户的上网行为,对恶意网站或者潜在不平安 站点的访问,通过与智能应用协议识别功能相结合,可以制定有效的 管理策略,实现内网用户的上网行为管理。具备内网主机监控功能,能够实时监测到每一个内网主机(以 ip地址为标识)的各种应用流量、以及累积访问各类URL地址的数 量,在网络中出现问题时能够快速定位到问题源头(内网主机用户), 可以有效威慑和遏制内网用户的各种违反平安策略行为。无线攻击防御能力WIPS无线平安,主要用于针对WLAN网络的安 全防护,实时监控阻断WLAN中的网络威胁。WIPS探针支持IEEE 802. Ha/b/g/n系列协议,支持2. 4G、5. 8G双频全向天线。WIPS采 用先进的无线射频技术对无线网络边界实施平安防护,提供对信息安 全区域AP实施绝对可控的平安策略,阻断WLAN连接;提供对无线钓 鱼、代理AP、有风险配置等多中无线攻击行为实施识别阻断;同时 对非法接入的客户端、非法的AP实施定位从根源上排除平安隐患。灵活的自定义规那么能力TopSentry产品内置了丰富灵活的自定义规那么能力,能够根据协 议、源端口、目的端口及协议内容自行定义攻击行为,其中协议内容 支持强大灵活的PCRE (兼容perl的正那么表达式)语法格式,特定协 议支持更多达 10 种,包括:ip、tcp、 、dns> ftp> pop3> smtp> qq> msn、imap等。借助于灵活的自定义规那么能力,用户可以轻松定-26-智慧农业大数据平台建设方案V3.0义自己的应用层检测和控制功能。支持A/S、A/A的双机备份技术,完全可以实现链路的高可用性, 拥有完备的Bypass功能。提供软件Bypass功能;供硬件bypass功 能,同时还支持外接Bypass设备。4. 2. 4网络行为审计系统4. 2. 4.1网络审计能力采用开放性的系统架构及模块化的设计,具有实时的网络数据采 集能力、智能的信息处理能力、强大的审计分析功能。采用多核、云 审计、量子云存储等多项独特技术及专利,旁路部署,支持多点多级 和集中管理,是一款平安高效,易于管理和扩展的网络平安审计产品。4. 2. 4. 2网络审计功能协议内容审计: 浏览与发布;邮件:Smtp、Pop3、Imap、Webmail; 文件传输:Ftp;文件共享:Netbios、Nfs;即时通信:MSN、QQ、飞 信、飞秋、腾讯通;文件共享:SMB、NFS; Telnet审计;DNS审计; Rlogin 审计;Radius 审计协议行为审计:除了能审计常见的网络协议外,网络审计系统还 支持300种以上国内常见应用协议行为的自动识别与审计记录。基本信息审计:基本信息主要包括TCP五元组、应用协议识别结 果、IP地址溯源结果等:源地址,目的地址,源端口,目的端口, 传输协议,源MAC,目的MAC,源用户,目的用户,源国家,目的国 家,源区域,目的区域,源城市,目的城市,应用协议名,应用协议 分组,VLAN ID,时间内容行为审计:可根据用户审计级别配置,实现不同协议的不同-27-智慧农业大数据平台建设方案V3.0粒度审计要求。主要包括: 协议:审计系统内置了 URL分类库, 可对用户访问的URL自动进行分类; 审计事件属性包括:访问 域,URL引用页,URL分类, 类别,请求文件,请求参数,访问 行为发布内容,请求结果,网页类别,浏览器,服务器,Cookie,返 回长度,代理客户端IP ,代理上网, 响应时间。邮件:Smtp、 Pop3> I map:可审计邮件发件人,收件人,抄送,密送,邮件主题, 正文及附件;Webmail:可审计Webmail发件人,Webmail收件人, 抄送,密送,Webmail主题,邮件正文,附件,服务提供商。此外, 对于非内置Webmail审计,可以通过模板方式扩充。FTP:可审计FTP 用户名,FTP命令,操作结果,传输文件文件共享:可审计请求主机 名,请求主机域名,请求主机操作系统,请求主机共享协议,应答主 机名,应答主机域名,应答主机操作系统,应答主机共享协议,操作 命令,登陆用户,原文件名,现文件名,文件名,文件类型;支持原 始数据包留存,可通过sftp方式从设备中取得已记录的原始数据包。支持IPv6网络环境中的审计,在IPv6网络环境中可实现网络审 计系统中的所有功能。多维度统计分析:网络审计系统提供多维度的统计分析,系统内 置的统计分析引擎能从多维度统计分析业务系统与数据库系统的压 力。分析SQL语句以及网络带宽上的性能瓶颈,为保障系统持续稳定 运行打下基础,为网络扩容提供依据。支持自定义多维度统计分析场 景,用户可根据自身的业务需求,对审计结果的任意属性进行统计分 析;支持统计分析的下钻与上卷;事件实时统计,查看统计结果时快 速返回,操作人员无需等待;统计结果以饼图、柱图展示,可导出统-28-智慧农业大数据平台建设方案V3.04. 3. 1虚拟化平台搭建-30-4. 3.2虚拟化平安网关-47-4.4核心数据库区-53-4. 4. 1核心数据库防护系统-53 -4. 5平安设备集中管理平台-55-5. 1平安集中管理系统-55-4.6运维管理中心-57-4. 6.1网络运维管理能力-57-4. 6. 2平安运维审计能力-58 -4. 7网络平安预警平台-62 -4. 7.1平安预警管理系统整体设计-62 -5 设备清单-72 - 11智慧农业大数据平台建设方案V3.0计结果报表网络审计系统提供流量分析功能,产品内置NetFlow接收引擎, 分析NetFlow信息,统计分析当前网络流量状况,用户可根据此功能 分析网络中的应用分布以及网络带宽使用情况等。基于流的流量分 析,提供收集NetFlow信息的能力。可以对接口、传输协议、应用协 议、应用协议组、源目的地址、源目的端口进行统计分析,可以多条 件组合分析。支持流量趋势分析;支持流量分析的下钻与上卷;支持 IP分组流量统计实时告警:网络审计系统可根据审计到的网络事件,判断事件的 危险级别,进行实时的响应处理。以便于管理员及时发现网络中的潜 在危险,快速处理,保证网络运行的平安。Syslog告警;SNMP Trap 告警;邮件告警;支持旁路阻断;支持Topsec联动协议第三方接口:网络审计系统还提供了第三方接口,供其他管理产 品进行管理,或者进行日志接收等。支持SNMP方式,提供系统运行 状态给第三方网管系统,支持Syslog方式向外发送审计日志,支持 SNMP Trap方式向外发送审计日志,支持NTP时间同步-29-智慧农业大数据平台建设方案V3.04. 3计算、存储资源池虚拟化平安网关vCenter计算、存储资源池靠vSererFC交换机ervisorgvServer米用10台双路服务器、两台存储、一台容灾、一套平安虚拟化 系统组成资源池,为大数据平台提计算、存储、应用支掌。4. 3.1虚拟化平台搭建4. 3. 1. 1整体方案设计方案设计思路我们计划将某工程服务器虚拟化整合工程按照以下思路设计和 实施。主要是在现有基础上构建有弹性的虚拟化基础平台架构,使得 相应的计算、网络和存储资源能够以最大利用率的方针对用户现有及 未来的应用部署提供快速服务支撑,满足业务系统快速上线与降低信 息系统基础架构管理复杂性的要。虚拟化环境实现目标:-30-智慧农业大数据平台建设方案V3.0完成基本的虚拟化基础平台架构建设,同时为未来业务的不断增 加提供可自动在线弹性扩展的虚拟化资源池系统。虚拟化环境的基本要求如下:考虑到构建集中式的虚拟机高可用集群环境,需要配置足够的冗 余交换网络:这包括管理及集群心跳网络,在线迁移网络以及虚拟机 应用对外连接的服务网络。 对整个数据中心的应用资源合理分配,确保平台运行各应用尤其 是核心应用的计算资源和10资源得到有效的保障。 对整体数据中心虚拟化集群环境实现负载均衡的计算资源在线管 理,如虚拟机热迁移等功能,以及数据中心基础架构的弹性扩展。 实现虚拟机负载均衡的高可用环境(HA)虚拟机集群环境的集中统一管理和监控(TSV vCenter) 通过虚拟化环境延长软硬件的生存周期,确保降低总体拥有本钱 TC0,提高投资回报率。为了实现数据的集中存储、集中备份以及充分利用虚拟架构中虚 拟机可动态在线从一台物理TSV vServer服务器迁移到另一台物理 vServer服务器上和高可用等特性;会将数据中心整体构建在基于 SAN的存储网络,通过共享的存储架构,可以最大化的发挥虚拟架构 的整体优势。方案设计描述根据上述设计思路,结合我们以往的工程经验,针对本次工程的 虚拟化平台整体架构如下:-31 -智慧农业大数据平台建设方案V3.0以太网Oracle交换机IBMDSS020 磁耸阵列零行应用.决茶支持,期办 以及平安遣缰修建身日虚Kiwi im*e军统快郦以上为总体架构方案,分成4层,服务器层、数据存储层、网络 层和虚拟机资源层。第一局部-服务器层:采用x86架构服务器组成资源池,为虚拟化桌面提供足够的计算 资源,本方案会由10台服务器主机组建虚拟化服务器集群系统。第二局部-存储层:分别利用本次方案中的2套存储系统和一台容灾系统,配合虚拟 化集群实现容灾备份。采用10台安装了虚拟化vServer Hypervisor的服务器组成集 群(,通过光纤通道连接2台主光纤存储,和1台备份存储作 为私有云数据中心生产环境的底层硬件;为了最大限度增加资源利用率,防止存储资源争抢等状况,建-32-智慧农业大数据平台建设方案V3.0议虚拟化服务器集群选择某存储作为主存储。备份服务器连接 磁带库或盘阵作为备份。第三局部-网络层:分成2局部,一局部是存储网络,用于服务器设备与存储设备之 间的连通,另外一局部业务网络,分成管理网络和业务网络,管理网 络用于对整个虚拟化平台进行管理,业务网络用于所虚拟出来的服务 器连接业务网络。方案中将虚拟化服务器系统与存储藏份系统及其应 用业务视为一个密切结合的整体来进行方案设计,确保其软硬件在具 良好兼容性的前提下发挥出最优的性能。此次工程由10台服务器、2套虚拟化存储设备作为整个虚拟化 集群平台的资源池。方案可以最大利用到设备的性能和能表达出系统 的高可用。在集群中创立1台服务器安装vCenter实现虚拟化平台的 集中管理和高可用。建成后整个虚拟化数据中心如下列图:-33-智慧农业大数据平台建设方案V3.04. 3.1. 2虚拟化平台设计平台总体设计根据对本案例的需求分析,我们建议本次虚拟化平台配置如下:> 1台vCenter集群管理平台(可安装在集群的任意虚拟机中)10个服务器虚拟化集群> 2套存储设备和1台容灾系统实现数据中心容灾备份整个虚拟 架构由vCenter管理服务器统一管理。基于以上规划配置方 案,虚拟化基础架构环境能够最大程度保障用户业务系统的可 靠性和运营连续性,防止系统计划内停机对业务的影响并最大 程度减少系统计划外停机对应用的影响。虚拟平化台群集设计服务器虚拟化架构可以将多台物理服务器组成一个大的资源池, 称为一个群集,同一群集内的虚拟机之间能够支持负载均衡、在线迁 移、故障切换等多种高可用性