基于元数据和安全事件的大数据分析.pdf





《基于元数据和安全事件的大数据分析.pdf》由会员分享,可在线阅读,更多相关《基于元数据和安全事件的大数据分析.pdf(39页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、18961920198720062013年年12月月28日日基于元数据和安全事件的基于元数据和安全事件的大数据分析大数据分析上海交通大学网络信息中心上海交通大学网络信息中心姜开达姜开达个人介绍个人介绍 1997 2001 2013(16 years)上海交通大学 网络信息中心工作经历:学生宿舍网络建设与管理大中小网络运行与维护信息系统建设与管理近五年主要专注于网络信息安全领域网络信息安全领域一一MetaData的获取的获取二二大数据分析平台大数据分析平台三三安全事件关联分析安全事件关联分析四四未来研究方向未来研究方向主要内容主要内容安全的颗粒度安全的颗粒度NetFlow/sFlow 报文采样D
2、DOS/Port Scan/异常流量发现深度数据包检测(DPI)基于已知签名的识别,对加密流量作用有限元数据(MetaData)介于两者之间http/smtp/pop3/ftp/dns/telnet美国情报收集系统美国情报收集系统 X-Keyscore可针对邮件、网站内容等执行强大的查询提供实时的目标活动信息所有未过滤的数据可在缓冲区存 3 天存储所监控网站的完整数据,为元数据建立索引安全事件历史回溯安全事件历史回溯Flow采样分析太粗,丢失信息较多基于五元组等信息完整数据包长期存储,代价巨大1G/10G/100G Mission:Impossible依靠长期历史元数据是现实的选择在线分析漏过
3、了,不能再错过离线处理MetaData的生成的生成基于网络流量,生成需要的格式吐出nfdump 介绍介绍 http:/ nfdump tools collect and process netflow data on the command line.Web interface http:/ 介绍介绍http:/www.caida.org/tools/measurement/coralreef/CoralReef is a comprehensive software suite developed by CAIDA to collect and analyze data from passi
4、ve Internet traffic monitors,in real time or from trace files.CoralReef supports monitoring of any standard network interface(via libpcap)on unix-like systems,as well as specialized high performance ATM,POS,and Ethernet devices at up to OC192 and 10 GigE bandwidths on Intel-based workstations runnin
5、g FreeBSD or Linux.Justniffer 介绍介绍http:/ TCP Packet SnifferReliable TCP Flow RebuildingOptimized for Request/Response protocols.Can rebuild and save HTTP content on files HTTP MetaData 示例示例1GET 类型Time|G|Host|URI|Referer|SrcIP|SrcPort|DstIP|DstPort|User-Agent2013-08-25 11:01:02|G|/images/index1_1.jpg
6、|http:/ 7.0)2POST 等其他类型Time|P|Host|URI|Type|Size|Referer|SrcIP|SrcPort|DstIP|DstPort|User-Agent2013-08-25 11:01:29|P|/jdyx/memeber/login.php?action=checkandlogin|application/x-www-form-urlencoded|38|http:/ 7.0)3服务器返回类型Time|HTTP Code|Type|Size|SrcIP|SrcPort|DstIP|DstPort|2013-08-25 11:03:06|404|text/
7、html|168|220.120.2.102|80|202.119.208.93|8189|HTTP MetaData 存储存储以上海交通大学校园网为例2013.12.25访问校内近千网站的原始HTTP元数据量为18.1 G Bytes,78,962,897 条记录存储校内网站一年的元数据量不超过 5T Bytes但是记录条数在数百亿量级目前可以实现单机每日20亿量级的元数据生成Hadoop系统硬件概况系统硬件概况共 24 结点 2个管理结点,一个作业提交结点,21个存储计算节点CPU Intel Xeon(R)CPU E5-26702.60GHz,双CPU,开HT后32核Memory 8 8
8、=64GBDisk 240GB(SSD)2+2TB(SATA)12Network Intel 82599 万兆网HDFS总容量 333TB/3(replication=3)三个机柜三个机柜 24 台服务器台服务器Hadoop系统软件概况系统软件概况使用Hadoop版本 Cloudera Standard 4.8.0组件 CDH4.5.0+IMPALA 1.2.1+SOLR 1.1.0)特点 易部署(网页批量部署)性能良好(TestDFS IO:10*10GB文件写142MB/s,10*10GB文件读801MB/s)监控信息全面提供对每台主机及整个集群的监控信息 维护方便Cloudera Man
9、ager图形化界面图形化界面The open source Apache Hadoop UI(图形化用户界面)提供 Hadoop 各种组件的Web UI操作Hive查询的UI,查看作业进度、下载作业结果类类SQL工具工具HiveHive简介 基于Hadoop的一个数据仓库工具 把SQL语句转化为MapRedece任务运行 元数据存储在数据库,数据存储在HDFS中使用Hive的优势 数据互通,简单的LOAD命令导入、查询结果可以用保存为cvs或者Excel格式 学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计 基于HDFS的可扩展性 可通过压缩、分区列建立索引优化Cloude


- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据 安全 事件 分析

限制150内