基于元数据和安全事件的大数据分析.pdf
18961920198720062013年年12月月28日日基于元数据和安全事件的基于元数据和安全事件的大数据分析大数据分析上海交通大学网络信息中心上海交通大学网络信息中心姜开达姜开达个人介绍个人介绍 1997 2001 2013(16 years)上海交通大学 网络信息中心工作经历:学生宿舍网络建设与管理大中小网络运行与维护信息系统建设与管理近五年主要专注于网络信息安全领域网络信息安全领域一一MetaData的获取的获取二二大数据分析平台大数据分析平台三三安全事件关联分析安全事件关联分析四四未来研究方向未来研究方向主要内容主要内容安全的颗粒度安全的颗粒度NetFlow/sFlow 报文采样DDOS/Port Scan/异常流量发现深度数据包检测（DPI）基于已知签名的识别，对加密流量作用有限元数据（MetaData）介于两者之间http/smtp/pop3/ftp/dns/telnet美国情报收集系统美国情报收集系统 X-Keyscore可针对邮件、网站内容等执行强大的查询提供实时的目标活动信息所有未过滤的数据可在缓冲区存 3 天存储所监控网站的完整数据，为元数据建立索引安全事件历史回溯安全事件历史回溯Flow采样分析太粗，丢失信息较多基于五元组等信息完整数据包长期存储，代价巨大1G/10G/100G Mission:Impossible依靠长期历史元数据是现实的选择在线分析漏过了，不能再错过离线处理MetaData的生成的生成基于网络流量，生成需要的格式吐出nfdump 介绍介绍 http:/ nfdump tools collect and process netflow data on the command line.Web interface http:/ 介绍介绍http:/www.caida.org/tools/measurement/coralreef/CoralReef is a comprehensive software suite developed by CAIDA to collect and analyze data from passive Internet traffic monitors,in real time or from trace files.CoralReef supports monitoring of any standard network interface(via libpcap)on unix-like systems,as well as specialized high performance ATM,POS,and Ethernet devices at up to OC192 and 10 GigE bandwidths on Intel-based workstations running FreeBSD or Linux.Justniffer 介绍介绍http:/ TCP Packet SnifferReliable TCP Flow RebuildingOptimized for Request/Response protocols.Can rebuild and save HTTP content on files HTTP MetaData 示例示例1GET 类型Time|G|Host|URI|Referer|SrcIP|SrcPort|DstIP|DstPort|User-Agent2013-08-25 11:01:02|G|/images/index1_1.jpg|http:/ 7.0)2POST 等其他类型Time|P|Host|URI|Type|Size|Referer|SrcIP|SrcPort|DstIP|DstPort|User-Agent2013-08-25 11:01:29|P|/jdyx/memeber/login.php?action=checkandlogin|application/x-www-form-urlencoded|38|http:/ 7.0)3服务器返回类型Time|HTTP Code|Type|Size|SrcIP|SrcPort|DstIP|DstPort|2013-08-25 11:03:06|404|text/html|168|220.120.2.102|80|202.119.208.93|8189|HTTP MetaData 存储存储以上海交通大学校园网为例2013.12.25访问校内近千网站的原始HTTP元数据量为18.1 G Bytes，78,962,897 条记录存储校内网站一年的元数据量不超过 5T Bytes但是记录条数在数百亿量级目前可以实现单机每日20亿量级的元数据生成Hadoop系统硬件概况系统硬件概况共 24 结点 2个管理结点，一个作业提交结点，21个存储计算节点CPU Intel Xeon(R)CPU E5-26702.60GHz，双CPU，开HT后32核Memory 8 8=64GBDisk 240GB(SSD)2+2TB(SATA)12Network Intel 82599 万兆网HDFS总容量 333TB/3(replication=3)三个机柜三个机柜 24 台服务器台服务器Hadoop系统软件概况系统软件概况使用Hadoop版本 Cloudera Standard 4.8.0组件 CDH4.5.0+IMPALA 1.2.1+SOLR 1.1.0）特点 易部署（网页批量部署）性能良好（TestDFS IO：10*10GB文件写142MB/s，10*10GB文件读801MB/s）监控信息全面提供对每台主机及整个集群的监控信息 维护方便Cloudera Manager图形化界面图形化界面The open source Apache Hadoop UI(图形化用户界面)提供 Hadoop 各种组件的Web UI操作Hive查询的UI,查看作业进度、下载作业结果类类SQL工具工具HiveHive简介 基于Hadoop的一个数据仓库工具 把SQL语句转化为MapRedece任务运行 元数据存储在数据库，数据存储在HDFS中使用Hive的优势 数据互通，简单的LOAD命令导入、查询结果可以用保存为cvs或者Excel格式 学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计 基于HDFS的可扩展性 可通过压缩、分区列建立索引优化Cloudera其他组件介绍其他组件介绍全文索引Cloudera Search 核心：Hadoop+Solr 可实现对HDFS中数据进行全文索引 查询时间12s/TB的索引/1台服务器（目前还在测试）实时查询开源软件Cloudera Impala Impala与其他组件关系 Impala(SQL on HDFS)VS Hive(SQL on MapReduce)这些组件在后续的数据分析工作中很有用处大数据分析应用大数据分析应用安全漏洞快速影响评估安全事件综合分析，历史回溯漏洞挖掘和0Day早期预警Apache Struts 2 发现发现select*from sjtu_in where url like%.action?%or url like%.do?%查询性能分析查询性能分析19个计算节点，未做分区列等优化2 分42秒 查询完 56 亿条原始记录PHP-DOS 发现发现select*from sjtu_in where url like%host=%and url like%port=%部分部分WebShell 发现发现黑名单，特殊Path，特殊URL，特殊文件名，POST频率Zimbra Mail-0day exploitThis script exploits a Local File Inclusion in/res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgzwhich allows us to see localconfig.xmlthat contains LDAP root credentials wich allow us to make requests in/service/admin/soap API with the stolen LDAP credentials to create userwith administration privlegiesand gain acces to the Administration Console.LFI is located at:/res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgz?v=091214175450&skin=./././././././././opt/zimbra/conf/localconfig.xml%00Example:https:/ 漏洞影响范围漏洞影响范围12月6日，exploit-网站披露了攻击代码。根据国家互联网应急中心（CNCERT）和上海交通大学网络信息中心的监测情况，从12月6日下午开始，出现了大量利用该漏洞对境内政府和高校用户发起的攻击。CNVD对互联网上使用Zimbra的邮件服务器进行了检测。截至12月13日9时，共检测发现互联网上有1814个IP主机为Zimbra邮件服务器，详细统计见下表所示。此外，根据抽样测试结果，约有50.0%的Zimbra邮件服务器存在所述高危漏洞。HTTP 关联分析关联分析Referer 分析分析Referer 暴露搜索引擎关键词暴露搜索引擎关键词http:/ Struts2 漏洞搜索关键词漏洞搜索关键词inurl:index.actioninurl:(.action)site:site: index.actioninurl: filetype:actioninurl:index.actionallinurl:index.actionintitle:登录 inurl:action site:intitle:成绩 inurl:action site:intitle:教学管理 inurl:action site:inrul:main.action site:用正则表达式来发现新型攻击用正则表达式来发现新型攻击inurl:printpage.asp?ArticleID=|34-inurl:.*.asp.*id=MORPHEUS+inurl:/browse.php?id=|10-inurl:.*.php?.*id=inurl:/privacy.html|10-inurl:.*htmlintitle:欢迎使用ExtMail|9-intitle:.*mailinurl:/listguest.asp?no=|8-inurl:.*listinurl:/content.aspx?id=|7-inurl:.*.asp.*id=chanel+2.55+jumbo+flap+bag+intext:powered+by+vbulletin|7-intext:.*poweredinurl:/members/glenquiny.html|7-inurl:.*htmlMORPHEUS+inurl:/post.php?action=|7-inurl:.*ctioninurl:/bloglocal|7-inurl:.*bloginurl:/forums/thread-view.asp?tid=|7-inurl:.*.asp.*id=inurl:/sitemap.html|7-inurl:.*htmlsite:+intext:转到父目录+inurl:fckeditor|7-intext:.*edi.*torinurl:+毕业设计+filetype:action|1-inurl:.*ctioninurl:+inurl:news.php?id=|3-inurl:.*.php?.*id=site: inurl:index.action|2-inurl:.*ction网络流日志查询网络流日志查询日志格式App|StartTime|EndTime|SrcIP|SrcPort|DstIP|DstPort|Sizehttp.tcp 1320155721-1320155731 202.120.2.102:54285-8.8.4.4:80 374 24021每天超过 4亿条流记录，350 GB平均 5000 条/秒，峰值 12000 条/秒SSH/Telnet/HTTP/HTTPS/FTP/LDAP/远程桌面数百种应用类型Hbase schema设计设计一个索引表多个冗余表 App look-up index table Time table srcIP&app table dstIP&app table srcIP&dstIP&app table App&time table各个表用途 App look-up table：索引，用于查找指定srcIP，指定dstIP或指定srcIP+dstIP组合所使用过的所有app。Others：根据指定条件检索log内容。GUI 设计和交互操作设计和交互操作GUI设计交互操作 用户填写开始时间（必填）、结束时间（必填）、客户端IP（选填）、服务器IP（选填）在相应的文本框；浏览器实时在APP的下拉框中返回满足文本框中所有条件的所有APP；用户选择一种APP类型（也可以不选）；用户按submit键提交；浏览器返回给用户该查询条件下的所有日志记录。如果输入某指定条件后，APP菜单中没有下拉选项，则说明系统中没有满足这一条件的记录。借鉴借鉴 IPAudit 的思路的思路http:/ 应用漏洞挖掘和安全威胁发现展望未来展望未来大规模网络安全态势感知和监测多方来源安全事件的关联分析满足百亿级的安全数据处理实用化和安全研究机构的多方交流，情报交换和云计算团队的继续深度合作谢谢 谢！谢！
