基于行为监控的木马检测系统研究及实现.pdf

《基于行为监控的木马检测系统研究及实现.pdf》由会员分享，可在线阅读，更多相关《基于行为监控的木马检测系统研究及实现.pdf（4页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 2 0 0 9年 5月 第 3 2卷第 3期 四川师范大学学报(自然科学版)J o u rna l o f S i c h u a n N o r m a l U n i v e r s i t y(N a t u r a l S c i e n c e)Ma y，2 00 9 Vo 1 3 2，No 3 基于行为监控的木马检测系统研究及实现 李焕洲，唐彰国，钟 明全，张健(四川师范大学 网络与通信技术研究所，四川 成都 6 1 0 0 6 6)摘要：为了检测木马型病毒，分析了现有木马检测措施，设计并实现了一个基于行为监控的木马检测系 统，介绍了该系统的软件结构和运行机制，描述了基于 Wi

2、n s o c k 2 S P I 和 N D I S H O O K的网络通信检测技术、基于内核调度监控的进(线)程检测技术 测试表明，该系统能准确识别出被检测程序在安装阶段、启动阶 段和网络通信阶段的行为 关键词：木马检测；行为监控；进(线)程检测；网络通信检测 中图分类号：T P 3 0 9 文献标识码：A 文章编号：1 0 0 1 8 3 9 5(2 0 0 9)0 3-0 3 8 6-0 4 d o i：1 0 3 9 6 9 j i s s n 1 0 0 1-8 3 9 5 2 O O 9 0 3 0 2 6 0 前言 C N C E R T C C 2 0 0 7年 网络安全工

3、作报 告 指 出：2 0 0 7年我 国大陆地区被植入木 马的主机 I P 数量(9 9 5 1 5 4个)迅猛增长，是 2 0 0 6年(4 4 7 1 7个)的2 2倍，木马已成为互联 网的最大危害 地下黑色 产业链的成熟，为木马的大量生产和广泛传播提供 了十分便利的条件，木马在互联网上的泛滥导致大 量个人隐私信息 和重要数据失窃，此外，木马还越 来越多地被用来窃取国家秘密和工作秘密，给国家 和企业带来无法估量的损失 现有木 马程序 检测方法包 括：(1)完整 性检 测E 2-3 3：通过检查文件当前 内容计算 的校验和与原 来保存的校验和是否一致，来发现文件是否有所 变 动 这种方法有较

4、大的误报率，且不适 宜检测一个 未知的文件是否是木马程序(2)特征码扫描：包 括特征代码扫描法、特征字扫描法等 这种方法被 常规杀毒软件使用，针对已知恶意程序有很高的准 确率，误报率 低，但不 能用来 检测未 知恶意程序(3)机器学习方法：从大量的、随机的数据集中寻找 潜在的有价值 的信息，如：R I P P E R方法 J、跟踪 取 证 等 这种方法检测时间较长、准确性不高 如何对隐蔽性木马进行检测，文 7-8 提出了 “基于系统调用挂钩”的检测方法：分析用户进程空 间与内核空间中系统函数调用信息，检测系统中是 否存在木马程序设置的隐蔽性系统调用挂钩 该方 收稿 日期：2 0 0 8 0 9

5、 一 O l 基金项 目：四川省应 用基础研究(0 7 J Y 0 2 9-0 1 1)资助项 目 作者简介：李焕洲(1 9 7 4 一)，男，副教授，主要从事信息安全 的研究 法能检测部分隐蔽型木马程序的 自身隐藏属性，但 不能检测通过直接修改系统 内核数据的方式来实 现 自身隐藏的木马程序 1 基 于行为监控的木马检测 系统 木马程序具有较强的隐蔽性和伪装性，它通常 嵌人在一些合法程序(如：游戏程序、工具软件等)或数据文件(如：O f fi c e文档、P D F文档等)中，或者 木马服务器本身假 冒成一个合法程序(如：网页中 的 A c t i v e控件等)，如果受害者运行 了这些经过

6、改 装或假冒的程序，就 会 自动激活木马服务器，而普 通计算机用户对此通常无法觉察 无论木马程序通过何种方式隐藏 自己，当其被 激活运行时，在安装 阶段、启动阶段和网络通信阶 段一般都会表现出一些 固有 的行为特征：(1)隐藏 进程(或线程)；(2)修改注册表；(3)创建网络通信 通道；(4)创建或修改文件等 基于此，如果实 时检 测、对 比一个未知的程序或文件被激 活前后操作系 统 中网络通信、进(线)程、文件和注册表等状态 的 变化，则可以获知被检测程序的行为，从而可 以判 断其是否是木马程序 1 1 系统的软件结构系统的软件结构如图 1 所 示 由图 1 可知，系统包括控制中心、网络通信

7、检测 模块、进(线)程检测模块、文件检测模块、注册表检 测模块、数据采集及判定模块、报告模块共7 个组 您的鼓励是我的动力 欢迎您访问我的网店第3期 李焕洲等：基于行为监控的木马检测系统研究及实现 3 8 7 图 1 软件结构 Fi g 1 Th e s y s t e m S s o ftwa r e s t r u c t u r e 成部分 系统的运行机制如图 2所示 (1)控制中心：控制各功能模块的运行(2)网络通 信检 测模 块：通 过 Wi n s o c k 2 S P I (S e r v i c e P r o v i d e r I n t e r f a c e)和 N

8、D I S(N e t w o r k D r i v e r I n t e rf a c e S p e c i fi c a t i o n)H O O K技术，对应用层、网络 层的网络通信数据进行实时监测，并将可疑数据上报 (3)进(线)程检测模块：对 当前的进(线)程状 态进行实时监测，重点监测新增可疑进程、隐藏进 程、远线程等可疑行为，并将可疑数据上报(4)文件检测模块：对磁盘文件进行实时监测，重点监测新增、删除文件行为，并将可疑数据上报 (5)注册表检测模块：对注册表进行实时监测，重点监测通过 注册表修改 自启动、文件关联等行 为，并将可疑数据上报(6)数据采集及判定模块：采集各

9、检测模块上 报的检测数据，基 于木马行 为判定算法，判定被检 测程序的木马相似度 (7)报告模块：产生检测报告 1 2关键技术系统中的关键技术包括：木马行 为判定算法、基于 Wi n s o c k 2 S P I 和 N D I S H O O K的 网络通信检测技术、基于内核调度监控的进(线)程 检测技术 本文重点对网络通信检测技术、进(线)程检测技术进行描述 1 2 1 基 于 Wi n s o c k 2 S P I 和 N D I S H O O K的 网络 通信检 测技术 网络通信检测模块分为两个子模 块：N m s o c k d u和 N m d r i v e r s y s

10、 N ms o c k d l l 模块用 于截获通过 S O C K E T通信 的应用程序数据包，N m d r i v e r s y s 模块用于截获通过 N D I S通信的应用 程序、D L L和驱动程序 的数据包 由于两个模块都 对数据包进行截获，为避免重复处理，在 N ms o c k 被检测程序 l 运行 虚拟检测环境 采集 网络通信 进(线)程 注 册表 文件异动数据 I 丫 f 检 测 报 告f 图 2 运行机制 Fi g 2 Th e s y s t e m e S r u n m e c h a n i s m d l l 和 N m d r i v e r s y

11、s 之 间通过共享 内存进行数据接 口：对 于 N ms o c k d U已 经 截 获 处 理 的数 据 包，N md r i v e r s y s 直接放行；否则，N md r i v e r s y s 截获数 据包并进行处理(1)N ms o c k d l I 模 块工 作原理 Wi n s o c k 2 S P I 是 Wi n s o c k 2服务提供者接 口，以 D L L形式存在，由 W s 2_3 2 d l l 调用实现网络传输功能的接 口 在传输 服务提供者接 口中有 3种协议：分层 协议、基础 协 议和协议链，如图 3所示 正常情况下，当某个工作在用户态的木马

12、程序 通过 S O C K E T访问网络时，操作系统通过 WS 2 _ 3 2 d u把数据往下面的传输服务基础提供者(B a s e P r o t o c o 1)传递，直至数据到达系统内核最终交给网卡 由于 Wi n d o w s 操作系统允许用户在传输服务基础 提供者之上安装新 的分层协议(L a y e r e d P r o t o c o 1)，因此可以利用 S P I 技术，在传输服务基础提供者接 口之上安装伪造的分层协议(如：S P I H O O K监控模 块)，当操作系统启用某关联的网络应用程序时，会 自动加载该分层协 议，并使其合 法化，从 而让 S P I H O

13、 O K监控模块 能实时监控到所 有通过 S O C K E T 访问网络的用户态木马程序，系统工作原理如 图 4 所示 (2)N m d r i v e r s y s 模块工作原理 N D I S是微软 和 3 C O M公司联合制定 的一套在 X 8 6操作系统上 开发网卡驱动程序和网络驱 动程序必须遵守 的设 计框架，N D I S 为驱动程序提供了一些接口函数 在 Wi n d o w s 2 0 0 0操作系统环境下，这些接 口函数由一 个名为 N d i s s y s的库导出，N D I S H O O K 的工作原 理即是编写替换 函数替换 N d i s s y s中的一些

14、关键 输出函数(如 N d i s R e g i s t e r P r o t o c o l、N d i s D e R e g i s t e r P 您的鼓励是我的动力 欢迎您访问我的网店3 8 8 四川师范大学学报(自然科学版)3 2卷 r o t o c o l、N d i s 0pe n Ad a p t e r、Nd i s Cl o s e Ad a P t e r、Nd i s S e n d函数)，这样 只要向 N D I S请求 的数据包 就会 被替换函数拦截，实现对木马网络通信数据包的检测 N m d r i v e r s y s 模块实现了替换 函数，能截获并

15、解析网络通信数据包，其内部模块结构如图5所示 1 2 2基于内核调度监控的进(线)程检测技术 典型的进程状态模型有：三状态进程模 型、五状态 进程模型、七状态进程模型，五状态进程模型描述 Wi n s o c k 2 A PI Ws 2 3 2 D L L L a y e r e d P r o t o c o l B a s e P r o t o c ol 图 3 Wi n s o c k 2 S P I 描述 Fi g 3 The s t r u c t u r e o f wi n s o c k 2 S P I 进程状态有创建、就绪、运行、阻塞、退出 5种状态，如图 6所示 木马被激

16、活以后的行为体现在如下几 个方面：创建进程、远程线程注入、隐藏进程、关 闭 安全软件(如杀毒软件、个人防火墙等)、调用 C MD 运行可执行程序等 本文探讨基于以上 5种进程行 为对木马进行检测，进(线)程检测模块共分为 5个 部分：进程创 建检测、远程线 程检测、隐藏进 程检 测、进程终止检测、调用 C MD检测，如图 7所示 图 5 N m d r i v e r s y s 模块结构 Fi g 5 The mo d u l e s t r u c t u r e o f Nm d r i v e r s y s (1)判定规则模块：实现进(线)程检测模块与 控制中心的交互，它负责接收控制

17、中心 的指令，并 回传执行结果 (2)行为识别模块：接收判定规则模块 的指令，向工作在内核层的 3 个模块(检测进线程创建模 块、检测隐藏进程模块和检测进程终止模块)发出 检索请求，接收 3个模块返 回的进程列表，并进行 比较，把结果返 回给判定规则模块(3)检测进线程创建模块：通过 内核 函数 P s S e t C r e a t e P r o c e s s N o t i f y R o u t i n e()和P s S e t C r e a t e T h 图 4 Wi n s o c k 2 S P I HO O K工作原理示意 图 F i g 4 Th e s ke t c

18、 h m a p o f wi n s o c k 2 S P I HOOK 图 6 五状态进程模型 Fi g 6 A fi v e-s t at e pr o c e s s m o de l 判定规则模块 田曰 l!程 检 测 和c M D 调 用 检 测 r _ J _ L 行 为 识 别 模 块 包 括 远 程 线 应用层：7 r 。=：。土 。”眦 田，1”竺 星 =!二=检测进程创建 I I 检测隐藏进程I l 检测进程终止 图 7 进(线)程检 测模块的模块结构 F i g 7 The s t r u c t u r e o f p r o c e s s a n d t hr

19、e a d de t e c t i o n mo du l e r e a d N o t if y R o u t i n e()，检测操作系统中进程创建、远 程线程注入、C MD调用等行为 (4)检 测 隐 藏 进 程 模 块：通 过 C r e a t e T o o l h e l p 3 2 S n a p s h 0 t()函数、进程环境块(K P E B)和线程 环境块(K T E B)技术，获得进程链表和线程链表内 容，检测系统 中存在的隐藏进程 (5)检测进程终止模块：配置系统虚拟安全软 件环境，实时检测线程调度链表，通过虚拟安全软 件环境的异动识别系统中存在的进程终止行为

20、 您的鼓励是我的动力 欢迎您访问我的网店第 3 期 李焕洲等：基于行为监控的木马检测系统研究及实现 3 8 9 2 结论 针对现有木马检测方法在检测木 马方 面所 面 临的不足，根据木马在运行 时所表现 的行为特征，提出了一种基于行为监控 的木马检测机制，设计并 实现了一个原型系统 介绍 了系统的软件结构和运 行机制，对其中的两个关键技术：基于 S P I 和 N D I S H O O K技术的网络通信数据包截获、基于内核调度 监控的进(线)程检测技术进行 了描述 对大量木马型病毒 的测试表 明，原型系统能准 确识别出被检测程序在安装阶段、启动阶段 和网络 通信阶段所展示 的网络通信行 为、

21、进(线)程行 为、注册表行为和文件行为，无论对已知木马还是未知 木马，基于木马行为判定算法所提交的检测结果都 较为准确，克服了“特征码扫描”有较高的漏报率和“完整性检测”有较高的误报率的缺点，检测时问也 相对“机器学习方法”较短 在下一 阶段 工作 中，需要 进一步研 究 的问题 有：(1)进一步完善木马行为判定算法 由于木马技 术的复杂和多样性，决定了对木马行为的检测和匹 配将是个困难和不断完善 的过程，需要继续通过实 验提取新型木 马的行 为特征，进一步完 善匹配算 法(2)提高检测效率 由于被检测程序行为释放需 要一定的时间，在检测时 间方面，本文所设计的原 型系统 比杀毒软件更长，当需

22、要检测 的程序较 多 时，检测时间会线性增加，这也是下一阶段研究 的 方向 参考文献 1 国家计算机网络应急技术处理协调中心C N C E R T C C 2 0 0 7年网络安全工作报告 E B O L h t t p：w w w c e r t o r g c n U s e r F i l e s F i l e C NC E RT C C 2 O 0 7 A n n u a 1 R e p o r tC h i n e s e p d f，2 0 0 7-0 8-2 1 2 F i s k i r a n A M，L e e R B R u n t i me e x e c u t i

23、 o n m o n i t o ri n g(R E M)t o d e t e c t a n d p r e v e n t ma l i c i o u s c o d e e x e c u t i o n C P r o c e e d i n g s o f t h e I E E E I n t e rna t i o n a l C o n f e r e n c e o n C o mp u t e r D e s i g n W a s h i n g t o n，DC，U S A：I E E E C o mp u t e r S o c i e t y，2 0 0 4：

24、4 5 2 45 7 3 李顺东，覃征，贾晓琳，等一种特洛伊木马的检测算法 J 小型微型计算机系统，2 0 0 3，2 4(7)：1 3 7 1 1 3 7 1 4 D e n g P S，Wa n g J H，S h i e h W G，e t a 1 I n t e ll i g e n t a u t o ma t i c m a l i c i o u s c o d e s i g n a t u r e s e x t r a c t i o n C P r oce e d i n g s o f I E E E 3 7 t h An n u al 2 0 0 3 I n t e

25、r n a t i o n a l C a ma h an Co nfe r e n c e o n S e c u r i t y T e c h n o l o g y Wa s h i n gto n，DC，U S A：I E E E C o mp u t e r S oci e t y，20 0 3：6 0 0-6 03 5 S c h u h z M G，E s k i n E，Z a d o k E，e t a 1 D a t a mi n i n g m e t h ods f o r d e t e c t i o n o f n e w ma l i c i o u s e

26、x e c u t a b l e s C P r o c e e d i n g s o f t h e 2 0 0 1 I E E E S y mp o s i u m o n S e c u rit y a n d P ri v a c y Wa s h i n gto n，DC，US A：I E EE C o mp u t e r S o c i e t y，2 0 0 1：3 8 6 李焕洲，张健，陈麟一种基于敏感信息跟踪的网络取证技术的研究 J 四川师范大学学报：自然科学版，2 0 0 5，2 8(6)：75 9 7 63 7 梁晓，李毅超，崔甲等基于系统调用挂钩的隐蔽木马程序检测

27、方法 J 计算机工程，2 0 0 7，3 3(2 0)：1 8 1 1 8 3 8 杨志程，舒辉，董卫宇基于 N D I S隐蔽通信技术的木马病毒分析 J 计算机工程，2 0 0 8，3 4(1 O)：1 4 7-1 4 9 S t u d y a n d I m p l e me n t a t i o n o f T r o j a n D e t e c t i o n S y s t e m B a s e d o n B e h a v i o r Mo n i t o r i n g L I Hu a n-z h o u，T ANG Z h a n g g u o，Z HONG M

28、i n g q u a n，Z HANG J i a n (I n s t i t u t e of C o m p u t e r N e t w o r k a n d C o m mu n i c a t i o n T e c h n o l o g y，S ic h u a n N o r m a l U n i v e r s i ty，C h e n g d u 6 1 0 0 6 6，S ic h u a n)A b s t r a c t：T o d e t e c t T r o j a n v i r u s，t h e c u r r e n t T r o j a n

29、 d e t e c t i o n m e asu r e s w e r e a n al y z e d A T r o j a n d e t e c t i o n s y s t e m b a s e d o n b e h a v i o r mo n i t o ri n g wa s d e s i g n e d a n d d e v e l o p e d T h e s y s t e m S s o f t w a r e s t ruc t u r e an d run me c h a n i s m w e r e i n t r od u c e d Th

30、 e n e t c o mmu n i c a t i o n d e t e c t i o n me c h a n i s m b a s e d o n Wi n s o c k 2 S P I a n d ND I S HOOK，a n d t h e p r o c e s s a n d t h r e a d d e t e c t i o n me c h a n i s m b a s e d o n k e r n e l d i s p a t c h mo n i t o ri n g we r e als o d e s c ri b e d T h e t e

31、s t i n g s h o ws t h a t t h e s y s t e m c o u l d a c c u r a t e l y i d e n t i f y t h e b e h a v i o r o f t h e p r o c e d u r e s d u r-i n g i n s t a l l a t i o n p h a s e，s t a r t u p p h a s e a n d n e t wo r k c o mmu n i c a t i o n p h a s e Ke y w o r d s：T r o j an d e t e c t i o n；B e h a v i o r m o n i t o ri n g；P r o c e s s a n d t h r e a d d e t e c t i o n；N e t c o m m u n i c a t i o n d e t e c t i o n (编辑李德华)您的鼓励是我的动力 欢迎您访问我的网店