网络管理系统日志输出的实现.pdf

总第 2 2 3期 2 0 0 8年第 5期 计算机与数字工程 Co mpu t e r&Di g i t a l En g i n e e r i n g V0 1 3 6 No 5 90 网络管理 系统 日志输 出的实现 王 刚(武汉邮电科学研究院武汉4 3 0 0 7 4)摘要在网络管理系统中，后台程序是 2 4小时不断运行的。会有大量的数据流，在程序内部传递，或者封装到I P 包 中在网络中传递。介绍了一种可通用的数据流 日志输出的实现方法，可按照一定格式将数据流内容记录成二进制 日志文 件，并且具有一定可读性，能够设置大小和个数和过滤条件。可广泛用于后台程序，准确记录实时的数据流，作为定位问题 的依据。关键词数据流输 出实现二进制 日志 中图分类号T P 3 9 3 0 9 I mp l e me n t o f Ou t p u t Da t a S t r e a m Lo g W a n g Ga n g (Wu h a n R e s e a r c h I n s t i t u t e o f P o s t a n d T e l e c o m mu n i c a t i o n s，Wu h an 4 3 0 0 7 4)Ab s t r a c t I n n e t wo r k man a g e me n t s y s t e m，th e s e r v i c e p r o g r a ms are r u n n i n g f o r 2 4 h o u r s T h e r e i s a l o t o f d a t a s t r e a m wh i c h i s t r a n s mi t e d i n s i d e the p r og r a m or i n t he n e t wo r k by e n c a ps u l a t e d i n I P pa c ke t Th i s a r t i c l e i nt r o du c es a c ommo n i mpl e me n t o f O Ht pu t d a t a s tre a m l o gI t c a n r e c or d t he d a t a s t r e a m i n t o bi na r y l o g fil e s wh i c h we r e r e a d a b l e I t a l s o C an s e t the fil e S s i z ea mo u n t a n d the f i l t e r c o n di t i o nTh e c o nt e n t C an b e b r o ws e d b y d e v e l o p a n i n t e r f a c e t o o1 I t C an c o mmo nl y b e u s e d i n b a c k g r o u n d p r o gr am，r e c or d t h e d a t a s t r e am c o r r e c t l y a s t h e e v i d e n c e t o l o c a l i z e t h e p r o b l e m K e y w o r d s d a t a s tr e a m，i mp l e me n t o f o u t p u t，b i n a r y l o g Cl a s s Numb e r TP 3 9 3 0 9 1 引言 在 网络管理系统 中会有大量的数据流在程序 模块间传递，还有一些封装 I P包发送到网络 中，这 些数据通常是不可见的，存在于内存中。数据流的 记录的特点是适时的、发送不连续、不可保留，对于 大量二进制内存数据，也无法识别。本文提出了一 种通用 的日志记录方案，实现了数据的实时记录和 杏看 头，便于统一管理。可通过 i n i 文件，设置是否记录 日志，并可以设置过滤条件，有选择性的进行记录，准确有效的从繁多 的数据结构 中滤出所需要的数 据流记录到指定 的目录中，从而能够在网络管理系 统长时间的运行过程中，记录全部或者选取重要数 据，例如控制命令，配置数据等等按 统一格式详 细 记录下来，一旦出现问题，可有效的定位查找数据，定位问题，为网络管理 系统对设备的监控维护提供 了强有力的保障。2 网络管理系统的数据 日志特点 3 日志输出的实现 在 网络管理系统 中，后台程序是 2 4小时不断 运行的。在网管长期的运行过程中，对下发的控制 命令或者配置数据等等，无法记录，一旦发现问题，无法定位问题。本文设计的 日志输出功能，日志有统一 的日志 基本设计思想是建立一个 Md D a t a L o g的动态 库，提供输出 日志的接 口函数 0 u t p u t Md D a t a L 0 G()给后 台各个程序调用，日志记录功能都在动态库内 部实现，与后 台服务无关，采用单线程，异步队列存 取数据结构，在 d a t a l o g i n i 中可以对 日志开关、大 收稿日期：2 0 0 7年 l 2月2 7日，修回日期：2 0 0 8年 1 月 1 1日 作者简介：王刚，男，硕士，软件工程师，研究方 向：通 信与信息 系统。维普资讯 http:/ 第 3 6卷(2 o o 8)第5期 计算机与数字工程 9 1 小、个数、过滤条件进行设置，调用时先判断条件，符合的加入队列。从 队列中获取数据结构后，根据 日志类型写对应的 日志，另外输 出一个动态库 自身 的运行信息 日志供调试使用。对外接 口：一d e e l s p e c(d l l e x p o r t)i n t 0 u t p u t M d D a t a l 0 g (D WO R D d w L o g T y p e，c o n s t B Y T E p B u f，D WO R D d w L e n g t h)；软件结构如图 1 所示。图 1 日志记录功能 Md D a t a L o g d l l 运行流程 Md D a t a L o g d l l提供 外部 接 口函数一d e c l s p e c (d l l e x p o r t)i n t 0 u t p u t Md D a t a l 0 g(D WO R D d w L o g-T y p e，c o n s t B Y T E p B u f，D WO R D d w L e n g t h)；调 用它的后 台服务传人 日志类型，数据指针，数据长 度 3个参数，日志记录全部在动态库内部完成。简单流程如下：动态库初始 化 C Md D a t a L o g()的时候启 动线 程，载 入 条 件L o a d C o n d i t i o n(c o n s t c h a r p F i l e N a m e)；内部调用函数 I n t e r O u t p u t Md D a t a l 0 g(D WO R D d wL o g Ty p e，c o n s t BYTE p Bu f，DW ORD d w-L e n g t h)；先构成内部数据结构，(拷贝数据)，匹对 条 件，I s A c c o r d Wi t h C o n d i t i o n(D a t a P a c k e t p s t D a t a P a c k e t)；满足条件加入队列。线程类 R U N()函数从队列获取数据结构，写入对应 日志 v o i d A d d Md D a t a L o g(D a t a P a c k e t p s t D a t a P a c k e t)；通过 Wi n d o w s AP 函数 f w r i t e()来写入具体的 日志 超过大小调用备份 函数 v o i d B a c k u p L o g(c o n s t c h a r p c F i l e F u l l N a me，D WO R D d w L o g T y p e)；写完 后 输 出一 个 调 试 日志 v o i d A d d D l l L o g (D WO R D d w L o g T y p e，D WO R D d w U s e d T i m e，p v o i d q u e u e p Q u e u e)；由一个线程和 6个内部函数来实现。简单算法：L o a d C o n d i t i o n(c o n s t c h a r p F i l e N a m e)；从 i n i 读 取，二维存贮，v e c t o r+v e c t o r 数组，对字符 串编码，按顺序存在内存 中，没有 的条件默 认 为“N U L L”I s A c c o r d Wi t h C o n d i t i o n(D a t a P a c k e t p s t Da t a-P a c k e t)每一个数据结构产生后。先判断开关，然后两 重循环获取条件，偏移和对应数据，m e mc mp后，对 结果进行“或”“与”逻辑分析，满足返回成功，不满 足返 回失败，有优化逻辑，得 到结果后可提前跳 出 循环，提高效率。B a c k u p L o g(c o n s t c h a r p c F i l e F u l l N a me，D WO R D d w L o g T y p e)；重新生成一个新 日志 1 o g，备份重命名的算 法是：把 已有 的备份 的文件全部依次重命名，名字 数次加 1，最新的一个备份的总是命名为 1 o g l，达到个数 门限后，总是删除最早的一个(1 o g N)，这个逻辑保证备份文件的名字都是按时间排序 的。程序逻辑流程图如图 2所示。D a t a l o g i n i 内容如表 1所示。表 1 d a t a l o g i n i 的内容 C O N D I T I O N 1 C O N D I T I O N 2 o f f s e t l一1=8 d a t al一1=GC o ffs e t 21=40 da t a 21=J C 维普资讯 http:/ 9 2 王刚：网络管理 系统 日志输 出的实现 第 3 6卷 外 部调用，参 数：日志类 型，数据指针，数据 长度 一d e c l s pe c(dl l e x p o r t)i nt Out put M dD at al o g：声 明类对象 o MdDa t a L o g，调 用内部 日志函数 CM dDa t a Lo g：CM d Da t a L o g 0 构造 函数初 始化：获 取路径，poThr e adThi s一 S t a r t()；启 动线程 LoadCOndi t i o n(s t r Ful l Fi l eNam e c st r ()；从i ni 载 入过 滤条件 I nt e r Out p ut M d Da t a l o g(d wL o g T y p e，P B u f，d wL u f e n g t h)内 部 日志输 出函数：构成数据结 构n e w D a t a P a c k e t(d wL o g T YPe，pBuf，d wLe ng t h)；符 合 不符合 i t i o n(D a t a P a c k e t p s tDa t a P a c k e t)匹对条件 删 除数据结 构 de l e t e p s t Da t a P a c k e t；程 序返 回 数 据 队 列 线函RU N程 数：从 队列中 获取 数据结 构 G e t Fr om Fr o n(v o i d&)p s t Dat aPac ke t，1 00 0)：写 日志 函数 oM dD at aLog Ad d M dDa t a L o g(ps t Da t a P a c ke t)写预 定 义 类型1 日志 件：S wi t c h 判断 日志类型 文件大小 判断?写预定 义 类型2 日志 备份 函数 B a c k u p 0：备份 日志，产 生新 文件 超 过设 定大小 未超过 I 未超过 A d d DU L o g()输出 Ma d a t a l o gH志，删除 数据结 构 图 2函数 的逻 辑 流 程 图 其中每个 C O N D I T I O N 之间是“或”的关 系，及满足任意一个就符合条件，每个 C O N D I T I O N 下面是偏移和偏移处对应的数据，可以设置多个偏 移滤，每个偏移之间是“与”的关系。数据 日志格式如下：日志内容为连续的二进制数 据，为“文件头+每条记录”组成 文件头：3 2字节“d a t a l o g”后面填 0，备用，用 作描述信息；每条记录：由特殊字符串分 隔开，各种类 型 日 志通用一个格式，格式如表 2所示。表 2日志记录的表头格式 每条记录头(不包括具体数据)数据结构如下：t y p e d e f s t r uc t Re c o r d He a d C h a r arc L o g T y p e N a m e 8 ；B Y T E arR e s e r v e 4 ；FULLDATE s t F u l l Da t e；FULL TI ME s t F ul l Ti me；BYTE b y Lo g Ty pe；B Y T E arR e s e r v e 2 8 ；DW ORD d wDa t a Le n g t h；R e c o r d H e a d i 蕊 i 戮 j 蚺 图 3日志文件运用实例 当日志文件大小超过设定的大小后，会对 当前 的文件进行备份，重新生成一个新 日志，备份 重命 名的规则是：把 已有 的备 份的文件全部依次重命 名，名字数次加 1，最新的一个 备份 的总是命名为 1 o g l，达到个数门限后，总是删 除最早 的一个(下转第 1 0 3页)维普资讯 http:/ 第 3 6卷(2 0 0 8)第 5期 计 算机 与数 字工程 1 0 3 和 J a v a S c r i p t 语言，可以使用操作窗 口化、菜单 化，完全实现了权限的分层动态操作，通过权限控 制，使现实管理模式在软件 中得 到很好实现。层次信 息通过树形 目录图形，操作简单直观。系统实例如 图 3所示。5 结语 本文 以 s p ri n g 框架为基础，采用 M V C模式，介 绍 了基于 R B A C的权限管理系统的设计与实现，该 系统具有权限分配直观、容易理解、便于使用；扩展 性好，支持 岗位、权 限多变 的需求，并利用拦截器(i n t e r c e p t o r)来进行身份验证和授权验证，有效 的 防止 了非法用户 的访 问，保护 了信息 和资 源 的安 全。该权限系统 已成功应用于 系统的设计 和开发 实践，与应用系统具有很好的集成。参 考 文 献 1 D a v i d F F e r r a i o l o，J o h n F B a r k l e y，D R i c h a r d K u h n A Ro l e Ba s e d Ac c e s s Co n t r o l Mo de l a n d Re f e r e n c e I mpl e-me n t a t i o n Wi t h i n a Co r p o r a t e I n t r a n e t J J l _ AC M T r a n s a c t i o n s o n I n f o r ma t i o n a n d S y s t e m S e c u ri t y，1 9 9 9，2(1)：3 4 3 1 2 D F e r r a i o l o，RS a n d h u，S G a v r i l a，D K u h n，a nd R Ch a n d r a mo u l i Pr o p o s e d NI S T s t a n da r d f o r r o l e b a s e d a c c e s s c o n t r o l J A C M T r a n s a c t i o n s o n I n f o r ma t i o n a n d S y s t e m s S e c u ri t y，2 0 0 1，4(3)：2 2 4 2 7 4 3 夏榆滨，宣明付 基于 R B A C的统一权限管理系统 研究 J 微计算机信息，2 0 0 6，2 2(9 3)：1 4 41 4 7 4 邢小永，陈性元等 一种基于角色的访问控制扩展 模型 J 微计算机信息，2 0 0 6，2 2(1 1 3)：2 4 72 4 9 5 丁霞，徐开勇等 基于 WE B和 R B A C的授权管理 子系统设计与实现 J 微计算机信息，2 0 0 6，2 2(1 23)：1 4 4】47 (上接 第 9 2页)(1 o g N)，这个逻辑保证备份文件 的名字都是按 时间排序的。记录的日志可作为原始的数据包，二次开发界 面浏览工具来解析数据，下面给出一个运用实例，网管程序分析下发的每条控制命令，如图3 所示。4 结语 本文给出了网络管理系统后台程序记 录 日志 的方法，能够设置过滤条件，采用异步队列方式，不 影响程序的正常运行，队列默认 1 0 0 0 0个节点，经 过数据发送程序按很短时间间隔发送大量数据包，测试观察 数据流量 对 队列 的影 响，可 承受 1 0 0 K l O O m s或者 l O K l O m s 这样大流量 的数据流，具有 很高的效率。按统一格式记录的数据 1 3 志本身可 浏览，可广泛用于程序定位，也可 以二次开发界面 工具来具体解析数据流，具有很强的实用性。参 考 文 献 1 Wi l l i a m B u c h a n a n著，精英科技译 P C接口通信与 Wi n d o w s 编程 M 北京：中国电力 出版社，2 0 0 1，1 0 2 l e e T D a v i e s J Mi c r o s o f t Wi n d o w s 2 O O O T C P I P协议 和服务技术参考 M 北京：人民邮电出版社，2 O O O，1 1 3 甘登文 计算 机 网络及通 信 M 北京：机械工业 出版社，2 0 0 7 4 C S D N Wi n d o w s 2 0 1 P r o c e s s a n d T h r e a d D B O L h t t p：d e v c s d n n e t a r t i c l e 21 21 7 2 3 s h t m 2 0 0 6，4，2 0 5 韦斯特耐特技术培训公司编著，丛容译 进程与协 议 M 北京：中国电力 出版社，2 0 0 0，0 8 维普资讯 http:/