跨越多操作系统的银行数据处理系统设计.pdf

《跨越多操作系统的银行数据处理系统设计.pdf》由会员分享，可在线阅读，更多相关《跨越多操作系统的银行数据处理系统设计.pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第1 6 卷第2 期2 0 0 8 年0 3 月河南机电高等专科学校学报J o u m l ldH e n a nM e c h a n i c a la n dE l e e u i c a lg n g i n e e f i n sC o l l e s eV 0 1 1 6N o 2M a r 2 0 0 8跨越多操作系统的银行数据处理系统设计赵丽君，孔松涛(重庆科技学院，I t 庆4 0 0 0 4 2)摘要：该文提出了一种在大数据量的情况下，跨越多种操作系统实现高效数据收集和处理的设计和实施方案。针对银行等对安全要求极高的特殊环境，建立了安全的访问机制，并开发了网络控制器以实现更高

2、的安全控制。文t章指出了处理大数据的几个必须注意的方面，实现了高效可靠的解决方法。另外。也证实了依靠认真的分析、设计和实施，可以在低成本的情况下，建成高效的、扩展灵活的数据处理和应用系统。关键词：跨平台；数据库；数据处理；网络控制器中图分类号：T P 3 9 2文献标识码：B文章编号：1 0 0 8 2 0 9 3 1 2 0 0 8)0 2 一0 1 0 3 0 31引言银行是最早利用计算技术的行业之一，大量的计算机应用支撑了整个银行业的发展，反过来，随着银行的发展，也产生了大量的数据需要处理。随着银行业务的不断扩展，银行管理者提出了更高的管理需求，这些管理需求都是建立在银行业务数据的基础上

3、的，因此，对于银行业务数据的分析，就成了所有分析的基础。但是，由于银行业务庞大，而且相关业务、中间业务的不断发展，产生了巨大的交易数据，另外，随着管理水平的提高，管理者已经不满足于简单的高级报表，而是希望看到更加详细、更加细化、分类统计更加完善、功能扩展更加方便的数据报表。高效方便地完成这些需求，就成了数据处理系统开发的关键。2 系统背景简述众所周知，银行业务系统为了安全，都采用了U n i x 操作系统和专网来保证其运行的安全稳定，而我们项目的最终用户却是基于其内网的管理者，即我们的最终用户是在专网外的W i n d o w s 用户，跨网络、跨操作平台数据处理，成为首先必须解决的问题。在系

4、统分析时，我们主要考虑的问题包括：1)跨网络数据传输的安全性。一定要保证不能有非法的用户和指令进入业务专网内部；2)用户的需求复杂。该省下辖l O 多个地市，1 0 0多个县，在这些预定应用中。有的是在省一级的需求，有的是在地市一级的需求，有的又是在县一级的需求；有的是定期报表，有的是临时查询。即使是同一应用，由于各个核算单位的不同，可能会涉及不同的处理算法和参数；3)大数据量的处理。目前业务系统中的定期账户和活期账户之和接近3 0 0 0 万，客户信息也有几百万。每天定期账户交易近2 0 多万笔，活期账户交易超过4 0 万笔，而且，到每年6 月3 0 日结息后，所有的活期账户都会发生交易，当

5、天需要处理的业务2 0 0 0万笔；4)客户端的可维护性。鉴于系统的最终用户都分布在省内各个地市县，所以必须考虑系统升级的代价和用户的培训问题；5)有限的网络带宽问题。由于银行在全省的网络，都是租用网通公司的线路，鉴于成本问题，所有带宽都是有限制的；除了上面提及到的主要问题外，多操作系统、多数据库、多开发工具等问题的协调、数据处理系统的可扩展性等，也是考虑的重点内容。3 项目设计总体描述3 1 系统功能目标近期目标是建成支持现有的、后台与应用独立的数据中心，建设与业务数据相联系的安全的数据传输机制，高效简洁而且独立的后台数据处理系统；远期目标是将后台获取的数据进一步按照应用进行深加工，建立更加

6、专业高效的专用数据接口，支持各种附加应用。3 2 系统框架我们在银行业务系统中，采用U n i xS h e l l 编程方式，将当天发生的业务打包压缩，业务系统防火墙对外只提供固定接入地址的Y r P 连接，禁止其他连接，收稿日期：2 0 0 7 1 2 2 0 l作者简介：赵丽君(1 9 6 9-)。女。河南郑州人，工程师，主要从事计算机网络安全和系统开发研究。1 0 3 万方数据河南机电高等专科学校学报2 0 0 8 年2 期圈1 网络拓扑结构防止非法使用系统。业务数据与应用数据中心放置一台数据前置机，数据前置机上安装我们研制的特殊网卡控制器，使前置机起到安全岛的作用。数据前置机在指定时

7、间窗口内通过F T P 方式从银行业务系统中获取压缩包；成功获取压缩包后，前置机将断开同业务系统的网络，连接应用数据中心，同样以n P方式将压缩包上传到应用数据中心。中心处理程序将数据处理后灌入相应的数据库中，并用短信方式通知管理员结果。为了保证速度和使用的方便，前置机采用B o r l a n dC+B u i l d e r 开发，并运行在W i n d o w sX P 操作系统。应用数据中心采用L i n u xR e dH a t9 操作系统，O r a c l e9 i 为数据库，数据处理程序有C 和P r o C 作为主干开发语言，由L i n u xs h e 做批处理调度整个

8、业务流程，完成解包、调用主干处理程序灌人数据、压缩包归档、数据库备份等工作心。4 J。W E B 应用服务器也采用L i n t L xR e dH a t9 作为操作系统，T o m c a t 为W E B 服务，J 2 E E 为网络应用开发标准。最终用户只需要利用I E 浏览器接入内部应用网络，有合法的I P、身份和口令，就可以访问指定权限下面的资源。整个设计方案跨越了U n i x、L i n u x、W i n d o w s 操作平台，利用了其各自的优点，充分考虑了系统的稳定性、安全性，兼顾了性能、成本、开发的难易程度、系统的可扩展性和最终用户的操作易用性。4 系统中采用的主要技

9、术在项目分析，设计以及后来的项目实施中，采取了下面一些主要措施，保证了最后项目结果充分符合预定的设计目标。4 1 原始数据采集中的安全防护鉴于业务系统高安全性，所有的接人都必须加以仔细设计，保证不会有非法的指令和用户进入系统。除了采用常规防火墙等技术之外，我们自己设计并加工了一个网络转换控制卡(如图2)，来保证在同一时间，数据获取前置机只能在一个网络上连接，而同另1 0 4外一个网络实现物理隔离。接I 砼3 2 串口接计算机原来网-g-接A 网络接B 啊络标准P C i 接I-J图2 网络转换控制卡网络转换卡使用标准P C I 接口，从主板上取电，通过B 2 3 2 串口编码控制。线路切换器上

10、引出三个R J 4 5 接口，其一接到计算机网卡接口中，另外两个分别接在需要连接的网络中。在转换器控制程序中，通过对计算机串口发送指定的指令可以控制A 网接通或者B 网接通，不管什么时候，只能有一个网络处于接通位置。对“串口解码器”重新编码，就可以改变接通网络连接断开的指令，进一步提高系统安全性。除了使用网络转换控制器做到物理分离两个网络外，还对业务和数据中心两个系统设置，对外只提供F T P 服务，禁止执行命令，相应防火墙上也只对指定I P 地址开通F T P 服务。另外，采用“U n i x W i n d o w s L i n u x”连接方式，也可以最大限度地减少病毒在网络中传播的可

11、能性。这个设计方案，在较低成本的条件下，做到了较高的安全防护，能够满足预先设定的网络安全防护目标。4 2 数据存储优化，提高访问效率系统设计的最终用户包括省、地市、县等各种用户，而且通过分析发现，县级用户的需求最多，而且经常需要临时查询、修改等工作，省、地市主要需要一些定期报表、一些宏观的数据查询。通过这些分析，衡量总的数据量和具体用户需求。设计采用全局数据集中存储、交易数据分县存储的方式，涉及到的全局合计数据采用视图连接，常用的一些固定查询编译为数据库的存储过程。经测试，系统响应速度能够满足用户需求，优化后的效果十分明显。4 3 高效的数据处理在这个项目中，大量的数据和要求对其尽快处理是一个

12、主要的矛盾。为了尽可能减小对主机业务系统的影响，在压缩数据时，不做任何数据处理，只是将当天发生的业务数据通过O r a c l e 导出，然后压缩。另外，为尽可能提高用户访问的速度，很多表的设计都要以应用为蓝本加以处理，设置会出现一些冗余字段，有些计算值或者合计等都会设置单独的字段，这样，就会导致原始业务数据与数据中心结构有很大差异，这就要求进行数据灌人的处理程序必须高效运行，否则，在规定时间内将不能完成工作。1)表的主键和索引的建立。由于主键和索引的设置，有利于数据检索而不利于数据更新(处理过程更新主要是插入)。而且，多表处理时，每个表的相关 万方数据赵丽君等：跨越多操作系统的银行数据处理系

13、统设计主键和索引在检索和更新中对速度的影响也是不一样的。我们采用的是根据各个应用所涉及的条件字段、原始数据量的大小、预计检索结果大小，初步设计出其索引，然后根据实验，取得即合乎检索要求又合乎更新要求的索引。2)充分利用临时表技术。在项目实施阶段中，我们大量使用了临时表，而且临时表也进行了按县存储，这些措施对于提高处理速度起了很大作用。3)不使用游标。在常见的处理程序中，由于数据量不大，而且使用游标会使程序的编制难度降低，整个程序思路清晰。但是，使用游标会降低处理速度，所以，我们所有编程全部采用S Q L 的基本语句(s e l e c t、U p d a t e、I n s e r t 等等)

14、，处理速度大为提高。4)选用高效的编程语言。我们在L i n u x 编程选用了C 和P r o C 作为编程工具。P r o C 是O r a c l e 自带的嵌入式语言，编程时按照P r o C 定义的语法写好程序，由P r o C 编译为标准的C 语言，然后再由L i n u x 自带的C C 编译、连接成可执行文件。由于P r o C 能够直接同O r a c l e 数据库连接，又采用C 编程，有利于提高运行效率。4 4 低成本的数据处理和利用考虑到分布于全省各地的用户以及并不宽裕的网络带宽、系统布置的成本以及将来的系统升级成本，我们决定采用B S 模式，在每月的月终，设立月结处理

15、程序，在月终时候自动执行而且产生已经确定了的报表，生成的结果形成文件格式，第二天后用户就可以从W E B 服务器下载到本地。应用部分采用J 2 E E 标准编制，运行速度可以得到保证。采用B S模式，其升级、培训的费用几乎为零。另外，如果采用C S 模式，就必然要考虑数据在广域网内传递的稳定性和完整性，这样就需要另外购买中间件产品(如T u x e d o 等)，一来增加了成本，二来也增加了开发的难度，而且，一旦发生系统升级，升级费用将会很高。高效的数据处理程序和数据库设计，大大降低了对数据库服务器的要求。我们将系统成本降低到了最小程度：数据服务器为P C 服务器，2 C P U，2 G 内存

16、，5 1 4 5 GR A I D 5 磁盘阵列，磁带机做周备份；而W E B 服务器为P C 服务器，I C P U，1 G 内存，所有硬件开支(两个网络的防火墙原来已经存在，现在不另外购置)总共投资不到6 万元，做到了低成本下的高效的数据处理和利用。】。4 5高可扩展性和强大的外部应用支持设计系统时充分考虑到了将来的可扩展性，将系统按照数据获取和数据应用分为两个部分，他们之间没有联系，这样无论是源数据发生变化或者将来应用发生变化，都能够将变化控制在某一范围之内，也就是采用了模块式设计。对于这个系统来说，最可能发生变化或者说变化最难预料的部分在于应用，由于管理的需求，可能经常会产生新的报表和

17、查询，这些都要求我们的设计必须具有足够的灵活性，充分估计将来的需求和各用户的特殊化要求。我们采用了“数据库一W E B 服务器一浏览器”方式，可以十分灵活地修改应用，所有的应用修改都可以集中在W E B 服务器上，对于用户而言，都是全透明的，不影响用户的使用。另外，一些地市县等用户单位不同报表的核算公式不同，可由用户自己确定核算的公式和参数，最后结果也以标准报表和E x c e l 报表两种形式供用户下载。除此之外，我们利用T u x e d o 中间件产品，开发了一些将来可能出现的C S 模式应用的模块(目前尚未有C S 应用)，这些模块都是将来可能出现的应用强大的外部应用支持，保障了数据在

18、广域网上传输的稳定性和安全可靠性。5 结束语系统运行后，系统完全达到了预期设计的目的。而且由于我们对数据库和处理程序的精心设计，已经超过了预期设计目标，如半年结息的近2 0 0 0 万笔的大数据量处理，系统运行稳定，运行速度较快，整个处理(包括月结)，运行时间不到6 个小时。另外，由于我们合理的方案设计，将原来对于硬件的投资预算降到了最低。由于运行效果良好，另外两个省的银行也采用了我们的系统。这些成功的案例说明，通过对现有资源的充分利用，通过对系统的精心设计和实施，完全可以在较低的成本基础上，实现对银行等大数据量的数据进行处理，为用户提供更科学的管理依据。(责任编辑吕春红)参考文献1 1 喻志

19、虎U n i x 平台下C 语言编程 M 北京：清华大学出版社，2 0 0 1 2 赵元杰O r a c l e 数据库实用指南 M 北京：电子工业出版社。2 0 0 2 3 谈竹贤，王毅，赵景亮O r a c l e 9 iP L S Q L 从入门到精通 M 北京：中国水利电力出版杜，2 0 0 2 4 李文生，冯风娟，霍宇江，施海O r a c l e 数据库系统基础与工具 M 北京：人民邮电出版社，1 9 9 9 5】飞思科技产品研发中心J S P 应用开发指南(第二版)M 北京：电子工业出版社，2 0 0 4 6 B r u c eE c k e l 著侯捷译T h i n k i

20、n gi nJ a v e S e c o n dE d i t i o n M 北京：机械工业出版社，2 0 0 2【7 E l l i o t t eR u s t yH a r o l d 著刘华东。王巍，唐刚译J a v eN e t w o r kP r o-g r a m m i a g(S e c o n dE d i t i o n)M 北京：中国电力出版社。2 0 0 2(下转第l l l 页)1 0 5 万方数据刘丹等：虚拟实验环境的研究与实现x 坐标s e t P r o p e r t y(“0 7”，_ y，“2 9 1 8”)；设置属性Y 坐标在实现交互的过程中，可

21、以添加一些声效，用来模仿实际实验中的声音，并在适当的时候停止声音的播放。而且，在实现过程中，需要用到的零部件最好都做成元件。主要优点有以下几点：1)元件可以重复使用。当以后再使用到一样的零件的时候，直接从库中拖到舞台中就可以再重复使用了。不但减少了工作量，而且也能减少文件的体积。2)以后修改的时候方便，当修改了库中的元件，所有使用了该元件的位置都将发生改变，变成了和库中的一样。减少了工作量。3)只有图形变成元件之后，才可以在属性中使用亮度、色调、A l p h a(透明度)、高级等功能。4 结束语以上模块的教学，从最基本的知识点人手，将计算机的硬件系统和软件系统有机地结合起来，将学生一步步带人

22、计算机D I Y(D oI tY o u r s e l f)世界的大门，并在实际操作中掌握硬件的有关参数与性能，使同学们全面掌握计算机硬件知识及系统软件的安装与调试的方法，实现高职教学“培养实用性人才”的教学目的。(责任编辑吕春红)参考文献：1 刘志广基于F l a s h 技术的电位分析仿真虚拟实验室的构建方法研究 J ，计算机与应用化学，2 0 0 6，(1 0)：1 0 2 6-1 0 3 0 2 P h i l i p K e r m m F l a s h A c t l o n S c r i p t 权威指南 M 北京：中国电力出版社。2 0 0 2【3 武法提基于F l a

23、s h 技术的虚拟实验室设计与实现 J 教育信息化。2 0 0 6。(5)：4 3 4 4 T h eR e s e a r c ha n dR e a l i z a t i o no fV i s u a lE x p e r i m e n t a lE n v i r o n m e n tU UD a n e ta l(H e n a nM e c h a n i ca n dE l e c t r i cE n g i n e e r i n gC o l l e g e，X i n x i a n g4 5 3 0 0 2，C h i n a)A b s t r a c t：T

24、h ep a p e rt a k e st h ec o m p u t e ra s s e m b l ye x p e r i m e n tt e a c h i n g 鹪a ne x a m p l ea n dd i s c u s s e st h er e a l i z a-f i o nm e t h o do fv i s u a ll 血o r a t o r y T h ev i s u a ll a b o r a t o r ya c h i e v e st h eg o a lo fh e l p i n ga n dp r o m o t i n gt

25、h es t u d e n t s e x p e r-i m e n ts t u d y i n gt h r o n g ha p p l y i n gf o rt e a c h i n gs t r a t e g i e ss y n t h e t i c a l l ys u c ha se x p e r i m e n t，d e m o n s t r a t i o n，d i s c u s s i o na n d 的o n K e yw o r d s：e x p e r i m e n tT e a c h i n g；v i s u a lL a b o

26、r a t o r y；c o m p u t e ra s s e m b l y(上接第1 0 5 页)D e s i g no fD a t aM a n a g i n gi nD a t ao fB a n ko v e rM u l t i-o p e r a t i n gS y s t e mZ H A OL i i a n e ta l(C h o n g q i n gU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y，C h o n g q i n g4 0 0 0 4 2，C h i n a)A b s

27、 t r a c t：A na p p r o a c ho fm i n i n ga n dc o i l e e t i n gm a s sd a t ao v e rm u l t i o p e r a t i n gs y s t e mi nt h em a B s-d a t as i t u-a t i o ni sp r o v i d e d B a s i n go nt h es k y h i s hs a f ee n v i r o n m e n ts u c ha st l l eb a n k an e ws a f en e tc o n t r o

28、l l e ri sd e v e l-o p e d S e v e r a le f f e c t i v ea n dc r e d i b l ep r o b l e m s o l v i n gw a y st om a s sd a t aa r eg i v e n A tl a s t，t h ee f f e c t i v ea n de x t e n d-a b l es y s t e mc a nb ee s t a b l i s h e di nt h el o wc o s ts i t u a t i o n K e yw o r d s：m u l

29、t i o p e r a t i n gs y s t e m；d a t a b a s e；一d a t am a n a g i n g；n e tc o n t r o l l e r 万方数据跨越多操作系统的银行数据处理系统设计跨越多操作系统的银行数据处理系统设计作者：赵丽君，孔松涛作者单位：重庆科技学院,重庆,400042刊名：河南机电高等专科学校学报英文刊名：JOURNAL OF HENAN MECHANICAL AND EECTRICAL ENGINEERING COLLEGE年，卷(期)：2008,16(2)参考文献(7条)参考文献(7条)1.Elliotte Rusty Harold;刘华东;王巍;唐刚 Jave Network Prognunming 20022.Bruce Eekel;侯捷 Thinking in Jave 20023.飞思科技产品研发中心 JSP应用开发指南 20044.李文生;冯凤娟;霍宇江;施海 Oracle数据库系统-基础与工具 19995.谈竹贤;王毅;赵景亮 Omcle9i PL/SQL从入门到精通 20026.赵元杰 Oracle数据库实用指南 20027.喻志虎 Unix平台下C语言编程 2001 本文链接：http:/