基于数据挖掘的商业银行个人信用风险评估平台设计与实现大学论文.doc

《基于数据挖掘的商业银行个人信用风险评估平台设计与实现大学论文.doc》由会员分享，可在线阅读，更多相关《基于数据挖掘的商业银行个人信用风险评估平台设计与实现大学论文.doc（68页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、毕业设计(论文)论 文 题 目：基于数据挖掘的商业银行个人信用风险评估平台设计与实现 学 生 姓 名：学 生 学 号：专 业 班 级：学 院 名 称：指 导 老 师：学 院 院 长： 2016年05月27日基于数据挖掘的商业银行个人信用风险评估平台设计与实现摘 要计算机技术和信息技术的不断发展，带给我们便利的同时也带来一系列问题，其中一个问题是数据量的爆炸式增长以及数据之间的关系愈发复杂，如何对这些海量的数据进行处理，发掘隐藏在数据中潜在的理论价值和实际价值也成为生活中各个领域关注的焦点。随着我国经济的不断发展，城市和农村居民的收入和消费水平有着显著提升，个人信贷业务已经成为商业银行主营业务之

2、一，但目前我国商业银行在个人信用风险评估方面存在着不足。因此，研究如何利用数据挖掘技术从银行现有的客户数据中分析客户的信用风险，具有重要的理论价值和实际意义。本文首先对数据挖掘的概念、发展现状进行了介绍。其次对数据挖掘的算法进行了介绍，分析了本系统会用到的数据挖掘的算法。然后，结合商业银行在客户信用风险评估方面遇到的问题进行了需求分析。在此基础上，提出了基于BP神经网络以及决策树算法的商业银行个人信用风险评估模型，为商业银行个人信用风险评估提供了可行的解决方案。关键词：数据挖掘；BP神经网络；决策树；信用风险Design and Implementation of Commercial Ban

3、ks Credit Risk Assessment Based on Data MiningAbstractThe development of computer technology and information technology bring us convenience, but also brought a series of problems, one of the problems is the relationship between the amount of data as well as the explosive growth of data between the

4、more and more complex, and how these massive data processing discover hidden potential data theoretic value and practical value has become the focus of attention in all areas of life.As Chinas economy continues to develop, income and consumption level of urban and rural residents has significantly i

5、mproved, consumer credit business has become one of the main business of commercial banks, commercial banks in China but there is a lack of personal credit risk assessment. Therefore, studying how to use data mining techniques to analyze customer credit risk from the banks existing customer data, ha

6、s important theoretical and practical significance.Firstly, the concept, development status data mining are introduced. Secondly, the data mining algorithms are introduced, we analyzed the system will use data mining algorithms. Then, combined with problems encountered by commercial banks in custome

7、r credit risk assessment needs analysis. On this basis, the proposed individual credit risk assessment model based on BP neural network and decision tree algorithm based commercial bank, and the proposed model has been improved and validated commercial bank personal credit risk provides a feasible s

8、olution program evaluation.Key Words: Data mining; BP neural network; decision tree; Credit Risk目录第1章 绪论11.1研究背景和研究意义11.1.1研究背景11.1.2研究意义31.2国内外研究综述41.2.1数据挖掘研究现状41.2.2商业银行信用风险研究现状61.3论文的主要工作和内容结构7第2章 数据挖掘算法及相关技术92.1数据挖掘的概念9 2.2数据挖掘的过程92.3数据挖掘的常用算法102.3.1人工神经网络112.3.2决策树112.3.3遗传算法122.3.4近邻算法132.3.5

9、 k-means算法132.4小结14第3章 基于BP神经网络算法的个人信用风险评估153.1神经网络的学习机理和机构153.1.1感知器的学习结构153.1.2梯度下降法算法173.1.3反向传播（BP）算法193.2实验数据的结构及预处理223.2.1数据预处理253.2.2数据指标选取263.3基于BP神经网络的信用风险评估方法模型293.3.1网络的构建及训练293.3.2模型测试结果303.4小结33第4章 基于决策树算法的个人信用风险评估344.1 决策树算法概述344.1.1 ID3算法344.1.2 C4.5算法与C5.0算法374.2 基于C5.0算法的决策树方法个人信用风险

10、评估模型394.2.1 数据采集394.2.2 数据变换404.2.3 决策树的构建434.2.4 评估模型及模型优化484.3小结50第5章 基于数据挖掘的个人信用风险评估系统的实现51 5.1 开发环境的搭建515.1.1 R语言开发环境搭建515.1.2 Shiny Server安装与配置525.2 模块关键功能实现535.2.1 基于BP神经网络算法评估客户信用风险的实现545.2.2 基于决策树络算法评估客户信用风险的实现565.3小结58总结与展望59致谢60参考文献61第1章 绪论本章首先介绍了以数据挖掘算法和技术为基础的商业银行个人信用风险分析的研究背景和研究意义。随着社会经济

11、的发展和国民消费水平及观念的提升，个人信贷市场已经成为银行业的主营业务之一，银行的客户数据量规模十分庞大，用数据挖掘技术从这些海量数据中发现科学有效的个人信用风险评估和预测模型具有重要的理论意义和实际价值。1.1研究背景和研究意义2010年9月12日，国际清算银行（BIS）的巴塞尔银行业条例和监督委员会的常设委员会“巴塞尔委员会”宣布，各方代表就巴塞尔协议III的内容达成一致。巴塞尔协议III将商业银行的风险分为信用风险、市场风险和操作风险，其中信用风险是银行面临的主要风险1。而个人信贷风险又是银行信用风险中的主要组成部分，银行具有高水平的信用风险管理制度决定了其稳定的运行，因此，为满足银行自

12、身运营要求和提高自身风险管理水平，商业银行加快建设个人信贷风险评估系统具有重要的现实意义。1.1.1研究背景从风险管理控制来说，金融体系的风险管理有着十分悠久的历史，随着社会经济以及全球经济一体化的发展，在风险管理方面，其理论和实践都取得了很大进展。国外对金融风险管理比较深入，近几年发现了层出不穷的各种理论和模型，例如：资本资产定价理论、套利定价理论、Credit Metrics模型、KVM 模型等2。在实践中这些理论和模型取得了巨大成功，因而刺激了西方金融市场的发展，反过来，西方金融市场的发展又对金融风险理论研究提出了新的要求。纵观世界银行业的发展，20世纪70年代，银行的经营环境相对比较稳

13、定，其稳定的原因是多方面的。其中，法律监管制度对银行业的稳定发展起到了决定性的作用，那时，银行业的主要经营业务比较单一，仅限于存款贷款业务，外部竞争有限，银行具有稳定的高额的利润。法律监管关注的重点是银行业的安全发展和对货币创造能力的控制，并且法律在监管银行业经营范围的同时，也从各个反面大大降低了银行业所承担的风险。从20世纪70年代至今，银行业掀起了深刻的变革浪潮，在推动银行业变革的因素中，有三个因素显得尤为重要：第一，金融市场职能的日益膨胀，由于国际资本市场在深度和广度上的快速发展，一大部分企业选择发行股票和债券在市场上筹措企业的发展资金，这导致了金融非中介化的快速发展，这些变化给金融市场

14、的参与者，尤其是银行业，带来了新的机遇，机遇与挑战并存，因此也带来了新的挑战。第二，金融管制的放松，随着金融市场的不断发展与金融制度的自我完善，一些旧的金融管制制度开始改变甚至消失。原有监管制度的改编和消失，使得政府或者金融监管部门不能像过去那样利用分业管理制度来控制风险行为3。因此，这些监管部门开始重新制定能够保障金融业安全的监管规则。新的规则主要是由国际清算银行负责制定，然后各国的政府将其应用到国内金融业中去。第三，金融行业竞争日益加剧。金融管制的放松大大拓宽了银行所能提供的产品和服务的范围。各种新产品，比如金融衍生工具和期权、期货等的产生，传统的商业银行开始积极探索新的市场机会，研究开发

15、新的产品的服务，非传统业务的比重迅速增加。增值性服务，比如交易咨询、资产并购、项目融资、信用卡、衍生工具等获得飞速的发展。通过涉足新的领域和开发新的金融产品，银行业需要承担新类型的风险。银行业的变革使得银行业飞速的发展，但同时也带来了新的风险。风险的增加是由新竞争出现、产品的创新、银行主营业务的转型和创新、市场波动的加剧以及金融机构业务范围限制的解除带来的。所以随着银行业的发展，银行业需要承担更多的风险，风险管理显得尤为重要。从数据挖掘技术来说，数据挖掘起始于20世纪下半叶，是在当时多个学科发展的基础上发展起来的。数据库技术日益发展，大大提高了数据的存储与处理能力。但是与之而来的是数据的不断积

16、累，庞大的数据使得传统的增删改查功能无法满足人们对数据的需求，急因需要发展更好的数据处理技术去挖掘庞大数据背后隐藏的信息。与此同时，与此同时，进入21世纪以来，人工智能技术进入飞速发展阶段，Google公司的AlphaGo产品等标志着人工智能革命的兴起，从此机器学习将应用到现实领域。因此，人们将两者结合起来，存储数据使用数据库管理系统，使用数据挖掘技术进行数据分析，并且尝试挖掘隐藏在数据背后的知识4。这两者的结合促生了一门新的学科，即数据库中的知识发现（Knowledge Discovery in Databases，KDD）。而数据挖掘（Data Mining）则是知识发现（KDD）的核心部

17、分，它指的是从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，进入21世纪，数据挖掘已经成为一门比较成熟的交叉学科，并且数据挖掘技术也伴随着信息技术的发展日益成熟起来。将数据挖掘技术应用到银行信用风险分析成为了可能。1.1.2研究意义信用风险是最古老的风险，而且在潜在损失的规模方面也许是最重要的风险。目前，信用风险的评价正沿着几个方向发展：第一，对贷款组合信用风险的评价；第二，对市场工具信用风险的评价；第三，对信用风险的VAR值的计算；第四，贷款组合管理。信用风险，是指因借款人发生违约或借款人信用等级下降产生损失的风险5。风险的“量”是贷款的余额，风险的“质”是指发生违约的可能性和在

18、违约发生时减少损失的担保措施。本篇研究的商业银行个人信用风险主要指的是客户的违约风险。一般使用商业银行一定时期内客户违约发生的概率来进行衡量违约风险的。借款人的信用等级决定商业银行客户的违约风险取，而商业银行客户的信用等级受多个因素的影响，如客户的工作情况、居住环境、收入水平等。不能直接对违约概率进行测量，但可以用客户以往的信用历史数据多客户的违约概率进行评估。数据挖掘是指从大量的资料中自动搜索隐藏于其中的有着特殊关联性的信息的过程。在商业银行的计算机存储中，存在未使用的海量数据并且它们还在快速增长，这些数据就像待挖掘的金矿。数据挖掘技术可以使我们很容易的从海量数据中提取出可以表示成规则逻辑或

19、者可视化的数据模型，比传统意义上的统计学更加以人为本6。对商业银行而言，数据挖掘的目标，是使商业银行更了解客户，以增进它在信贷、销售、顾客服务营运上的表现，查觉无法直接从数据上看得出来的潜在规则或行为模式。1.2国内外研究综述自从提出数据挖掘的概念以来,国内外的许多厂商相继推出了自己的数据挖掘相关产品,例如IBM Intelligent Miner、SPSS Clementine、MSMiner等。随着厂商不断推出自己的产品,数据挖掘的服务质量和可靠性越来越受到重视。目前,国内外的厂商和学者都已经对此展开了研究，下面对它们的国内外现状分别进行研究。1.2.1数据挖掘研究现状近年来，数据库技术领

20、域中的重要研究领域为知识发现（KDD）与DM。第十一届国际人工智能会议于1989年8月在国底特律市召开，在这次大会上参会者正式提出了知识发现（KDD）一词7。随着计算机技术的日益发展，数据挖掘技术的研究也不断突破，目前已经取得了丰硕的成果。现在主要是从三个方面：理论和技术以及应用对知识发现（KDD）进行研究。国内外大部分学者目前的研究方法是采用多种方法与理论并行。众多计算机行业的公司以及高校研究所等研究机构十分重视数据挖掘技术的研究，Google和微软等已经在全球范围内开设了研究中心。无可否认的是美国是全世界数据挖掘技术发展最繁荣的国家，并占据着数据挖掘技术研究的核心位置8。随着数据量的指数级

21、增加，各个行业的商业公司以及政府机构等对数据挖掘软件的市场需求量也飞速增加，因此众多计算机行业的国际知名公司都纷纷加入到了数据挖掘软件开发研究的行列中来，目前数据挖掘软件市场上已经存在一大批比较成熟、先是实用价值比较高的优秀产品。下面列举的是目前为止比较主流的数据挖掘系统：(1) IBM Intelligent Miner：IBM Intelligent Miner的主要功能包含展现数据库的挖掘过程，能够统计函数和查看函数并解释挖掘结果，挖掘结果可视化展示等。IBM Intelligent Miner能够从企业的海量数据集中检验并提取高价值的知识，包括企业的交易数据，信用卡，ATM(Autom

22、atic Teller Machine),电子商务应用, 或呼叫中心等。数据分析专家和商业领域专家能够发现隐藏在海量数据背后的其他传统分析工具不能发现的知识。IBM Intelligent Miner不但提供了实用的数据挖掘技术和工具来支持知识发现过程，而且还提供了数据挖掘应用服务支持与数据挖掘急速定制应用的发展。(2) Knowledge Studio： Knowledge Studio提供了先进的预测建模功能，包括先进的记分卡的发展，线性和Logistic回归，决策树，神经网络和无监督学习技术，如聚类分析和多因子分析。(3) Cognos Scenario：Cognos Scenario是

23、一种数据挖掘结果高度可视化的一种工具，该软件能够在很短的响应时间内对数据进行高效的挖掘与分析。(4) IBM SPSS Modeler：IBM SPSS Modeler是一个广泛的预测性分析平台，旨在智能预测由个人、组、系统和企业作出的决定。通过提供一系列先进的算法以及包括文本分析，实体分析，决策管理和优化技术，SPSS Modeler可帮助企业与个人始终如一地做出正确的决定。除这些工具之外，Unica公司开发的Affinium Model，美国Insightful公司研究开发的I-Miner，加拿大Simon Fraser大学研究开发的DBMiner等也是常用的市场占有率比较高的数据挖掘软件

24、。在数据挖掘技术这一领域，国内公司和研究机构对数据挖掘技术的研究与国外相比起步比较迟并且尚不成熟，目前正处于比较初级的发展阶段9。国内数据挖掘技术的发展主要有：研究并构建模糊系统知识模型，研究并构建模糊系统辨识方法；在研究分类技术中，尝试构建其集合理论体系，能够让其实现日益增长的大量数据的挖掘处理；将模糊集理论以及粗糙集理论两个理论相结合来研究知识发现；研究并开发智能的专家系统；研究并开发中文文本挖掘的实现技术以及其理论模型；利用数据挖掘技术概念来进行文本的挖掘。我国也有不少新兴的数据挖掘软件：(1) DMiner：DMiner是由复旦德门软件公司开发的一个数据挖掘系统，这个系统是基于数据仓库

25、的对企业的经营、客户和财务等多个数据源进行数据挖掘。业务作为德门数据仓库实施方案的需求重点，设计在技术领先与开放标准的基础之上，并且能与数据仓库的解决方案能够融合，为现代企业提供一个开放的、可靠的与可扩展性的和高性能决策支持系统。(2) MSMiner：MSMiner主要包括任务处理引擎和数据挖掘任务模型编辑两个模块，用户在任务模型编辑模块可以使用一种可视化的方法来选择算法和数据源，然后使用选择的数据挖掘算法和数据源来构建合适的模型。解释执行各个步骤以及对数据挖掘任务则由任务处理引擎来负责处理，然后得到可视化的数据挖掘结果。数据挖掘结果经过评估后就可以存入数据仓库然后以报表和可视化方式输出。目

26、前国内的数据挖掘技术产业相对国外来说还处于起步阶段，从事数据挖掘技术研究的人员主要集中在各大高校和研究所以及互联网公司的研发中心，大多数关于数据挖掘技术研究项目的资金是由政府提供，数据挖掘技术的相关算法和理论方面为其主要的研究方向10。开发研究的数据挖掘相关的软件产品暂时没有得到国际主流市场的认可。1.2.2商业银行信用风险研究现状各国对商业银行信用风险的管理不尽相同，相对来说发达国家的风险管理比较成熟，发展中国家的风险管理则相对落后，水平有较大差异。但各国监管当局和商业银行本身都在试图通过实施外部监管和内部评级等方法来提高信用风险管理的能力这一点是一致的。因此，研究国际活跃银行的风险管理机制

27、，提高我国风险管理水平，是一个非常重要的现实课题。随着金融市场的不断发展，金融衍生品的日益更新，金融风险程度的不断提高，促进了银行业风险管理及风险防范方法的不断完善。1.内部评级方法。内部评级法是国际清算银行颁布的新巴塞尔资本协议中银行信用风险部分的核心内容。内部评级法是现在国际清算银行对银行业风险管理和风险防范的一个重要的手段。内部评级法对特定贷款进行信用评级的一个办法，其主要依据是根据借款人如果不能正常履行还款责任而对银行造成的损失风险11。内部评级方法的风险评级是商业银行评估信贷风险的重要指标，因此风险评级多用于商业银行信贷的风险管理，风险评级包含对贷款受理的评估、评估贷款组合和撰写风险

28、管理报告，对存款准备金充足性进行分析，商业银行利润及信贷利率定价分析，作为风险管理的重要参数来构建信贷组合的风险管理模型等。传统的风险管理的缺点是外部评级机构通常不能得到的客户信息，从而很难对客户进行评估，而内部评级方法克服了这一缺点，从而商业银行不会过多地依赖外部信用评级机构对客户信贷风险的评估。2.VaR风险度量方法。VaR从数学统计的意义上来讲是一个数字，VaR指商业银行或者金融机构等面临市场波动时其在风险状态的价值。即在指定的置信水平和特定的时间段内，计算出的预期的最大损失的绝对值或者相对值12。持有期的长短、置信区间的大小以及观察期间的长短这三个系数是构建一个资产组合的VaR值的模型

29、必须首先确定的三个系数。 VaR主要应用于金融风险控制。目前已有超过一千家的银行和保险公司以及投资基金等公司采用构建VaR模型来对风险管理进行防范和管理。每个交易员或交易单位利用VaR方法都能进行风险控制以便确切地了解他们进行的金融交易有多大风险，还能够为每个交易员或交易单位设置一个VaR阀值来预防度较大金融风险的出现。商业银行等金融机构如果执行严格的VaR管理也许可以避开重大亏损。 3.投资组合管理。投资组合管理是指投资管理人以实现分散风险、提高效率的投资目的按照资产的投资组合理论对资产进行多元化管理的一种风险管理手段13。投资组合理论和资本资产定价模型以及APT模型等理论构成了现代投资组合

30、理论。它们的发展使现代投资管理日益朝着系统化、科学化和组合化的方向发展并极大地改变了过去主要依赖传统投资管理实践的手段。 由于我国商业银行风险管理发展较晚，存在着商业银行重报表数据轻实践，信贷审批流程不合理，信贷监管环节责任不明确，大部分商业银行的贷款审批权利还是由银行行长一人掌控，商业银行对企业的评估没有公开透明化，甚至存在内幕交易，评估后的结果也是只用本行内部信贷额度的确立，没有对其他金融机构或者社会进行公开等缺点，我国商业银行存在的这些不足都反映出我国银行业信贷风险管理手段落后以及信用风险管理体制不健全14。并且我国商业银行通常是负责信贷风险管理的人员主要是信贷部门的，信贷人员对贷款的风

31、险状况进行评估后定期向其上级汇报，这种传统的评估模式存在很大漏洞，完全不能满足商业银行对风险控制要求的时效性；并且在商业银行中信用风险决策制度制定的不合理，很多商业银行的信贷人员同时负责信贷前调查和信贷审批等本应遵守职位分离原则的多个职位，这种身兼数职起不到互相监督互相补充的作用从而使得风险漏洞出现时，信贷负责人员由于各种原因不会及时对风险进行管控制，可能会导致信贷违约的产生。1.3论文的主要工作和内容结构本文内容分为五章，主要的工作如下所述：第1章为绪论，主要介绍本课题的应用背景、国内外研究现状以及本系统的研究意义，以及论文的组织结构。第2章为 数据挖掘算法及相关技术，主要对数据挖掘算法做了

32、介绍，并且对系统要用到的数据挖掘技术做了梳理，并分别对每项技术做了详细介绍，阐明各项技术选择的重要性。第3章为基于BP神经网络算法的商业银行客户信用风险评估，首先介绍了BP神经网络算法的基本原理，然后介绍了如何用BP神经网络算法实现对商业银行客户信用风险进行评估。第4章为基于决策树算法的商业银行客户信用风险评估，首先介绍了决策树算法的基本原理，然后介绍了如何用决策树算法实现对商业银行客户信用风险进行评估。第5章为基于数据挖掘技术的商业银行客户信用风险评估系统的实现，本章主要从软件的实际出发,依据第3章和第4章的算法设计,介绍了基于数据挖掘技术的商业银行客户信用风险评估系统的主要模块的具体实现方

33、法与成果。第2章 数据挖掘算法及相关技术数据挖掘是一种通过分析海量数据来揭示数据之间的关系、趋势和模式的技术，是一门融合了人工智能，数据库技术，模式识别，机器学习，数据可视化与统计学等多个领域和技术的交叉性学科，本章首先是对数据挖掘算法及相关技术进行了介绍，然后对常用的数据挖掘算法进行了比较。2.1数据挖掘的概念计算机技术的飞速发展显著的增强了社会各个领域的产生和采集数据的能力，我们生活的每时每刻都会产生海量的数据。数据的爆炸性增长激励数据分析技术的发展，以帮助我们方便智能的从大量数据中发现对我们有价值的信息和知识。这种技术的发展导致一个被称为数据挖掘技术的计算机前沿学科的产生。数据挖掘通常被

34、成为数据中的知识发现（KDD），是一种方便高效自动地提取知识的模式，这些知识隐藏在大型数据库，数据仓库，Web，其他大量信息库或者数据流中。数据挖掘作为一个学术领域，横跨多个学科，涵盖了统计学、数学、机器学习和数据库等，如图2.1-1所示。可以用多种方法定义。术语“数据挖掘”本身实际意义上也不能完全表达其主要含义，数据挖掘命名为“从数据中挖掘知识”更为贴切准确。数据挖掘在广义上的定义是：数据挖掘指的是从海量数据中挖掘知识与有趣模式的一个过程。通常情况下数据源包括Web、数据仓库、数据库、以及其他的数据存储库或者传递入系统的动态数据15。2.2数据挖掘的过程数据挖掘通常需要有业务理解、数据采集、

35、数据准备、建模、结果评估、部署6个步骤。业务理解：从业务角度来看对数据挖掘进行了解项目的目标和要求，然后将这些知识转化数据挖掘问题的定义和设计，以实现目标的初步计划。数据采集：开始收集数据和熟悉数据，找出数据存在的问题，及时发现有用的数据，或者检测有趣的子集，以形成对隐藏信息的假设。图2.1-1 数据挖掘及相关领域数据准备：包括从初始的原始数据构建最终的数据集（被送入建模工具的数据）所需的所有步骤。任务包括改造和建模的数据清理。建模：选择和应用各种建模技术，用校准工具参数确立最佳值。通常情况下，存在针对相同数据挖掘问题的几种不同技术。某些技术具有数据形式上的具体要求。因此，需要对数据进行处理。

36、结果评估：彻底评估模型，并审查执行构建模型，以确定它正确地实现业务目标的步骤。确定是否存在还没有被充分考虑一些重要的问题。在此阶段结束时，达到对使用的数据挖掘结果的展示。部署：组织和显示数据挖掘的结果。部署可以为生成报告或执行一个可重复的数据挖掘过程。2.3数据挖掘的常用算法聚类、回归分析与分类、偏差分析、Web页挖掘和关联规则以及变化等方法是采用数据挖掘算法进行建模等经常的方法， 它们分别从不同的角度对数据进行挖掘。常用的数据挖掘技术算法有：人工神经网络、决策树、遗传算法、近邻算法、粗糙集方法、模糊集方法、统计分析方法和规则推导等。2.3.1人工神经网络人工神经网络算法模拟生物神经网络，是一

37、类模式匹配算法。人工神经网络算法反映人脑结构及功能的一种抽象数学模型，一个人工神经网络是由大量神经元节点互连而成的复杂网络，用以模拟人类发现知识和进行知识表示与存储以及利用知识进行推理的行为16。通常用于解决分类和回归问题。人工神经网络是机器学习的一个庞大的分支，有几百种不同的算法。重要的人工神经网络算法包括：感知器神经网络（Perceptron Neural Network）, 反向传递（Back Propagation）， Hopfield网络，自组织映射（Self-Organizing Map, SOM）。学习矢量量化（Learning Vector Quantization， LVQ）

38、等。2.3.2决策树 决策树是对给定的数据按照一系列规则进行分类的过程。直观看上去，决策树分类器就像判断模块和终止块组成的流程图，终止块表示分类结果（也就是树的叶子）。判断模块表示对一个特征取值的判断（该特征有几个值，判断模块就有几个分支）。如果不考虑效率等，那么样本所有特征的判断级联起来终会将某一个样本分到一个类终止块上。实际上，样本所有特征中有一些特征在分类时起到决定性作用，决策树的构造过程就是找到这些具有决定性作用的特征，根据其决定性程度来构造一个倒立的树-决定性作用最大的那个特征作为根节点，然后递归找到各分支下子数据集中次大的决定性特征，直至子数据集中所有数据都属于同一类17。所以，构

39、造决策树的过程本质上就是根据数据特征将数据集分类的递归过程，需要确定的第一个问题就是当前数据集上哪个特征在划分数据分类时起决定性作用。为了得到出理想的结果并找到决定性的特征值，可以对给定数据集中包含的特征逐个进行评估，然后找到使数据集分类最理想的特征。找到这些特征并根据找到的特征值进行分类使得原始数据集被划分为几个数据子集。需要重复划分数据子集的过程当数据子集内的数据不属于同一类型时。采用相同的方法来划分数据子集的直到一个数据子集内（叶子节点）具有相同类型的数据。2.3.3遗传算法遗传算法是机器学习的模型，遗传算法是借鉴自然界自然遗传和选择机制的随机化的一种搜索算法。遗传算法是解决其鲜为人知的

40、一个问题的最佳途径之一，是一个非常普遍的算法，因此会在任何搜索空间工作18。遗传算法对给定的问题使用选择和进化的原则，产生了多种解决方案。遗传算法在每一次的迭代过程中都会有一个备选的解，利用遗传算子按某种指标从所有的解中选取较优的个体然后进行重新组合，重新组合后会产生新的备选解，一直重复此过程直到满足某种收敛指标。GA的组成:（1）编码（产生初始种群）：基因在一定能够意义上包含了它所代表的问题的解。基因的编码方式有很多，这也取决于要解决的问题本身。常见的编码方式有二进制编码、互换编码、属性编码等。（2） 适应度函数：适应度函数是遗传算法中对个体的值的评估，解的质量和适应度函数的值成正比19。适

41、应度函数是遗传算法中进行自然选择的唯一标准，适应度函数的制定应该结合求解的具体问题本身的实际要求而确定。（3） 遗传算子：遗传算法中对个体进行筛选的方法是通过选择计算来完成的：适应度和被遗传到下一代的概率成正比，即一个个体的适应度越高，则这个个体被遗传到下一代的概率越大，反之，一个个体的适应度越低则说明该个体被遗传到下一代的概率越低。从初代群体中选取一些个体遗传到下一代群体是通过选择操作实现的。（4） 运行参数：GA运行时选择的参数应该视解决的具体问题而定，到目前为止，还没有一个适用于GA所有应用领域的关于算法参数的理论。2.3.4近邻算法K最近邻(k-Nearest Neighbor，KNN

42、)分类算法，是最简单的机器学习算法之一同时也是理论上比较完善的算法。K最近邻分类算法的思想是通过计算新数据与训练数据特征值之间的距离，根据计算出的距离选取K（K=1）个距离最近的邻居进行分类20。KNN算法中选出的邻居必须是已经得到精确分类的对象。该方法根据样本数据中最邻近的一个或多个样本的类别去划分待分样本所属。假设给定的训练数据集的很大，K-近邻算法必须使用大量的存储空间来保存全部数据集。同时,K-近邻算法必须计算数据集中的每个数据的距离值，当数据集比较大时，K-近邻算法计算每个数据的距离值可能非常耗时。另一个不足是它没有办法给出数据的任何基础结构信息，因此也没有方法了解平均样本具有什么特

43、征。2.3.5 k-means算法k-means算法是一个把n的对象根据他们的属性分为k（k n）个分割的聚类算法。k平均聚类发明于1956年， 该算法最常见的形式是采用被称为劳埃德算法(Lloyd algorithm)的迭代式改进探索法21。劳埃德算法和k平均通常是紧密联系的，但是在实际应用中，劳埃德算法是解决k平均问题的启发式法则，对于某些起始点和重心的组合，劳埃德算法可能实际上收敛于错误的结果（上面函数中存在的不同的最优解）虽然存在变异，但是劳埃德算法仍旧保持流行，因为它在实际中收敛非常快。实际上，观察发现迭代次数远远少于点的数量。然而最近，David Arthur和Sergei Vas

44、silvitskii提出存在特定的点集使得k平均算法花费超多项式时间达到收敛。近似的k平均算法已经被设计用于原始数据子集的计算。k平均算法从算法的表现上来说并不保证肯定能够得到对问题的全局最优解，初始化的分组通常会决定最终解的质量。由于k平均算法的计算速度比较迅速，所以通常情况下经常选择使用多次k平均算法来得到对问题的全局最优解。k平均算法的一个缺点是分组的数目，因为一般情况下分组的数目k是作为输入参数的，所以不科学的输入参数k会返回和实际偏差较大的结果。此外，k平均算法基于均方误差是计算群组分散度的最佳参数这个假设。2.4小结主要对数据挖掘技术做了介绍，并且对系统要用到的数据挖掘技术做了说明

45、，并分别对每项技术做了详细介绍，阐明各项技术选择的重要性。第3章 基于BP神经网络算法的个人信用风险评估本章主要介绍基于BP神经网络算法的商业银行客户信用风险评估，首先介绍了BP神经网络算法的基本原理，然后介绍了如何用BP神经网络算法实现对商业银行客户信用风险进行评估。3.1神经网络的学习机理和机构在神经网络算法中占有举足轻重地位的是学习方法。随着数据挖掘及神经网络算法的不断发展，学习算法也随之不断更新进步。自从上个世纪40年代Hebb提出了被称为Hebb定律”的突触学习的模型之后，众多学者和专家在此基础上相继提出了多种满足不同需求的学习算法。在这众多的学习算法中，影响力比较大且在实际应用价值

46、比较高的当属Rumelhart等在上个世纪90年代提出的误差反向传播（error BackPropagation)算法。3.1.1感知器的学习结构神经网络中最经典的学习方法是感知器的学习，目前感知器的学习在控制上应用的是多层前馈网络，学习采用的算法是误差反向传播（error BackPropagation)算法，误差反向传播（BP）算法是一个有教师的学习算法。图3.1-1表示有教师的学习算法。有教师的学习算法由输入部、训练部以及输出部三个部分组成。将输入样本X输入输入部并由输入部传递给训练部，神经网络的权系数W是由训练部负责调整的，神经网络的权系数W调整完成后传递给输出部并由输出部输出计算的结

47、果。神经网络的权系数W是由教师信号与实际输出的结果进行比较得出的误差来确定的。图3.1-2表示学习机构的结构。在图3.1-2中，Xl ，X2 ，Xn 这些表示输入样本信号，而神经网络中权系数用W1 ，W2 ，Wn 来表示。图3.1-1 神经网络学习系统框架图Xi 作为输入样本的信号可以用“0”或“1”离散的值来表示。u通过在输入样本信号中神经网络中权系数Wn的作用下产生输出结果 WiXi，如公式3.1-1所示：u=WiXi=W1X1+W2X2+WnXn 3.1-1图3.1-2 学习机构误差信号e的产生是把期望输出信号Y(t)和u进行比较而产生的。神经网络的学习过程要重复很多次(甚至达万次级)因而是比较费时的。耗时的主要因素在于一个多参数修改系统来确定神经网络的权系数W 。因此提高神经网络的学习速度并且尽可能减少神经网络的学习重复