证券行业大数据应用解决方案(智慧证券-证券大数据-智慧金融-金融大数据).docx

《证券行业大数据应用解决方案(智慧证券-证券大数据-智慧金融-金融大数据).docx》由会员分享，可在线阅读，更多相关《证券行业大数据应用解决方案(智慧证券-证券大数据-智慧金融-金融大数据).docx（79页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、证券大数据解决方案（智慧证券）XXXX 技术有限公司1XXXX 证券大数据中心建设方案目录第6页1 云数据中心项目概述71.1 建设背景71.2 金融业大数据应用投资分布71.2.1 证券大数据应用81.3 面临的风险和挑战101.4 建设目标111.5 建设原则111.6 云计算大数据中心优势132 云数据中心需求分析152.1 现状分析152.2 总体建设需求153 云数据中心总体规划设计173.1 整体建设思想173.2 整体系统结构173.3 计算资源和存储资源配置估算194 云数据中心资源层规划设计204.1 云计算平台基础架构体系204.1.1 设计原则204.1.2 系统总体架构

2、214.1.3 虚拟化拓扑的结构244.2 云计算中心虚拟化组件254.2.1 迁移254.2.2 高可靠性（HA）254.2.3 容错264.2.4 动态资源分配264.2.5 分布式电源管理274.3 分布式集群存储平台294.3.1 方案拓扑图294.3.2 方案描述294.3.3 系统软件304.3.3.1 云平台系统管理支撑系统304.3.3.1.1 产品定位314.3.3.1.2 XX 证券云应用314.3.3.1.3 客户收益314.3.3.1.4 产品架构324.3.3.1.5 产品体系334.3.3.1.6 产品功能344.3.3.2 集群存储系统354.3.3.2.1 集群

3、存储系统的特点354.3.3.2.2 集群存储硬件介绍384.3.3.2.3 系统功能及特点384.3.3.2.3.1 国产硬件自主可控384.3.3.2.3.2 海量数据高效管理384.3.3.2.3.3 数据读写性能394.3.3.2.3.4 数据全局共享394.3.3.2.3.5 数据安全性404.3.3.2.3.6 系统可扩展性414.3.3.2.3.7 与现有环境无缝兼容424.3.3.2.3.8 系统的整体拥有成本424.3.3.2.3.9 使用分布式提高投资回报率424.3.3.2.3.10 降低管理及运行成本简易存储434.3.3.2.3.11 提高用户应用的生产力444.3.

4、3.3 基于大数据的证券数据管理与分析系统444.3.3.3.1.1 大数据平台介绍454.3.3.3.1.1.1 平台功能框架454.3.3.3.1.1.2 分布式存储功能454.3.3.3.1.1.3 分布式计算功能464.3.3.3.1.1.4 NoSQL 功能474.3.3.3.1.1.5 数据仓库功能474.3.3.3.1.1.6 分布式协调功能474.3.3.3.1.1.7 工作流管理功能484.3.3.3.1.1.8 维护管理功能484.3.3.3.1.2 证券数据分析系统架构494.3.3.3.1.2.1 非格式数据的分类存储494.3.3.3.1.2.2 对格式化数据的全文检

5、索合多线索加权检索494.3.3.3.1.2.3 完善的业务分析报表系统504.3.3.3.1.2.3.1 国内经济形势分析图504.3.3.3.1.2.3.2 按照国家名称分析各国经济形势图504.3.3.3.1.2.3.3 按照全球各大交易所数据技术分析各类产品的价格趋向图；504.3.3.3.1.2.3.4 用户可以定制所关心的数据统计图504.3.3.3.1.2.4 数据分类存储与自动化数据引擎504.3.3.3.1.3 交易数据存储管理分析系统架构514.3.3.3.1.3.1 交易数据按照产品分类存储514.3.3.3.1.3.2 交易数据按照产品分类趋势分析图514.3.3.3.

6、1.3.3 交易数据按照客户分类盈利分析图524.3.3.3.1.3.4 交易数据按照佣金盈利分析图524.3.3.3.1.3.5 交易数据按照客户操作手法分析图524.3.3.3.1.3.6 交易数据按照可户盈利排名分析图524.3.3.3.1.3.7 交易数据可以提示用户适合那种产品交易524.3.3.3.1.3.8 用户分布情况报表分析524.3.3.3.1.3.9 提供精准化客户服务指南524.3.3.3.2 XX 大数据统一平台524.3.3.3.2.1 数据采集544.3.3.3.2.2 数据接入544.3.3.3.2.3 规则过滤554.3.3.3.2.4 数据存储554.3.3

7、.3.2.5 计算引擎564.3.3.3.2.5.1 功能564.3.3.3.2.5.2 组成574.3.3.3.2.5.3 基本算子集574.3.3.3.2.6 业务处理594.3.3.3.2.7 业务管理604.3.3.3.2.8 用户权限管理604.3.3.3.2.9 业务管理604.3.3.4 云计算中心安全层规划设计634.3.3.4.1 云平台安全建设需求634.3.3.4.2 云平台安全建设思路644.3.3.4.3 云数据中心安全系统总体设计664.3.3.4.4 云平台安全防护详细设计664.3.3.4.4.1 平云终端接入安全设计664.3.3.4.4.2 主机层安全684

8、.3.3.4.4.3 服务器负载均衡684.3.3.4.4.4 虚拟机 VM 之间访问安全694.3.3.4.5 平台层安全714.3.3.4.6 数据层安全764.3.3.5 云计算数据中心备份设计774.3.3.5.1 逻辑架构774.3.3.5.2 方案实现设计774.3.3.6 云计算数据中心整体方案拓扑784.3.3.6.1.1 网络拓扑78XXXX 证券大数据中心建设方案1 云数据中心项目概述1.1 建设背景数据显示，中国大数据 IT 应用投资规模以五大行业最高，其中以互联网行业占比最高， 占大数据IT 应用投资规模的 28.9%，其次是电信领域（19.9%），第三为金融领域（17

9、.5%）， 政府和医疗分别为第四和第五根据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高高。具体到行业内每家公司的数据量来看，信息、金融保险、计算机及电子设备、公用事业四类的数据量最大。1.2 金融业大数据应用投资分布从投资结构上来看，证券将会成为金融类企业中的重要部分，证券和保险分列第二和第三位。接下来，我们将分别介绍证券、保险和证券行业的大数据应用情况。第7页XXXX 证券大数据中心建设方案1.2.1 证券大数据应用大数据时代，券商们已意识到大数据的重要性，券商对于大数据的研究与应用正在处于起步阶段，相对于银行和保险业，证

10、券行业的大数据应用起步相对较晚。目前国内外证券行业的大数据应用大致有以下三个方向：第一方面：股价预测2017 年 5 月英国对冲基金 Derwent Capital Markets 建立了规模为 4000 万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过分析Twitter 的数据内容来感知市场情绪，从而指导进行投资。利用 Twitter 的对冲基金 Derwent Capital Markets 在首月的交易中确实盈利了，其以 1.85%的收益率，让平均数只有 0.76%的其他对冲基金相形见绌。麻省理工学院的学者，根据情绪词将 twitter 内容标定为正面或负面情绪。结果发现

11、，无论是如“希望”的正面情绪，或是“害怕”、“担心”的负面情绪，其占总 twitter 内容数的比例，都预示着道琼斯指数、标准普尔 500 指数、纳斯达克指数的下跌；美国佩斯大学的一位博士则采用了另外一种思路，他追踪了星巴克、可口可乐和耐克三家公司在社交媒体上的受欢迎程度，同时比较它们的股价。他们发现，Facebook 上的粉丝数、Twitter 上的听众数和 Youtude 上的观看人数都第8页XXXX 证券大数据中心建设方案和股价密切相关。另外，品牌的受欢迎程度，还能预测股价在 10 天、30 天之后的上涨情况。但是，Twitter 情绪指标，仍然不可能预测出会冲击金融市场的突发事件。例如

12、，在 2016 年 10 月 13 号，美国联邦储备委员会突然启动一项银行纾困计划， 令道琼斯指数反弹，而3 天前的 Twitter 相关情绪指数毫无征兆。而且，研究者自己也意识到，Twitter 用户与股市投资者并不完全重合，这样的样本代表性有待商榷，但仍无法阻止投资者对于新兴的社交网络倾注更多的热情。第二，客户关系管理（1） 客户细分。通过分析客户的账户状态（类型、生命周期、投资时间） 、账户价值（资产峰值、资产均值、交易量、佣金贡献和成本等）、交易习惯（ 周转率、市场关注度、仓位、平均持股市值、平均持股时间、单笔交易均值和日均成交量等）、投资偏好（偏好品种、下单渠道和是否申购）以及投资收

13、益（ 本期相对和绝对收益、今年相对和绝对收益和投资能力等），来进行客户聚类和细分，从而发现客户交易模式类型，找出最有价值和盈利潜力的客户群 , 以及他们最需要的服务, 更好地配置资源和政策, 改进服务,抓住最有价值的客户。（2） 流失客户预测。券商可根据客户历史交易行为和流失情况来建模从而预测客户流失的概率。如 2017 年海通证券自主开发的“给予数据挖掘算法的证券客户行为特征分析技术”主要应用在客户深度画像以及基于画像的用户流失概率预测。通过对海通 100 多万样本客户、半年交易记录的海量信息分析， 建立了客户分类、客户偏好、客户流失概率的模型。该项技术最大初衷是希望通过客户行为的量化分析，

14、来测算客户将来可能流失的概率。第三，投资景气指数。2017 年，国泰君安推出了“个人投资者投资景气指数”（简称 3I 指数）， 通过一个独特的视角传递个人投资者对市场的预期、当期的风险偏好等信息。第9页XXXX 证券大数据中心建设方案国泰君安研究所对海量个人投资者样本进行持续性跟踪监测，对账本投资收益率、持仓率、资金流动情况等一系列指标进行统计、加权汇总后得到的综合性投资景气指数。3I 指数通过对海量个人投资者真实投资交易信息的深入挖掘分析，了解交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。在样本选择上，选择资金 100 万元以下、投资年限5 年

15、以上的中小投资者，样本规模高达 10 万，覆盖全国不同地区，所以，这个指数较为有代表性。在参数方面，主要根据中小投资者持仓率的高低、是否追加资金、是否盈利这几个指标，来看投资者对市场是乐观还是悲观。“3I 指数” 每月发布一次，以 100 为中间值，100120 属于正常区间，120 以上表示趋热， 100 以下则是趋冷。从实验数据看，从 2007 年至今，“3I 指数”的涨跌波动与上证指数走势拟下图是 2016 年 1 月到 2018 年 2 月的 3I 指数（虚线） 和上证综指运行（实线）走势图，注：3I 指标在 80 以下表明个人投资者的投资景气度“低迷”，100 以下表明“趋冷”。合度

16、相当高。1.3 面临的风险和挑战（1）XX 证券面临着同行业务和对客户招揽的竞争；第10页XXXX 证券大数据中心建设方案（2）客户也需要XX 证券为客户提供更加精准的产品、技术的指导；（3）XX 证券为了提高公司经营的竞争力也需要对客户的交易数据进行分析、了解不同客户适合在哪种类型产品上交易更高更好的盈利；（4）通过大数据，也可以把中国乃至全球的经济、政治、文化、军事等情报对证券业乃至整个金融业的影响趋势，让公司也有较强的规避风险的能力；1.4 建设目标依托云计算技术，对XX 证券内部业务平台、数据、交易数据管理、交易数据分析、国内、国外经济、军事、政治情报的分析系统实行统一规划和建设。所有

17、资源整合后在逻辑 上以单一整体的形式呈现，并可按需进行动态扩展和配置。按照分阶段可升级的标准要求， 为多级单位提供应用支撑基础平台服务和数据存储、备份、交换等服务，实现基础软硬件 资源的统一管理、按需分配、综合利用，增强数据中心的可管理性，提高应用的兼容性和 可用性，加速业务系统的部署，提升硬件资源的利用率；1.5 建设原则结合本项目的实际应用和发展要求，在进行云计算、大数据平台方案设计过程中，应始终坚持以下原则：1) 可扩展性原则为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的结构并留有合理 的扩充余地，以便根据需要进行适当的变动和扩充；主要业务平台系统应采用开放的结构， 符合国

18、际标准、工业标准和行业标准，适应技术的发展和变化。由于本次市局信息系统整 体东迁，相当于系统重新规划和建设，所以我们把主要精力放在满足现有业务需求和对未 来的系统扩展的支持性上，也就是需要设计成一个便于扩展的系统架构，系统应具备良好 的扩展能力并能够便捷地进行扩展。2) 合理性原则在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与市局已有设备和系第12页统的互联互通能力，以及与目前操作系统和应用系统的兼容性。在满足系统性能、功能以及考虑到在可预见的未来不失去先进性的条件下，尽量取得整个系统的投入合理性，以构成

19、一个性能价格比优化的应用系统。系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术发展方向。这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有成本，减少浪费的发生。结合新技术的运用，也可以让各应用系统更好地融入未来整体IT 建设规划中，避免发生推到重建的现象，从而更好地保护市局在信息系统上的投入。3) 可靠性原则系统要具有高可靠性及强大的容错能力。该系统必须保证 724 全天候不间断地工作， 核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插拔功能，可带电修复 有关故障而不影响整个系统的工作，设计应保持一定数量的冗余以保证

20、整体系统的高可靠 性和高可用性。即便是在系统建设初期也要着重考虑系统可用性、可靠性问题，防止出现 系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术，可以更好地提高系 统的可靠性和可用性。4) 可管理性原则选择基于开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证后期在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连 接设备时，确保系统部件间的严密配合和无缝联接，并获得良好的售后服务和技术支持； 整个系统建成后按照整理一套完

21、整的文档资料，以便提高整个系统的可管理性与可维护性。5) 安全性原则严格按照 XX 关于信息安全的规定和要求，规划和部署中心机房的业务系统和备份系统；采用安全服务器、备份还原系统、来防止内外部的网络安全威协和数据丢失窃取威胁等；所有软硬件采用国产、自主研发的产品，从根本上保障系统的安全性。XXXX 证券大数据中心建设方案1.6 云计算大数据中心优势通过建立云计算大数据中心，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进行整合，实现 IT 服务的快速交付，节能响应国家号召，提升业务系统安全。1) 国产硬件自主可控数据存储硬件采用我国完全自主

22、研发的存储服务器，硬件和软件设计完全自主可控。存储服务器采国产化架构的高可靠性硬件平台和国产睿思操作系统，从根本上保证数据的安全性。2) 海量数据高效管理随着地理信息处理业务的增多，存数据中心存储大量的数据，这就需要存储系统能够容纳海量的数据。同时，存储系统里面的文件数量也会快速增长，当文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。采用的分布式存储系统单卷可支持 300PB 以上的存储空间，高效的管理上千亿个文件， 单目录可以高效支持千万级的文件数量。分布式存储系统拥有高效的多元数据服务器集

23、群 技术和高效的海量文件检索技术，在存放上千亿文件的同时保持极高的文件检索效率。统 能够在单个目录下高效管理上千万个文件的存储系统，在单目录下存放上千万数量文件时， 仍然能够提供每秒数万的文件检索效率。3) 合理利用硬件资源，减少运行消耗云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从云计算数据中心具体需求出发，在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建设对地理情报工作的变化更具适应力，从而构建出信息系统平台的基础。云平台建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相

24、应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到70%第13页XXXX 证券大数据中心建设方案以上，响应国家节能减排的要求。4) 完善应急安全机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障， 如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。通过云安全平台，可快速部署网络安全应用防火墙、IPS、WEB 应用防火墙等。5) 提供便捷的管理运维方式。可以通过一个统一的管理平台，来进行对平台中运行的各项功能设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程。第21页2 云数据中心需求

25、分析2.1 现状分析目前，办公管理信息数据、交易信息数据和情报信息数据规模已经发展得非常庞大， 信息化平台已日益变成业务运营与管理的重要支撑平台。在信息化平台建设的过程中，各个应用系统的业务之间的联系非常紧密，流程自动化程度非常高。因此在信息化高速发展的形势下，急需形成统一完备的综合技术集成体系，能提供一体化的数据存储共享，应用集成和统一展现能力。随着信息化建设和应用工作的进一步深入，对信息网络传输能力， 数据中心存储能力和处理能力提出了更高要求，为支撑流程集成和业务应用的深入融合， 需要提供统一高效的流程处理能力，数据转换能力以及数据分析能力；需要建立和完善统一的综合技术平台体系，涵盖数据采

26、集，存储，共享，交互和展现能力。2.2 总体建设需求（1） 建立一个统一的超过 300TB 的数据存储系统，能够无缝兼容现有系统设备和云平台、大数据平台；（2） 建立统一的云平台系统，可以快速管理、扩展、配置XX 证券内部的各种业务服务和数据存储服务，并能够提供相应服务冗余性；（3） 建立基于云平台的大数据存储管理与分析系统，可以管理 XX 证券历年来的交易数据、时实交易数据，并能根据数据交易情况和 IP 数据报文情况分析各种用户的交易习惯、产品分布、盈利能力，方便 XX 证券对客户提供精准化服务的能力；（4） 建立基于云平台的大数据情报管理与分析系统，可以方便的把全球的经济数据、政 策变化、

27、军事变化、文化等多各种金融产品交易的影响，能够指导公司规避即将产生的或潜在经济风险，提高公司和客户对交易风险的预判能力。（5） 通过建立统一的云平台运维管理系统，可以快速提高公司IT 技术人员对所有 IT 资源的管理应用能力，保障公司实际的设备资源、网络资源能够得到充分的使用，同时也能够提高公司能效节约的能力。设备计算服务器小型机网络设备国产存储备份设备安全设备设备虚拟化计算虚拟化存储虚拟化虚拟交换机虚拟防火墙资源池存储资源池（含容灾备份）虚拟机资源池3 云数据中心总体规划设计3.1 整体建设思想XX 证券云平台大数据中心将利用云计算相关技术，结合绿色数据中心建设的目标和需求，以战略支持型信息

28、化建设为导向，以支持保障信息化业务发展为建设思路，构造一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投资省、高安全可靠的全局性基于云平台数据资源中心。3.2 整体系统结构统一管理统一管理门户业务运营资源发放日志管理运维管理虚拟机管理集群存储管理首长机关直属情报分队基地情报分队其他用户统一门户系统门户应用功能区数据汇集管理数据处理数据服务数据应用平台层数据分析平台数据库平台GIS平台门户平台影像处理平台数据资源层安全平台层安全终端接入安全主机层安全数据安全网络安全安全准则本次云数据中心解决方案将针对计算服务整体架构中的云计算服务区，通过对底层服 务器硬件及存储资源实现虚拟化聚合

29、部署，配合以云计算管理平台，实现云计算中基础架 构即服务（IaaS）部分，同时该IaaS 平台也为地球信息发布平台、大数据分析平台、web 发布平台等（Paas）层提供更高层次的云计算服务，通过Paas 层平台提供数据汇集管理、数据处理、数据服务、数据应用功能（Saas 层），最终通过统一的系统门户向最终用户提供服务，总体逻辑架构如下：目标影像矢量高程地表三维街景地面声像电磁数据数据数据数据模型模型数据照片数据数据监控管理图 3-1 云数据中心总体逻辑架构云数据中心的各个关键组件及逻辑层次。n 云数据中心基础架构：提供了一个功能完整的、标准开放的方便集成的 IaaS 服务层。这层提供的动态基础

30、架构是整个云数据中心的核心支撑层，其最核心的部分包括采用了国产服务器、国产存储存储系统和虚拟化软件构建的云计算服务基础架构。该基础架构具备良好的性能、可用性和可靠性。通过部署虚拟化软件、服务器、存储设备、网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的数据中心，形成统一的云计算信息系统平台。在数据中心，这些资源根据需要进行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强数据中心的可管理性，提高应用的兼容性和可用性，加速应用的部署， 提升硬件资源的利用率，降低能源消耗。n 平台层：通过大数据分析平台、办公 OA 系统、财务管理系统、交易管理系统、web 发布平台、

31、用户管理系统等应用，平台为上层门户提供数据采集、数据处理等功能。 云计算服务门户：为用户提供统一的服务门户，用以支撑整个云数据中心的日常运营。包括用户登录、服务加载、下载、审批、叠加显示、拼接请求等功能。 云计算服务数据安全保护：通过部署云安全平台，可以帮助用户建立起一个既能充分利用云计算优势，同时又不牺牲安全性、控制力和遵从性的环境，其为虚拟数据中心和云计算环境提供了支持虚拟化的保护，使用户可以加强应用程序和数据安全，提高可见性和控制力，以及加快整个云计算中心的遵从性举措。 云计算服务运维管理体系： 为整个云数据中心平台搭建一套长期运维管理的体系，为云计算平台的长期有效运行提供保障。云计算运

32、维管理体系包括组织管理模式、制度规范体系、技术支撑体系等多个层面的内容，采用云计算技术手段和云计算管理制度结合的方式保障整个政务云平台的平稳运行。3.3 计算资源和存储资源配置估算计算资源和存储资源是云中心的两大类核心资源。对计算资源和存储资源的合理估算和配置，是建设先进、高效云平台的必要条件。以下给出我们根据云计算数据中心现有业务应用和数据资源所作出的云中心计算资源、存储资源、基础网络和安全设施的初步估算。经详细调研计算资源需要cpu 计算单元 320 核内存 5120G 存储空间 300TB。拟新增 10 台高性能服务器，供云计算、云存储使用，新增2 台高性能服务器器供云安全平台使用。4

33、云数据中心资源层规划设计4.1 云计算平台基础架构体系4.1.1 设计原则方案设计遵循以下几个原则：先进性、标准性、实用性、可扩展性、兼容性、易用性、安全性、可靠性和前瞻性：1. 先进性系统设计达到业界领先水平，采用当今最新且成熟的计算机、网络、控制、数据存储等技术。符合最新的技术发展潮流，且各系统设计切实可行、并容易实现。2. 标准性系统设计严格的按照国际和国家标准进行设计，并遵循国内外有关的规范要求。具体包括：遵循标准的整体协议框架、提供标准接口、使用标准的数据传输协议等。3. 实用性系统设计注重实用性，系统配置满足整个预警平台的实际应用需要并符合用户的实际需要。4. 可扩展性系统设计考虑

34、了预警平台未来功能扩充发展的需要，留有充分的扩充余地，方便地实现系统的平滑扩展和升级。5. 易用性系统设计注重易用性，要求系统参数配置少，调整少，自动化程度高，使用方便，操作简单，管理方便。6. 安全性系统设计具备安全性，采用多种安全防范技术和措施，在物理、系统、网络、应用以及管理上全面的保障系统的安全。7. 可靠性系统设计注重可靠性，能够长期稳定工作，保证 7*24 小时不间断地稳定可靠运行，适应工作环境能力强，故障率低，维护维修方便。8. 前瞻性系统设计具有前瞻性，整个系统的硬件配置，应符合长远的规划和设计，保证3 年内系统的需要。通过需求分析我们可以得知，本次项目建设项目的设计目标是构造

35、一个功能齐全、设备先进、运行高效、使用灵活、维护方便、易于扩展、投资省、高安全可靠的信息系统。云计算技术的出现却给我们一最佳的选择，随着数据信息的增长，技术也需要随之变 化。这些变化常常实施在运行关键业务应用的复杂系统内。通常会对共享硬件和软件资源 有越来越多的需求，虚拟环境下有效的管理和控制了这种需求。虚拟化是通过对 IT 硬件资源整合、优化、共享的成熟高新技术，是实现云计算最基础的支撑技术。它可以有效增加 组织的灵活性和效率，同时又可以降低其成本。虚拟化技术以其系统的先进性、高可用性、系统的灵活扩展能力、开放性以及高可管理性等可完全满足当前和未来几年内云数据平台 信息系统的发展需求。4.1

36、.2 系统总体架构通过部署虚拟化软件、服务器、存储设备、网络设备，内部搭建虚拟化环境，通过虚拟化技术构建新一代的数据中心，形成统一的云计算信息系统平台。在数据中心，所有资源整合后在逻辑上以单一整体的形式呈现，这些资源根据需要进 行动态扩展和配置，各单位最终信息系统业务按需使用资源。通过虚拟化技术，增强数据 中心的可管理性，提高应用的兼容性和可用性，加速应用的部署，提升硬件资源的利用率， 降低能源消耗。虚拟化是云计算的基础，在数据中心，通过虚拟化技术将物理服务器进行虚拟化，具体为 CPU 虚拟化、内存虚拟化、设备I/O 虚拟化等，实现在单一物理服务器上运行多个虚拟服务器（虚拟机），把应用程序对底

37、层的系统和硬件的依赖抽象出来，从而解除应用与XXXX 证券大数据中心建设方案操作系统和硬件的耦合关系，使得物理设备的差异性与兼容性与上层应用透明，不同的虚拟机之间相互隔离、互不影响，可以运行不同的操作系统，并提供不同的应用服务。什么是服务器虚拟化服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中如图所示：图 4-1 服务器虚拟化在单台服务器虚拟化基础上，通过虚拟化管理中心（vCenter）将多台服务器、存储硬件基础资源进行整合，构建硬件（CPU、内存、I/O）资源池，实现数据中心整体硬件资源的按需分配。虚拟化结构如图所示：第22页XXXX 证券大数据中心建设方案图 4-

38、2 服务器虚拟化结构将服务器物理资源抽象成逻辑资源，让一台服务器变成几台甚至上百台相互隔离的虚 拟服务器，或者让几台服务器变成一台服务器来用，我们不再受限于物理上的界限，而是 让 CPU、内存、磁盘、I/O 等硬件变成可以动态管理的“资源池”，从而提高资源的利用率， 简化系统管理，实现服务器整合，让IT 对业务的变化更具适应力，从而构建出数据中心系统平台的基础。第23页XXXX 证券大数据中心建设方案4.1.3 虚拟化拓扑的结构图 4-3 虚拟化拓扑结构针对上面的拓扑图，详细说明如下：整体架构可以分为三层，最底层为存储网络层，中间层为虚拟化系统，最上层为虚拟服务器层；其中，下面的两层为资源提供

39、方，最上层为资源用户；而中间层的虚拟化系统又起到了资源分配调度的作用。部署虚拟化系统之后的整体架构和传统架构下是没很大区别的，利用共享存储实现数据集中和共享，结合管理中心实现应用系统的统一管理；虚拟化集群的形成，直接为应用系统提供了高可用和负载均衡的功能。第24页XXXX 证券大数据中心建设方案4.2 云计算中心虚拟化组件4.2.1 迁移使运行中的虚拟机从一台物理服务器实时迁移到另一台物理服务器，同时保持业务的连续运行。实现了零停机时间和连续可用的服务，并能全面保证事务的完整性。是用于创建动态、自动化、自我优化的数据中心的关键促成技术。4.2.2 高可靠性（HA）图 4-4 拟机迁移自动监控物

40、理服务器的可用性。可检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上启动虚拟机，整个过程无需人工干预。该功能组件比传统的双机冷备更具有自动启动的优势。第25页XXXX 证券大数据中心建设方案4.2.3 容错图 4-5 高可靠性（HA）功能相当于双机热备，但是比传统的双机热备更具有优势，它可以时刻在两个不同的物理服务器上保持两个相同的镜像，其中一台出现故障时，不影响业务的运行，同时自动在另一台物理服务器上建立以特相同的镜像，物理服务器不受硬件型号配置的限制。4.2.4 动态资源分配图 4-6 容错跨资源池不间断地监控利用率，并在多台虚拟机之间智能地分配可用资源，使资源优先用于

41、最重要的应用程序，以便让资源与业务目标相协调。自动、不间断地优化硬件利用率，以响应不断变化的情况。为业务部门提供专用的虚拟基础结构，同时让 IT 部门能够集中、全面地控制硬件。第26页XXXX 证券大数据中心建设方案执行零停机服务器维护。通过使用分布式电源管理来整合工作负载和关闭集群中的虚拟机暂时不需要的耗电服务器，从而减少数据中心的能耗。4.2.5 分布式电源管理图 4-7 动态资源分配（DRS）可用管理系统中,为了在虚拟化环境中能达到节能减排放的作用,设置了 DPM 的功能。这是一个高级电源管理功能它可以提供当虚拟化环境中不需要那么大的运算资源的的时候, 同过统一管理平台功能管理模块相结合

42、。可以是实现当我们的业务系统在不需要云平台提 供那么大的计算能力的时候,为了节能减排放. 通过自动调度将某些服务器上的虚拟机通 过在线迁移的方式自动迁移到平台中的其它物理服务器中运行,将空闲服务器进行下电。当业务重新增长后,需要平台提供大规模计算的时候,会重新启动该服务器加入到平台中,为虚拟服务器提供运算支持。第27页XXXX 证券大数据中心建设方案图 4-8 分布式电源管理第28页XXXX 证券大数据中心建设方案4.3 分布式集群存储平台4.3.1 方案拓扑图4.3.2 方案描述图 4-9分布式集群存储架构图分布式存储系统主要由云平台下的应用服务器集群、智能存储服务器集群、元数据服务器集群三大部分组成，配置存储服务器10 台，元数据服务器 2 台。应用服务器集群：运行客户应用程序的集群，进行特定的计算、信息处理及业务服务等。应用服务器上需要安装分布式的应用服务器模块高效的访问存储。智能存储服务器集群：由万兆存储服务器组成。存储用户的实际数据，是整个分布式存储系统的存储资源提供者。当应用服务器进行数据访问时，存储服务器集群提供实际的数据 IO 服务。数据 IO 压力能够非常均衡的分布在存储服务器集群之间。第29页XXXX 证券大数据中心建设方案元数据服务器集群：由万兆元数据存储服务器组成。管