大数据新技术发展趋势及应用研究.pdf

《大数据新技术发展趋势及应用研究.pdf》由会员分享，可在线阅读，更多相关《大数据新技术发展趋势及应用研究.pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据新技术发展趋势及应用研究 目前，大数据已经为企业管理者提供了业务活动信息的汇总统计分析，从而使企业决策具有一定的洞察力。未来大数据对企业的作用，将不仅局限于决策支持，大数据的价值可以扩展到企业经营过程中，企业活动的每一个重要动作都能得到大数据的帮助，进而推进经营管理精细化、精确化进程。从而将洞察力转化为执行力。大数据对企业的益处主要表现在两个方面：1、企业由上至下的执行力得到显著增强 以金融企业风险管理为例，当具体业务流程尚未采用大数据技术时，大量风险无法在业务执行时得到有效规避。当采用大数据技术将“洞察力转化为执行力”后，在前端业务执行时，即可在大数据中实时使用复杂风险计算模型进行风险

2、度量，及时提示风险，规避风险的累积，避免风险业务的产生，从而提高了风险管理的执行力。这种思想也可以用于具体的企业营销。以金融企业市场营销为例，运用大数据技术可以根据客户行为特征实时计算识别异常交易（如突然大幅提高了交易金额）并即时进行交叉销售或客户挽留工作。2、企业组织结构得到整体优化 从企业组织结构来看，不仅改变企业的执行能力，也意味着企业组织结构的优化。大数据应用对象将从企业的中高层管理人员延伸到企业的基层工作人员，应用范围从经营管理扩展到业务处理。企业业务系统流程将进行必要的补充和优化，大数据将成为企业经营管理和业务执行优化的支撑平台。企业 IT 应用将形成“双中心”的架构：业务处理中心

3、和信息中心。作为传统核心 IT 系统的业务处理中心继续承担企业业务执行的任务；以大数据为核心的信息中心除了承担既有的信息统计分析功能外，将进一步与业务处理中心集成，形成业务分析中心，为业务执行提供实时或准实时的信息分析，提升服务、风险、营销和运营的执行力。二、大数据技术的发展趋势及在全球金融领域的应用（一）大数据技术的发展趋势 近年来，大数据应用深度和广度不断扩大，大数据提高了企业运行效率，使企业获得更多收益。同时，在这些应用过程中，一些新的问题促使大数据技术不断的演进，并向前发展，大数据技术出现了一些新的发展趋势。1、动态大数据的运用 传统意义的大数据主要用于联机分析（OLAP）和数据挖掘，

4、对于时效性的重视程度不及数据库联机事务处理（OLTP），然而，一些应用不仅需要有较好的分析能力，而且也要求能较为快速的响应，例如信用卡的欺诈消费分析。此时，就要求大数据更快的数据更新速度，更快的用户访问数据速度，更快捷的分析与更灵敏的反应速度，从而提高企业风险管理水平，增强了企业竞争力。在实践中，动态大数据技术使数据分析不仅用于中高层管理决策，更进一步深入到一线员工的业务活动中，例如银行的信用卡业务。市场调查结果显示，在亚太地区超过半数以上的企业中，一线员工做出的重要商业决策越来越多，而约有 40的企业都是借助商业智能来制定一线决策。与此同时，由于市场竞争加剧、企业快速成长以及员工队伍日益壮大

5、，决策制定的复杂度不断加大。将运营性分析应用增加到系统中意味着制定决策一定要以最新的数据为基础，即每天要进行两次甚至更多次数据加载。这同时意味着对大数据解决方案的高可用性提出了更高的要求。同时，在事件发生当天向一线用户推荐可操作回应的基于事件的分析也应运而生。2、SOA(面向服务架构)、EAI（企业应用集成）与大数据的结合 多种新技术与大数据的融合也是大数据发展的一个重要趋势。大数据将不断提高对 SOA、EAI 的要求，SOA、EAI 能够使决策服务更广泛地在企业中延伸。传统意义上的大数据系统可能只向企业中某个部门的小部分人提供报告和信息，而 SOA、EAI 绝大多数都是用于交易服务。在通过S

6、OA、EAI 整合大数据的决策服务之后，SOA、EAI 将会更多地应用于展示数据存取、数据转换、数据汇总、报表以及一系列相关的决策支持服务，就可以把决策和交易两部分结合起来，从而把 SOA、EAI和各个业务流程融合起来。在企业的准实时或实时处理的过程，随着数据源不断进入系统，在交易的同时也可以对数据进行实时分类、过滤或分析，这样从交易开始到做出决策的周期会缩短，做出决策的速度会更快。而以上过程的实现，需要将 SOA、EAI 和大数据的商业智能技术有机的结合起来。3、大数据全面支持 XML 数据格式 XML 全称 EXtensible Markup Language，即可扩展标记语言，是一种标记

7、语言。标记指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种信息的文章等。XML 是从 1996 年开始有其雏形的，在 1998 年 2 月发布为 W3C 的标准。随着 Web 技术的发展，XML 的应用非常广泛，已经成为网络的通用数据格式。随着 XML 技术的应用，大数据支持存储 XML 格式的数据并支持相关应用是必然的趋势。目前大数据和 XML 技术融合主要表现以下三个方面：XML 存储，即设计兼容关系型数据和层次型数据混合应用的大数据、XML 索引、XQuery 和高级 XML 模式处理。XML 技术在给大数据的发展带来更多使用灵活性和应用广泛性时，也有一些焦点问题需要

8、关注：（1）如何定义完善的查询代数。关系数据库统治数据管理领域的基础是描述性查询语言 SQL 和其运行基础关系代数。关系代数的目的一方面是约束明确的查询语义，另一方面是用于支持查询优化。关系代数的优势来自简单明确的数据模型即关系，具有完善的数学基础和系统的转换规则。而 XML 数据模型本身具有的半结构化特点是定义完善的代数运算的最大障碍。XML 查询语言中的不确定性是一个需要克服的困难。（2）XML数据信息统计和代价计算。传统对值的统计对XML 查询是不够的。XML 数据本身缺乏模式的支持,使对数据结构信息的统计显得更加重要。XML 数据中的数值分布在类似树状结构的树叶上，即使相同类型的数据，

9、由于半结构化特点,其分布情况也可能完全不同。因此,需要把对结构的统计信息和对值的统计信息结合到一起，才能得到足够精确的统计信息。4、大数据系统要注重元数据建设 随着数据库规模的扩大，涉及业务领域的广泛，需要一套有效的方法对大数据众多技术元数据、业务元数据和操作性元数据进行管理。目前，国际上主要的元数据管理模型有两个，一个是国际对象管理协会（OMG）的公共仓库元模型 CWM（Common Warehouse Metamodel）标准。另一个是元数据联盟（MDC）的开放信息模型OIM（Open Information Model）。CWM 模型建立在日益为广大开发人员所接受的可扩展语言（XML 和

10、 XMI）基础上，为大数据、商业智能、知识管理以及门户技术的应用提供元数据管理模型。这一模型获得了包括市场众多厂商的支持，它在数据抽取、变换、交流、加载、集成和大数据分析领域提供一系列的 API、数据交换格式和其他类型的多种服务。OIM 模型的元数据类型采用统一建模语言 UML 进行描述，并被组织成易于使用、易于扩展的多个主题范围,目的是通过公共的元数据信息来支持不同工具和系统之间数据的共享和重用。它涉及了信息系统（从设计到发布）的各个阶段，通过对元数据类型的标准描述来达到工具和知识库之间的数据共享。这两大模型各有特点，前者主要是由数据库、大数据厂商提出的，以大数据建设中涉及的元数据建设问题为

11、出发点建立的标准；后者主要是由软件厂商提出的，其出发点在于对软件开发过程各个阶段给与更好的支持，达到更好数据共享的目的。从近期的发展看，这两大模型标准在相互学习，有走向融合统一的趋势。（二）大数据技术在全球金融领域的应用 大数据作为管理信息和分析型应用有效的方式，可以有效地为金融业进行风险管理、绩效评估、盈利分析和客户关系管理等。基于大数据技术可以分析各种数据之间的关联，衡量各类客户的需求、忠诚度、满意度、赢利能力、潜在价值、信用度和风险度等指标，为金融行业识别不同的客户群体，确定目标市场，实施差异化服务的策略提供技术支持，并为经营管理决策分析提供准确一致的量化信息。在风险管理方面，大数据技术

12、被金融机构广泛用于内部外部风险预测、防范与控制。对于来自企业内部风险，现在国内外众多的银行都利用大数据技术建立了基于巴塞尔协议风险管理平台，用于管理金融机构内部风险。对于来自机构以外，其他企业带来的风险，许多金融机构也建立了相应风险分析、风险管理平台，例如我公司建立的结算参与人管理系统，可用以分析结算参与人风险；上交所针对上市公司财务报表建立企业财务报表风险分析和企业财务报表的城信分析，以判断财务数据的准确性及企业的财务风险；甚至一些金融机构为了更好预测企业或者个人财务破产问题，建立破产模型以期能预估破产，从而减少企业损失。在盈利分析和客户关系管理方面，金融机构基于大数据进行大量的分析和数据挖

13、掘工作。美国的一家征信管理局针对个人对贷款额度使用情况进行分析，从而帮助发放贷款的金融机构发现优质客户，通过对个人消费情况分析，帮助企业发掘潜在高附加值客户。目前，大数据技术在国内金融企业的广泛应用，已经对企业的风险防范和业务开展起到了良好的支持作用。在银行领域，中国工商银行进行了以个人客户关系管理（PCRM）和业绩价值管理（PVMS）为主题的应用试点，中国银行则全面规划了信用卡系统，其中很重要的一个子系统就是基于大数据技术的销售和客户服务系统，中国农业银行正在广东分行进行经营分析系统的建设，中国民生银行也完成了客户信息管理和企业级大数据的建设。在证券行业，我公司实施的大数据项目，建立了面向中

14、国证券市场的统一的信息视图，实现了共享信息资源，提高运营效率；搭建了结算参与人风险管理平台，增强风险分析能力；提供多种关键指标和分析报表，为决策层的决策分析提供了便利，同时为信息增值服务和其他创新服务提供综合性的计算、验证和实验平台。三、大数据新技术对金融行业大数据发展方向及模式的启示 大数据新技术朝着更实时的数据分析与响应、更广泛的业务执行的方向发展。数据库专家结合行业经验提出的双中心架构、支持动态分析以提高风险管理与市场服务能力等思想，对金融行业的 IT 规划与建设提供了有价值的参考。作为证券行业唯一能够提供完整客户账户信息的大数据系统，金融行业大数据系统已经形成了一个行业级的，跨市场、跨

15、业务、跨部门的大数据系统，目前提供丰富的前台业务分析应用，满足决策支持、风险分析和市场信息服务的业务要求。如何进一步提高大数据应用水平，更好的为市场监管者、市场参与者和公司内部业务开展提供数据服务，以达到规范市场、提高服务质量和管理水平的目标，一直是公司 IT 建设的重点。我们认为需要进一步挖掘数据的价值，积极探讨布局“双中心”的架构、研究动态企业智能对提升公司业务执行力、增强行业风险管控和提升市场服务能力的积极作用，从而提高大数据的应用水平。（一）提升动态商业智能，提供快速市场服务 1、优化大数据体系架构，提供动态大数据支持动态智能 大数据技术自诞生至今，经历了三个发展阶段。在表 1 中，我

16、们总结了三个阶段的主要概念。表 1 大数据技术发展的三个阶段 阶段 名称 基本概念 阶段一 信息收集阶段 利用批处理技术，把机构内不同来源的信息集成到一个单一的仓库中，形成报表，为公司决策提供重要参考。在大多数情况下，人们事先已对报表中涉及的问题有所了解 阶段二 信息分析阶段 决策者关心的重点发生了转移，从单纯的“发生了什么”转向“为什么会发生”，这个阶段大数据所做的工作主要是分析。分析活动的目的就是了解报表数据的涵义，需要对更详细的数据进行各种角度的分析。第二阶段的大数据对数据库要提交的问题事先一无所知，采用的方法主要是随机分析。而当一个公司的决策过程得到量化以后，对经营动态的情况以及这种情

17、况为什么发生都会有所体验 阶段三 信息预测及动态智能阶段 提供数据采集工具，以便利用历史资料创建预测模型，实现实时智能的决策支持 目前，金融行业大数据的技术基本实现了第二阶段，目前转入第三阶段。在第三阶段，为实现动态智能，在大数据技术实现方面需关注两点：（1）动态访问。主要可以支持包括管理层在内的操作层用户可以动态或者实时地查询并计算所需信息，因此技术架构要支持大量客户并行复杂计算。（2）动态数据加载。为实现实时智能控制，大数据技术系统不仅需要支持批量数据加载，而且需支持连续和实时数据加载。2、动态智能支持公司业务创新 大数据的动态智能未来可以为公司的业务创新打下坚实的基础，一方面动态大数据可

18、以支持大量用户访问，可以为公司业务开展提供及时支持，另一方面动态数据的加载，可以支持未来实时业务的开展。未来衍生品的登记结算业务，需要多批次结算，对于多批次业务数据的实时加载，可以在较短时间计算并预测参与人风险，为风险防范提供决策支持。（二）加强数据质量和元数据管理 大数据的数据源（如沪深分公司的登记结算业务系统、开放式基金 TA 系统）的数据标准和数据结构不完全相同，这对大数据的数据质量管理和元数据管理对提出很高的要求。为了加强数据质量和元数据管理，需要为大数据建立统一的数据质量标准、元数据管理，以适应大数据本身或者数据源的变化。（三）建立客户单一视图 目前在我公司大数据中，数据的组织基本以

19、业务来划分，例如一个投资者的持股情况，A 股持有存放于 A 股账户，B 股持有存放于 B股账户，保证金信息存放于其保证金账户，基金持有存放于基金账户。作为行业级大数据需要将各个业务系统中的信息进行集中管理，在资料的准入、使用与检索等方面做到统一管理，形成以客户为中心单一视图，增强针对客户行为的风险管理力度、提升客户服务水平，支持业务创新能力。（四）整合数据集市 经过验证的数据治理方案是基于统一的中央大数据之上，根据业务需求部署数据集市应用。根据金融行业的业务特点，将各分公司的大数据应用与总公司大数据进行整合，形成全公司统一的企业级大数据是一个发展趋势。在统一数据标准、统一架构模型的基础上，快速灵活搭建各种数据集市，进行深度数据挖掘，可以提高全市场的数据统计及分析能力、全市场的风险管理能力以及对市场参与人提供信息增值服务的能力。如何用好大数据，发挥行业级大数据的价值，协助公司经营管理、推进行业健康有序发展、为市场参与人提供更广泛的服务，是一个重要的课题，值得我们进一步思考和不断地努力。