大数据平台技术方案大数据平台技术解决方案.docx

《大数据平台技术方案大数据平台技术解决方案.docx》由会员分享，可在线阅读，更多相关《大数据平台技术方案大数据平台技术解决方案.docx（21页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据平台技术方案大数据平台 技术解决方案一、工程背景“十三五期间，随着我国现代信息技术的蓬勃开展，信息化建设模式发生根本性转变，一场以云计算、大数据、物联网、移动应用 等技术为核心的“新 IT浪潮风起云涌，信息化应用进入一个“新 常态。* 某政府部门为积极应对“互联网+和大数据时代 的机遇和挑战， 适应全省经济社会开展与改革要求，大数据平台应 运而生。大数据平台整合省社会经济开展资源，打造集数据采集、数据处 理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平 台，以信息化提升数据化管理与效劳能力，及时准确掌握社会经济发 展情况，做到“用数据说话、用数据管理、用数据决策、用数据创 新

2、，牢牢把握社会经济开展主动权和话语权。二、建设目标大数据平台是顺应目前信息化技术水平开展、效劳政府职能改革 的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用 社会化监督，建立标准化共建共享投资工程管理体系，推进政务数据 共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政 务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发 展。1、制定统一信息资源管理标准，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建会聚式一体化 数据库，为平台打下坚实稳固的数据根底。2、 梳理各相关系统数据资源的关联性，编制数据资源目录，建 立信息资源交换管理标准体

3、系，在业务可行性的根底上，实现数据信 息共享， 推进信息公开，建立跨部门跨领域经济形势分析制度。3、 在大数据分析监测根底上，为政府把握经济开展趋势、预见 经济开展潜在问题、辅助经济决策提供根底支撑。三、建设原那么大数据平台以信息资源整合为重点，以大数据应用为核心，坚持 “统筹规划、分步实施，整合资源、协同共享，突出重点、注重实 效，深化应用、创新驱动的原那么，全面提升信息化建设水平，促进 全省经济持续健康开展。1、统筹规戈 IJ、分步实施。结合我省经济开展与改革领域 实际需求，明确总体目标和阶段性任务，科学规划建设工程。先期完 成大数据平台的整体架构建设，后期分步完成业务系统的整合及相互 间

4、数据共享问题。2、 整合资源、协同共享。对信息资源统一梳理，建立经 济 开展与改革信息标准资源库和数据标准，逐步消灭“信息孤岛， 加快推进数据资源整合，建设共享共用的大数据中心，实现业务协 同。3、 突出重点、注重实效。以用户为中心，以需求为导 向，以效劳为目的，突出重点，注重实效，加强平台可用性和易用 性。4、 深化应用、创新驱动。深入了解用户需求，密切跟踪 信息技术开展趋势，不断深化应用、拓展新技术在应用中的广度和深 度，促进跨界融合，丰富管理和效劳手段。四、建设方案为了保证工程的顺利进行和建设目标的可行性，我们采取如下几 种建设方案。1、数据采集方案。我们统一信息资源标准标准，建立多维度

5、数据库，拓宽数 据 来源，通过不同的方式会聚数据，增强分析力度，提高监测预 警的准确性和时效性。1、预留接口，支持其它系统各种数据的上传导入处理。将 现存有关经济运行业务系统中的历史数据和时效数据，通过上传 数据文件至效劳器、分析提取有效数据导入效劳器数据库等方式 采集起来，在本平台上复用。2、支持外接数据的上传导入处理。可以将企业单位或定点 监测机构的数据通过同样的方式采集起来，在本平台上复用。3、支持非结构化数据，即搜索引擎数据、社交媒体数据、 地理空间数据和音视频数据等等。2、数据分析方案。大数据之大并不是难点所在，其真正难以对付的挑战来自于 数据类型多样、要求及时响应和数据的不确定性，

6、而我们所面临 的也正是如此。我们采用批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，通过对数据的批量处理挖掘其中的 价值来支持决策和发现新的洞察。3、业务整合方案。在对社会开展相关业务子系统充分调研根底上，结合工程需 求， 可对其进行整合或嵌入处理本方案整合公共信用信息效劳 平台、投资工程信息管理平台等。1、整合处理。将原有数据通过上传或导入方式进行采集，原有功能模块整合到本平台中，合二为一，完美的将数据 会聚起来。缺点是耗时较长。2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本 平台中，作为子系统单独存在。缺点在于数据共享难以实现。五、建设内容1、宏观经济监测预测及可

7、视化平台政府信息化的最终目标是提高政府的决策水平，其中经济决 策是核心内容。为了提高宏观调控决策水平，我们必须从依靠传 统统计数据向依靠互联网非统计数据转变，从监测预测宏观经济 总量向监测预测宏观经济先行指标转变，从中长期监测预测向实 时监测预测转变。宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关 数据资源，建设以“容量大、形式多、分类细、响应快为目标 的宏观经济监测预测数据库，构建基于互联网数据的宏观经济非统计 指标监测预测应用平台。围绕重点产业活泼度、区域经济关联度、宏观经济走向社会 预 期、社会消费热点、大宗商品供求及价格走势

8、、全国就业形势、外贸 订单变化趋势等方面，构建大数据宏观经济先行指标和现时预测指标 库，研究能客观、准确反映我省宏观经济运行状况的指标体系，编制山东指数。在健全完善监测预警数据库的根底上，充分运用大数据技术和 理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析系列模 型，切实提高预测分析的前瞻性、准确性和可靠性。积极拓宽信息发布渠道，建立可视化平台，采用 Unity3D 引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海量数 据，通过数据处理、存储管理、可视化交互分析等技术，实现 图形化 数据查询、可视化关联分析、证据链和情报线索开掘等功 能。利用预 测信号灯系统，形象地刻画出宏观经

9、济总体运行状况，分析经济波 动原因，及时了解各地区经济开展的不平衡性，准确判断和测定经济 景气循环运行状态， 提高宏观经济决策水平。2、企业信用监测预警效劳平台企业信用危机不仅给社会带来严重危害，也是关系到企业自身 生死存亡的重大事件，它是中国企业乃至中国市场经济开展的巨大障 碍。因此，建立企业信用危机的预警机制和管理机制，对企业信用危 机进行有效的预警及管理是十分重要的。企业信用监测预警效劳平台，全面整合社会信用监管信息和社会公众反映信息，通过整理归类与加工，将这些信用危机信息 转化为可以量化的指标体系，按照失信行为的严重程度和影响范围划 分三个预警级别，分别向企业自身、金融机构、其他政府部

10、门及全社 会进行通报。纳入企业信用预警体系的企业信息包括侵犯消费者权益且不 履行相关义务的信息、消费者投诉未及时处理信息、行政处分逾期未执行信息、 查无下落企业信息等 23 种信息。可以动态配置预警信息 工程和相应预警等级，增强监测预警的全面性和灵活性。企业信用监测预警效劳平台以信息技术为支撑，以信用监管 为手段，全面提高信用监管信息共享程度，及时预警影响社会交易平安和社会公共平安的不良信用信息，遵循“对外警示社会和 企业；对内 明确重点，积极采取应对措施的原那么，强化企业信用监管防范机 制，有力推进“信用保税区建设，加强企业信用 监督管理的主动 性、前瞻性，更好地效劳经济开展，减少交易风 险

11、，促进企业信用监 管到位，实现企业信用的社会化监督。3、投资工程信息管理平台建设投资工程特别是一些大型工程具有管理上的复杂性 特点，主要是建设周期长、参建方多。投资工程信息管理平台的建立和 应用，可有效解决投资建设工程管理动态过程的信息分析、信息构建，到达各参建方信息共享的目的。投资工程信息管理平台，支持重大工程推介，建立标准的工程审批流程和工程信息库，管理工程启动、方案、执行、监控和 收尾的 整个生命周期，覆盖进度、质量、本钱、资源、风险等工程管理的各 个要素，构建集成工程、流程、知识的信息化平台。逐步实现与相关部门业务系统的接入，形成全覆盖的投资工程 管理统一工作平台，真正做好资源共享，为

12、工程的后期评价、领导决 策提供支持效劳。围绕设计、招标、监理、质量、平安、进度、施 工、资金、变更、合同管理“十大环节，建立起对投资工程进行事 前方案、事中控制、事后评估、全程管理的有效管控模式，促进投资 工程管理体系发挥全方位、全过程的方案、组 织、协调与控制作用。投资工程信息管理平台，以现代工程管理方法论为根底；以项 目管理为主线，全面组织、全程贯穿各个业务环节；以工程计划为依据，科学协调各个部门的工作；以本钱、进度、质量为最 终控 制目标；以完整、及时、准确的工程信息和科学的分析模型 为工程管 理、决策提供依据；遵循“以方案为龙头，以合同为中心，以投资控 制为目的的现代工程管理理念，构建

13、高效、实用 的工程协同管理综 合平台。4、政务数据共享交换平台政务数据共享交换平台是各个平台中的根底性和综合性平 台， 是解决“信息孤岛、实现数据互连互通的根底设施，有利 于提高各类信息资源整合共享，以及信息资源的综合利用。建设政务数据共享交换平台的首要目标就是要创造一个信息 交换、信息共享的方式和环境，按照统一标准和标准，建立信息 资源整合机制，标准数据采集口径、采集方式，标准数据的效劳 方式，建立统一的资源信息整合与交换机制。我们按照统一、集约、高效的数据开发利用理念，通过研究 建立多 级交换管理体系，形成政务信息资源物理分散、逻辑集中的信息共 享模式，通过以应用为抓手，进一步打通数据流，

14、满足政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平台不同应用系 统、不同数据库之间的互连互通提供包含提取、转 换、传输和加密 等操作的数据交换效劳。通过分布式部署和集中式管理架构，有效 解决各节点间数据的及时、高效上传下达，在平安、快捷、方便的 进行信息交换的同时精准的保证数据的一致性和准确性。政务数据共享交换平台的全局目标是建立“一个系统，解决 “两个问题，支持“三个应用，面向“四个效劳。建立“一 个系统，即建立一个可扩展、可集成、有统一数据模型、可交换 和平安可靠的分布式系统，对各类政务资源进行组织和管理。解决 “两个问题，即解决政务信息资源的发现与定位问题，解决政务 信息资源规

15、划与整理问题。支持“三个应用，即支持信息集成整 合应用、各业务部门办公应用和政府职能决策应用。面向“四个服 务，即面向政务协作、宏观决策、市场监管和社 会管理效劳。六、技术支持与平台性能1、系统架构结合该工程以大数据平台为核心，多业务子系统并存的业务 需求，以及存在不同种类操作系统、应用软件、系统软件的现 状，我们采用面向效劳的体系结构，即 SOA 架构。SOA是一个组件模型，它将应用程序的不同功能单元称为效劳通过这些效劳之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它独立于实现效劳的硬件平台、 操作系统和编程语言。这使得构建在这样系统中的效劳可以以一 种统一和通用的方式进

16、行交互。它的本质是实现效劳和技术的完 全别离，从而最大程度上实现效劳的集成和重组。SOA 实施是以业务效劳为导向的，业务效劳独立于技术之上，技术处于附属地位，采用 SOA 架构的主要优势有：1、 SOA 与平台无关，减少了业务应用及业务子系统整合的限制。2、 SOA 具有低耦合的特点，各个业务子系统对整个业务系统 的影响较低，在各个系统不断变化情况下，节省的费用会越来越 多。3、 SOA 具有可按模块分阶段进行实施的优势。可以成功一步 再做下一步，将实施造成的冲击减少到最小。SOA 效劳交互示意 图如下：2、技术支持1、技术领先的 J2EE 框架。Java2 平台企业版(Java 2 Plat

17、form Enterprise EditionJ2EE)是一种利用 Java2 平台来简化且标准应用系统的开发与部 署，进而提高可移植性、平安与再用价值。基核心是一组技术标准与 指南，其中包含的各类组件、效劳架构及技术层次，均有共同的标准 及规格，让各种依循 J2EE 架构的不同平台之间，存在良好的兼容 性，解决过去企业后端使用的信息产品彼此之间无法兼 容，企业内部 或外部难以互通的窘境。基主要的技术标准有 JDBC、EJB、JSP、Java Servlet、XML 等。JDBC 为访问不同数据库提供了统一的路径，使对数据库的 访问具有平台无关性。EJB 提供了一个框架来开发和实施分布式商 务

18、逻辑，简化了具有可伸缩性和高度复杂的企业级应用程序的开发。JSP 页面由 HTML 代码和嵌入其中的 Java 代码组成，简化了页面 的输出，保存了脚本语言易于使用的优点。Servlet 是一种小型 Java 程序， 扩展了 Web 效劳器的功能。XML 提供了一种描述结构 数据的格式，简化了网络中数据交换和表示，使得代码、数 据和表示 别离，作为数据交换的标准格式。2、强大灵活的 SSM 整合框架。SSM 框架整合，即整合 SpringMVC Spring 和 Mybatis 框 架。其中 SpringMVC 属于 SpringFarmeWork 的后续产品，它提 供了构建Web 应用程序的

19、全功能 MVC 模块，别离了控制器、模型对 象、过滤器以及处理程序对象的角色，这种别离让它们更容易进行定 制。Spring 是一个轻量级开源框架，它的主要特点是方便解耦、 简化开发、面向切面A0P的编程支持和声明式事务支持，其主 要优点有低侵入式设计、独立于应用效劳器、允许将一些通用任务如 日志等进行集中处理。Mybatis 是轻量级 0RM 框架，它消除了几 乎所有的 JDBC 代码和参数的手工设置以及结果集的检索，使用简 单的 XML 或注解用于配置和原始映射，将接口和 Java 的 POJOs 映射成数据库中的记录。其框架架构图如下：一 发送请求：/lp:port/- ath/myReq

20、uestARequestMoppingHandlerMapping HndkfExcwtionChain (HMyControlM用户-View相比于传统SSH整合，SpringMVC- 响 M 7、Molel3And、札 iMyControllerViewInternaLResource VieResoLver相比 Struts 更轻量级,Ecto觀解的使用减少开发消耗，数据库操作层采用 Mybatis ,统一管理SQL 甚是方便。3、平台性能1、先进性、开放性。基于 B/S 结构的 Java 应用技术和 S0A 开放式的体系框架，结构化设计，灵活可拆分，具有灵活的可扩充接口，易于修改调整、

21、 二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风 险，保证投资的有效性和延续性。2、 可扩展性。由于采用了平台化构建思想，整个系统可做到与 底层多种硬 件环境、操作系统、数据库的自由适配，保证系统在软 件、硬件环境方面的灵活配置以及未来的拓展应用。采用基于 S0A思想的模块化设计，可根据需要进行灵活动态的 模块扩充，并保证原系统环境不受影响。系统提供开放的标准接口，可实现与外围业务系统的无缝集 成应用，灵活扩展系统的业务应用范围。3、稳定性、可靠性。系统采用 B/S 结构应用模式，集中安装部署，客户端零安装，所以系统的运行不受任何客户端单点故障的影响。技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完 证业务数据准确完全。整，保舁堆办公4、其他优势。活易用性後 够 将 客 户 笊 代EfSSmAIXft 中 . 并不保材 叫辕ft 的灭級与 宪.先遥性标准性安全性