大数据平台建设专业方案.doc

《大数据平台建设专业方案.doc》由会员分享，可在线阅读，更多相关《大数据平台建设专业方案.doc（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大数据平台建设方案（项目需求和技术方案）一、项目背景 “十三五”期间，伴随中国现代信息技术蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为关键“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。*（某政府部门）为主动应对“互联网+”和大数据时代机遇和挑战，适应全省经济社会发展和改革要求，大数据平台应运而生。大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、估计预警、应急指挥、可视化平台于一体大数据平台，以信息化提升数据化管理和服务能力，立即正确掌握社会经济发展情况，做到“用数听说话、用数据管理、用数据决议、用数据创新”，牢牢把握社会

2、经济发展主动权和话语权。二、建设目标大数据平台是顺应现在信息化技术水平发展、服务政府职能改革架构平台。它关键目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决议提供立即、正确、可靠信息依据，提升政务工作前瞻性和针对性，加大宏观调控力度，促进经济连续健康发展。1、 制订统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固数据基础。2、 梳理各相关系统数据资源关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性基础上，实现数据信息共

3、享，推进信息公开，建立跨部门跨领域经济形势分析制度。3、 在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决议提供基础支撑。三、建设标准大数据平台以信息资源整合为关键，以大数据应用为关键，坚持“统筹计划、分步实施，整合资源、协同共享，突出关键、重视实效，深化应用、创新驱动”标准，全方面提升信息化建设水平，促进全省经济连续健康发展。 1、统筹计划、分步实施。结合本省经济发展和改革领域实际需求，明确总体目标和阶段性任务，科学计划建设项目。先期完成大数据平台整体架构建设，后期分步完成业务系统整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理，建立经济

4、发展和改革信息标准资源库和数据规范，逐步消亡“信息孤岛”，加紧推进数据资源整合，建设共享共用大数据中心，实现业务协同。 3、突出关键、重视实效。以用户为中心，以需求为导向，以服务为目标，突出关键，重视实效，加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求，亲密跟踪信息技术发展趋势，不停深化应用、拓展新技术在应用中广度和深度，促进跨界融合，丰富管理和服务手段。四、建设方案为了确保项目标顺利进行和建设目标可行性，我们采取以下多个建设方案。 1、数据采集方案。我们统一信息资源标准规范，建立多维度数据库，拓宽数据起源，经过不一样方法汇聚数据，增强分析力度，提升监测预警正确性和时效性。

5、1、 预留接口，支持其它系统多种数据上传导入处理。将现存相关经济运行业务系统中历史数据和时效数据，经过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方法采集起来，在本平台上复用。2、 支持外接数据上传导入处理。能够将企业单位或定点监测机构数据经过一样方法采集起来，在本平台上复用。3、 支持非结构化数据，即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。 2、数据分析方案。大数据之大并不是难点所在，其真正难以对付挑战来自于数据类型多样、要求立即响应和数据不确定性，而我们所面临也正是如此。我们采取批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，经过对数据批量

6、处理挖掘其中价值来支持决议和发觉新洞察。 3、业务整合方案。在对社会发展相关业务子系统充足调研基础上，结合项目需求，可对其进行整合或嵌入处理（本方案整合公共信用信息服务平台、投资项目信息管理平台等）。1、 整合处理。将原有数据经过上传或导入方法进行采集，原有功效模块整合到本平台中，合二为一，完美将数据汇聚起来。缺点是耗时较长。2、 嵌入处理。以单点登录方法将原有系统链接嵌入到本平台中，作为子系统单独存在。缺点在于数据共享难以实现。五、建设内容 1、宏观经济监测估计及可视化平台政府信息化最终目标是提升政府决议水平，其中经济决议是关键内容。为了提升宏观调控决议水平，我们必需从依靠传统统计数据向依靠

7、互联网非统计数据转变，从监测估计宏观经济总量向监测估计宏观经济先行指标转变，从中长久监测估计向实时监测估计转变。宏观经济监测估计及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全方面整合互联网相关数据资源，建设以“容量大、形式多、分类细、响应快”为目标宏观经济监测估计数据库，构建基于互联网数据宏观经济非统计指标监测估计应用平台。围绕关键产业活跃度、区域经济关联度、宏观经济走向社会预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、外贸订单改变趋势等方面，构建大数据宏观经济先行指标和现时估计指标库，研究能客观、正确反应本省宏观经济运行情况指标体系，编制“山东指数”

8、。在健全完善监测预警数据库基础上，充足利用大数据技术和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析系列模型，切实提升估计分析前瞻性、正确性和可靠性。主动拓宽信息公布渠道，建立可视化平台，采取Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构海量数据，经过数据处理、存放管理、可视化交互分析等技术，实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功效。利用估计信号灯系统，形象地刻画出宏观经济总体运行情况，分析经济波动原因，立即了解各地域经济发展不平衡性，正确判定和测定经济景气循环运行状态，提升宏观经济决议水平。 2、企业信用监测预警服务平台企业信用危机不仅给社会

9、带来严重危害，也是关系到企业本身生死存亡重大事件，它是中国企业乃至中国市场经济发展巨大障碍。所以，建立企业信用危机预警机制和管理机制，对企业信用危机进行有效预警及管理是十分关键。企业信用监测预警服务平台，全方面整合社会信用监管信息和社会公众反应信息，经过整理归类和加工，将这些信用危机信息转化为能够量化指标体系，根据失信行为严重程度和影响范围划分三个预警等级，分别向企业本身、金融机构、其它政府部门及全社会进行通报。纳入企业信用预警体系企业信息包含侵犯消费者权益且不推行相关义务信息、消费者投诉未立即处理信息、行政处罚逾期未实施信息、查无下落企业信息等23种信息。能够动态配置预警信息项目和对应预警等

10、级，增强监测预警全方面性和灵活性。企业信用监测预警服务平台以信息技术为支撑，以信用监管为手段，全方面提升信用监管信息共享程度，立即预警影响社会交易安全和社会公共安全不良信用信息，遵照“对外警示社会和企业；对内明确关键，主动采取应对方法”标准，强化企业信用监管防范机制，有力推进“信用保税区”建设，加强企业信用监督管理主动性、前瞻性，愈加好地服务经济发展，降低交易风险，促进企业信用监管到位，实现企业信用社会化监督。 3、投资项目信息管理平台建设投资项目（尤其是部分大型项目）含有管理上复杂性特点，关键是建设周期长、参建方多。投资项目信息管理平台建立和应用，可有效处理投资建设项目管理动态过程信息分析、

11、信息构建，达成各参建方信息共享目标。投资项目信息管理平台，支持重大项目推介，建立规范项目审批步骤和项目信息库，管理项目开启、计划、实施、监控和收尾整个生命周期，覆盖进度、质量、成本、资源、风险等项目管理各个要素，构建集成项目、步骤、知识信息化平台。逐步实现和相关部门业务系统接入，形成全覆盖投资项目管理统一工作平台，真正做好资源共享，为项目标后期评价、领导决议提供支持服务。围绕设计、招标、监理、质量、安全、进度、施工、资金、变更、协议管理“十大步骤”，建立起对投资项目进行事前计划、事中控制、事后评定、全程管理有效管控模式，促进投资项目管理体系发挥全方位、全过程计划、组织、协调和控制作用。投资项目

12、信息管理平台，以现代项目管理方法论为基础；以项目管理为根本，全方面组织、全程贯穿各个业务步骤；以项目计划为依据，科学协调各个部门工作；以成本、进度、质量为最终控制目标；以完整、立即、正确项目信息和科学分析模型为项目管理、决议提供依据；遵照“以计划为龙头，以协议为中心，以投资控制为目标”现代项目管理理念，构建高效、实用项目协同管理综合平台。 4、政务数据共享交换平台政务数据共享交换平台是各个平台中基础性和综合性平台，是处理“信息孤岛”、实现数据互连互通基础设施，有利于提升各类信息资源整合共享，和信息资源综合利用。建设政务数据共享交换平台首要目标就是要发明一个信息交换、信息共享方法和环境，根据统一

13、标准和规范，建立信息资源整合机制，规范数据采集口径、采集方法，规范数据服务方法，建立统一资源信息整合和交换机制。我们根据统一、集约、高效数据开发利用理念，经过研究建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中信息共享模式，经过以应用为抓手，深入打通数据流，满足政府部门多方位、多层次数据需求，为跨地域、跨部门、跨平台不一样应用系统、不一样数据库之间互连互通提供包含提取、转换、传输和加密等操作数据交换服务。经过分布式布署和集中式管理架构，有效处理各节点间数据立即、高效上传下达，在安全、快捷、方便进行信息交换同时正确确保数据一致性和正确性。政务数据共享交换平台全局目标是建立“一个系统”，处

14、理“两个问题”，支持“三个应用”，面向“四个服务”。建立“一个系统”，即建立一个可扩展、可集成、有统一数据模型、可交换和安全可靠分布式系统，对各类政务资源进行组织和管理。处理“两个问题”，即处理政务信息资源发觉和定位问题，处理政务信息资源计划和整理问题。支持“三个应用”，即支持信息集成整合应用、各业务部门办公应用和政府职能决议应用。面向“四个服务”，即面向政务协作、宏观决议、市场监管和社会管理服务。六、技术支持和平台性能 1、系统架构结合该项目以大数据平台为关键，多业务子系统并存业务需求，和存在不一样种类操作系统、应用软件、系统软件现实状况，我们采取面向服务体系结构，即SOA架构。SOA是一个

15、组件模型，它将应用程序不一样功效单元（称为服务）经过这些服务之间定义良好接口和契约联络起来。接口是采取中立方法进行定义，它独立于实现服务硬件平台、操作系统和编程语言。这使得构建在这么系统中服务能够以一个统一和通用方法进行交互。它本质是实现服务和技术完全分离，从而最大程度上实现服务集成和重组。SOA实施是以业务服务为导向，业务服务独立于技术之上，技术处于隶属地位，采取SOA架构关键优势有：1、 SOA和平台无关，降低了业务应用及业务子系统整合限制。 2、 SOA含有低耦合特点，各个业务子系统对整个业务系统影响较低，在各个系统不停改变情况下，节省费用会越来越多。3、 SOA含有可按模块分阶段进行实

16、施优势。能够成功一步再做下一步，将实施造成冲击降低到最小。SOA服务交互示意图以下： 2、技术支持1、 技术领先J2EE框架。 Java2平台企业版（Java 2 Platform Enterprise Edition， J2EE）是一个利用Java2平台来简化且规范应用系统开发和布署，进而提升可移植性、安全和再用价值。基关键是一组技术规范和指南，其中包含各类组件、服务架构及技术层次，全部有共同标准及规格，让多种依循J2EE架构不一样平台之间，存在良好兼容性，处理过去企业后端使用信息产品相互之间无法兼容，企业内部或外部难以互通窘境。 基关键技术规范有JDBC、EJB、JSP、Java Serv

17、let、XML等。JDBC为访问不一样数据库提供了统一路径，使对数据库访问含有平台无关性。EJB提供了一个框架来开发和实施分布式商务逻辑，简化了含有可伸缩性和高度复杂企业级应用程序开发。JSP页面由HTML代码和嵌入其中Java代码组成，简化了页面输出，保留了脚本语言易于使用优点。Servlet是一个小型Java程序，扩展了Web服务器功效。XML提供了一个描述结构数据格式，简化了网络中数据交换和表示，使得代码、数据和表示分离，作为数据交换标准格式。2、 强大灵活SSM整合框架。SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC属于SpringF

18、armeWork后续产品，它提供了构建Web应用程序全功效MVC模块，分离了控制器、模型对象、过滤器和处理程序对象角色，这种分离让它们更轻易进行定制。Spring是一个轻量级开源框架，它关键特点是方便解耦、简化开发、面向切面（AOP）编程支持和申明式事务支持，其关键优点有低侵入式设计、独立于应用服务器、许可将部分通用任务如日志等进行集中处理。Mybatis是轻量级ORM框架，它消除了几乎全部JDBC代码和参数手工设置和结果集检索，使用简单XML或注解用于配置和原始映射，将接口和JavaPOJOs映射成数据库中统计。其框架架构图以下： 相比于传统SSH整合，SpringMVC相比Struts更轻

19、量级，注解使用降低开发消耗，数据库操作层采取Mybatis，统一管理SQL甚是方便。 3、平台性能1、优异性、开放性。基于B/S结构Java应用技术和SOA开放式体系框架，结构化设计，灵活可拆分，含有灵活可扩充接口，易于修改调整、二次开发和扩充，最大程度降低因上游技术升级带来系统实施风险，确保投资有效性和延续性。2、 可扩展性。因为采取了平台化构建思想，整个系统可做到和底层多个硬件环境、操作系统、数据库自由适配，确保系统在软件、硬件环境方面灵活配置和未来拓展应用。采取基于SOA思想模块化设计，可依据需要进行灵活动态模块扩充，并确保原系统环境不受影响。系统提供开放标准接口，可实现和外围业务系统无缝集成应用，灵活扩展系统业务应用范围。3、 稳定性、可靠性。系统采取B/S结构应用模式，集中安装布署，用户端零安装，所以系统运行不受任何用户端单点故障影响。技术框架支撑，能够实现数据库持久、稳定连接，确保事务处理连续和完整，确保业务数据正确完全。4、 其它优势。