智慧新区数据融合服务平台项目总体框架设计.doc

智智智慧慧慧新新新区区区数数数据据据融融融合合合服服服务务务平平平台台台项项项目目目总总总体体体框框框架架架设设设计计计1.11.1项目总体架构项目总体架构1.1.1总体架构图总体架构图总体架构如下图所示：1.1.1.11.1.1.1 数据交换层数据交换层数据交换是指不同部门按照业务需求，确定信息交换流 程，在部门间实现具有主动推送特点的连续、实时信息传 输。 典型的应用有公文交换、部门间基础信息交换、综合治 税信息交换、信用信息交换、社会保障信息交换等。信息 交换有集中交换、分布交换与混合交换等三种模式。数据 交换的主要任务是实现数据的发送与接收，对参与者的合 法性进行验证，并通过与数据传输中间件的配合，实现可 靠的数据交换。 数据可靠传输的目的是实现传输过程中的“不错、不丢、 不重”。数据传输的可靠性由所选定的中间件软件保证，通 过数据传输中的数据压缩/解压缩以及断点续传等功能，保 证数据交换的可靠性。数据交换总体架构如下图所示：1.1.1.21.1.1.2 数据加工与处理层数据加工与处理层不同委办局交换而来的数据经过数据清洗、比对、融合 环节，为无锡智慧新区数据融合服务平台打造信息完整、 结构清晰合理、数据准确及时的权威数据库。1.1.1.2.11.1.1.2.1数据清洗由于信息共享平台数据采集部门较多，各个数据采集部 门的信息化建设程度各异，数据维护程度也各自不同，信 息共享平台对从各个数据采集部门采集回来的数据进行规 范性清洗，屏蔽数据采集过程中，数据格式错误、无用甚 至对信息共享平台有危害的数据。为信息共享平台建设数 据服务中心提供前期的一个数据过滤。1.1.1.2.21.1.1.2.2数据比对数据比对主要是对采集回来的各类数据，进行关键字段 的比较核对，形成各类型属性数据在主表上的挂靠，同时 也将采集过来的各个类型属性数据中信息错误或有差异的 数据进行更正、统一。 针对已经采集并清洗后的数据，分类同地理、自然人口、 组织单位三大库主表进行数据比对，比对上的数据，分主 表和附属信息表存储，包括新增、修改。主表信息，累计 增加，附属表比对上后携带主表 id 存储。无法比对上的附 属表信息作为异常数据存储，以便统计和后期反馈。 数据比对主要分为程序比对和人工比对两种手段，程序 无法识别的数据由人工进行核实。1.1.1.2.3异常数据反馈异常数据反馈功能，将数据采集、清洗、比对同数据采 集部门形成互动。将清洗和比对工作中发现的异常数据反馈给数据提供部门，提醒数据提供部门核实的同时，也帮 助提高部门自身业务数据准确性。1.1.1.31.1.1.3 数据数据融合层融合层数据共享平台在完成数据比对，形成地理信息、自然人 口、组织单位三大对象数据结构体系后，通过地理信息库 标准地址和自然人口身份证号码进行三大库整合，使三大 相对独立的对象进行关联，有效的实现地理、人口、组织 单位的紧密结合，从而构成完整的无锡新区基础信息数据 库，数据融合的过程如下图所示：（1）主体对象表抽取）主体对象表抽取对各个部门采集数据进行清洗后，将信息过后的数据分 主次抽取，抽取地理、人口、组织单位三大主体对象，形 成主体库。 其中地理信息库主表，主要由地理信息构成，以地址信 息 id 为主键，详细地址信息为主要字段，形成地址信息库 主表。 自然人口信息库主表，主要由公安自然人口信息构成， 以人口信息 id（或身份证号）为主键，以自然人口地址信息、自然人姓名、性别等信息为主要字段，形成自然人口 信息库主表。 组织单位信息库主表，主要由工商企业登记信息、编办 事业单位信息、民政社会团体、民办非企业单位及质监局 的组织机构代码颁证信息构成，以组织单位 id 为主键，以 工商注册号、组织机构代码证、组织单位名称、注册地址、 办公地址等信息为主要字段，形成组织单位信息库主表。 （2）主题表关联）主题表关联各主题库通过对应的主题表中的主键相互关联，如组织单位主题表通过企业地址与地址信息主题表关联、人口主题表通过人员居住地址与地理信息主题表关联、自然人主题表通过身份证号与组织单位主题表关联。（3）业务属性信息关联）业务属性信息关联 以主题表关联形成了数据关联融合的整体框架，各业务 属性信息之间也需要通过相应的主键进行关联，如自然人 口民政、劳动、计生、卫生信息等为属性专题数据表，通 过身份证号与自然人主题表关联。（4）属性信息与地理信息的关联）属性信息与地理信息的关联属性信息与地理信息的关联地址编码主要通过地址编码实现。地址编码的过程通常包括两个明确的步骤，即地址标准化和地址匹配。地址标准化是指在进行地址编码之前，将道路地址处理为一种熟悉的、常用的格式，纠正道路和地址名称的形式等。目前宁波市规划局已经采集了 20 多万条标准地址数据，具备了地址匹配的基础条件。地址匹配指确定具体地址事件的空间位置，并且将其绘制在地图上，最终目标是为给定地址，如：企业地址、人员居住地址等返回最准确的匹配结果，并通过 GIS 服务器在地图上找到并标明每条地址所对应的位置。地址编码的方式有 3 种：定位到道路、定位到区域以及定位到道路和定位到区域相结合的方式。定位到道路：是通过道路名和门牌号码进行匹配，在参考主题中每一个路段都具有道路名和起止门牌号码信息，在地理编码时，首先首先根据地址信息中道路名找到参考主题中相同名称的路段，然后根据地址信息中的门牌号及每个路段的起止门牌号码信息找到门牌号所在路段，最后根据门牌号及该路段的起止门牌号码信息进行内插确定该记录在该路段上的位置。定位到区域：将地址中具有区域属性的记录与地图地址相应属性的区域记录进行比较，如果匹配成功，则将待查地址区域以点要素形式生成在地图的相应区域内。定位到区域以及定位到道路和定位到区域相结合的方式：是将上述两个方法折中的方式来实现的。采用地址编码的优点：信息自动匹配，信息自动关联融合，减少了人力物力开销。缺点：匹配信息存在不准确现象，系统实现过程复杂。1.1.1.41.1.1.4 数据仓库数据仓库层层随着无锡智慧新区数据融合服务平台将越来越多的部门 数据收集整合起来，信息共享平台数据内容越来越复杂，更多的数据信息无法得到有效的分析利用。而随着社会信 息化的快速发展，平台用户决策任务越来越重，决策频率 也越来越高，原始的数据分析已经无法负荷这种大量度、 高频率、多维度的决策支持工作，为此信息共享平台引入 数据仓库技术。 数据仓库是一个面向主题、集成的、非易失的、随时间 变化的数据集合，能够对平台数据进行分类、元数据抽取、 数据统计、模型搭建、历史数据存储等操作，为智能分析 提供多角度、多层次、多时间面的数据支持，方便智能分 析中数据统计，利用数据仓库，新的分析需求无需从原始 数据进行重新归总统计，可直接利用初步综合数据或中度 综合数据甚至高度综合数据，从而节约数据分析时间，快 速支持用户决策，同时也节约了分析系统设计开发成本。 数据仓库还存放了大量的历史统计静态数据，对于以时 间为主线的环比、同比、趋势等分析可提供直接的数据支 持，不需向原始的数据分析那样去调用原始的历史数据来 重复统计，也解决有些数据无历史数据记录的弊端。1.1.1.51.1.1.5 数据应用层数据应用层应用系统是数据融合服务平台建设的目的，通过应用系统的建设，充分发挥基础人口、组织单位库和地理信息库融合以及多部门信息整合的优势，满足以往做不好或者不能做的业务应用，以各种灵活的方式为用户提供应用服务，例如部门共享应用、智慧社区、政府应用、领导桌面、智能分析、权限管理、全面审计、数据目录、单点登录、公众服务等。1.1.2架构优势架构优势（1）不脱离国家基础资源库标准规范体系，充分利用已有的建设成果；（2）提供了更加深入的数据融合功能，为城市的综合管理、委办局的协同工作、智慧应用的全面服务奠定了基础；（3）提供了便捷的数据利用方式，能够使云计算中心的信息资源得到有效的利用；（4）数据的收集、清洗、比对、核查、建库形成了完整的闭环，保证了数据的完整性和现势性；（5）采用先进的技术，保证了服务良好的扩展性和实用性；（6）以空间位置信息为枢纽组织全区的基础数据，具有直观性和广泛的业务关联性，极大的提升了数据利用的效率和范围。1.1.3建设内容建设内容本项目的建设内容包括对需要采集的信息资源的梳理和建设基础数据库，同时建设保证基础数据库数据持续更新及利用的数据交换系统、数据加工处理系统、数据目录系统、数据综合展现系统、数据分析挖掘系统、数据共享服务系统、统一管理系统、数据标准规范体系和安全体系等，具体包括：（1） 信息资源梳理针对城市各委办局信息资源的现状进行摸底调研，制定统一的信息资源标准规范，并参照标准规范采集、梳理公安局、工商局、计生局、民政局等政府部门的信息资源，形成信息资源目录体系，为实现具有普遍性的信息资源整合打下基础。（2） 基础数据库建库建立由人口、法人、空间等基础信息资源、城市视频、文档数据构成的数据库，其中人口基础信息资源包含人口原始库、人口库（人口核心信息表、人口扩展信息表） ；法人基础信息资源包含法人原始库、法人库（法人核心信息表、法人扩展信息表；空间地理基础信息资源包括空间地址信息表、地理信息图层、政务信息图层、公众服务图层等；物联网数据库则主要从各物联网项目中抽取实时监控的全媒体数据，实现多种监控手段的统一，构建可视化的物联网系统的数据全面的存储；同时基础数据库内容还包括各种文档数据。（3） 数据交换系统建设数据交换系统，实现各政府机构人口、法人、空间地理等基础信息的数据交换。满足在线实时或非实时数据交换的目标，为基础数据库建设获取数据信息。数据交换系统核心的功能包括了数据桥接子系统、数据传输子系统、前置交换子系统和交换管理监控子系统。无论是政务外网应用、专网应用均能够利用数据交换平台便捷、安全、高效的进行数据交换。（4） 数据加工处理系统数据加工处理系统是对通过数据交换系统交换到无锡智慧新区数据融合服务平台前置交换信息库的数据进行清洗、比对、整理后，实现数据准确无误进入数据库，并将异常数据反馈给相关委办局。数据加工处理系统的建设目的是为了保证数据的动态准确性，需要对政府基础数据库的信息进行加工处理。根据数据的具体情况，设定数据的比对、清洗流程、规则，实现对数据的自动化清洗和比对，并针对数据来源对异常数据进行反馈，并将处理完成的数据进入数据融合服务平台的中心数据库。（5） 数据融合系统数据融合系统主要实现对不同来源数据的关联和融合，从而使得数据能够对人口的全生命周期、事件的全流程进行描述。数据融合系统的功能包括数据关联绑定，实现基础数据（人口、法人） 、物联网数据、空间地理数据之间的关联。数据融合系统另一个核心功能是实现不同来源的同一数据的关联绑定，从而实现各部门虽然能够采用部门数据标准，但能够在区域层面上实现数据的标准统一。（6） 数据目录系统数据目录系统是维护无锡智慧新区数据融合服务平台的展示中心，其目的是让用户能够在不接触数据的情况下，对数据的属性能够有清晰地了解。数据目录系统的功能包括目录管理，元数据管理，数据源信息注册，资源目录展示等功能。（7） 数据仓库数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合。数据仓库的重点与要求是能够准确、安全、可靠地从无锡智慧新区数据融合服务平台数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。数据仓库主要是应用于决策支持系统，其主要目的是“提取”信息并加以扩展，用来进行处理基于数据仓库的决策支持系统(DSS)的应用。在无锡智慧新区数据融合服务平台的建设中，通过将基础数据、物联网数据、空间数据、文档数据根据具体的应用主题，抽取到数据仓库中，从而为政务业务的开展、政府的决策和管理、对公众的服务等业务决策提供依据。本方案中涉及的数据仓库主要功能有： 原始数据抽取：将数据融合服务平台现有的原始数据进行结构化分析，提取客观可供分析使用的原始数据，填充到数据仓库，用作数据分析的基础颗粒数据。 数据建模：根据数据仓库中的基础数据颗粒，进行维度挑拣，设置维度划分口径，搭建数据分析模型。 数据切片综合：根据数据模型中多种维度，对原始颗粒数据进行多维度切片，并进行多层次的综合，形成轻度、中度、高度、综合的统计数据。 历史数据存储：设置统计周期，将每次统计出来的数据结果进行存储，保存所有的历史分析记录，为历史同比、趋势分析提供直接的数据支持。（8） 数据综合展现及搜索系统数据综合展现系统分别利用图表、地图、视频等多种手段对综合性数据进行呈现和展示，从而为数据可视化提供必要的工具和手段，利用可视化的手段，去芜存菁，抽取关键数据进行展示和应用。可以分别采用二维地图、三维地图、遥感影像地图、视频物联网数据融合展示等多种手段进行展现。通过数据搜索系统，能够便捷的在海量数据中搜索出所需要的数据内容、数据分类等，从而为数据的充分利用提供工具。（9） 数据分析挖掘系统数据分析挖掘系统主要是通过利用无锡云计算中心处理平台强大的计算资源，利用 BI 和数据仓库工具，实现对融合数据的深入分析，满足政府决策和社会综合管理的需求。数据的分析和挖掘主要分为两个部分，分别为指标分析和数据深度挖掘。指标分析是根据政府管理需要，设定对管理决策有意义的指标，利用分析挖掘系统的数据关联关系，对指标进行呈现；数据深度挖掘是根据业务需要，用数据量化方式，并开发一定的算法，对业务目标进行综合评估。（10）数据共享服务系统数据共享服务系统基于无锡智慧新区数据融合服务平台的数据库，系统通过接口将各个行政部门数据进行开放，同时也向各个行政部门提供将清洗整合、统计分析的数据，实现信息共享平台的“各有所供、各有所用”的设计思想。数据共享有多种方式，可以通过应用服务中心的数据应用服务接口，也可以通过数据采集时所使用的部分交换模式，包括数据库对接模式、excel 交换模式、Web Service 接口模式。（11）信息资源开放系统开发信息资源开放系统，该平台与数据融合服务平台的进行逻辑上隔离，经过加工处理，不涉及隐私安全的信息针对应用系通过开发企业、独立 ISV 等服务提供商提供数据服务进行开放，从而促进数据向公共服务的转化。（12）平台运营系统平台运营系统对整个平台的运行情况进行管理和监控，能够对数据交换情况、信息的访问情况、应用接口的调用情况、数据访问日志、热点数据、进行统一的管理和分析，根据运营需要生成平台的运行报表。（13）统一管理系统统一管理系统包括两方面内容：单点登录和统一权限管理。由于用户相对分散且涉及多个行政管理部门和企事业单位，也会涉及到个人用户，同时还将集中海量数据应用。介于这种多用户，多应用的平台，系统构建统一管理系统，实现统一用户管理，统一组织架构管理，统一登录管理，减少用户、组织架构维护成本，解决用户各个应用系统都要登录的弊端。各个系统集，只需维护自身系统权限即可。（14）信息标准规范体系基础信息标准规范体系包括数据规范和信息系统管理规范。数据规范包括信息分类、信息资源目录、元数据、数据审核、数据注册、数据建设、信息服务等标准和规范。（15）数据安全管理体系数据安全管理，顾名思义就是要保护数据信息免受威胁的影响，从而确保无锡智慧新区数据融合服务平台的连续性，缩减业务平台有可能面临的风险，为整个业务平台部门的长期正常运行提供强有力的保障。在信息安全中，最活跃的因素是人，对人的管理包括法律、法规与政策的约束、安全指南的帮助、安全意识的提高、安全技能的培训、人力资源管理措施以及企业文化的熏陶，系统的正常运营实现都是以完备的安全管理政策和制度为前提。这里所说的安全管理制度包括信息安全工作的总体方针、策略、规范各种安全管理活动的管理制度以及管理人员或操作人员日常操作的操作规程。1.21.2平台信息资源数据分析平台信息资源数据分析无锡智慧新区数据融合服务平台的数据不应该仅仅包含基础数据，更重要的是动态数据和事件过程数据。在平台建设中，相关的数据分别为：（1）基础数据：也就是信息资源中心中经常提起四大基础资源库（住建部智慧城市中提出了五大基础资源库，在人口库、法人库、空间地理库、宏观经济库的基础上，根据住建部门的管理范围，增加了建筑物数据库） ，从各部门将相关的数据进行抽取比对，作为未来信息化项目建设的基础。基础数据主要来自各个业务部门，比如人口数据主要来自公安、民政、计生、卫生、人社等；法人数据主要来自工商、质监、安监、国税、地税等部门；空间地理数据主要来自国土、规划等部门。另外，公共基础数据除了上述数据外，还包括其他的基础数据，包括视频、地下管网、专业人员、雨量、天气、车辆等满足不同应用需求的多种数据。（2）实时动态数据：部门交换数据往往存在实时性差、更新不及时的问题，因而来自基层的实时动态数据往往具有无与伦比的价值。多地的基础数据平台建设过程中，实时动态数据均能得到各部门的青睐。建议在无锡智慧新区数据融合服务平台的建设过程中，能够通过整合基层人员实时采集人、地、事、物等信息，从而提升数据融合服务平台数据的价值，并且能够对各种数据进行比对和校准。（3）事件过程数据库。无论城市运行体征监测还是应急系统，均需要除基础信息之外的实时动态信息和事件过程数据。事件过程数据库可以从各部门应用系统抽取相关信息，一方面能够及时发现城市运行中的问题，更重要的是动态的信息为数据的分析和挖掘提供了必不可少的基础。而在后续的建设中，建议将民生服务大厅、各部门业务处理、企业运行监测相关数据注意纳入无锡智慧新区数据融合服务平台中，从而实现一站式数据公共服务。（4）物联网监测数据。目前物联网数据应用越来越广泛，其中应用最广泛的是视频监控数据、GPS/北斗监控数据；另外在各个行业里应用较多的数据包括噪音监测、空气质量检测、水环境监测等数据。无论是在长期的数据分析还是综合应急指挥，这些数据均能够作为基底数据发挥作用。因为，智慧新区数据融合服务平台的建设，并不是将基础数据汇聚整合的过程，而是一个将基础数据、事件过程数据和物联网数据等各种不同数据进行深度融合的过程。