城市大脑数字底座一网统管云平台建设解决方案.docx

《城市大脑数字底座一网统管云平台建设解决方案.docx》由会员分享，可在线阅读，更多相关《城市大脑数字底座一网统管云平台建设解决方案.docx（214页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、一中心I一门户.平安生产, .土地监测. 多图联审市域治理现代化济同办公-网通办-网统管办办办公事会政务服务国民放音 公共卫生 社会E务交通管理 保护 平安生产 市场监督壁技士本本地埴一网络交易 综合市场 -专业市场国区一53园区建设比水风险电教育云平台云墙平台失业保险社保版务公路桥梁.车载监控,GPS监控业务中台数据资源组织保.（数字党建）（解期）（数字监督）个人画像企业画像地理信息即时通信（敌钓砰）平安防护1g力法律法规保障智能调度消息中心智能客服数据展示主体信用画像客户风险画像载体态势分析事件智能发现任务智能调度内容精准推荐服务个性推送人口库法人库 空间地理库宏观经济库证照库公共平安人力

2、社保市场监管车辆库不动产库运营服务保障 标准规器体系自然资源生态环境城市管理开展改革工业信息农业农村财政税务现代数字城市底座（强后台，大中台）城市大脑一体化数字底座城市中枢平台建设方案三、一体化数字底座现代数字总体架构3.1现代数字城市总体架构设计一中心I一门户业务条线系统市域治理现代化平安生产健康医疗晒办公一网通办一网统管一网共治人资技士 U 力本木地境办办办公事会政务服务公共卫生 社会服务交通管理 珠境保护 平安生产 市场监管治安耆 应急管埋 网格管理智M社区一网络交易 综合市场 一专业市场衣业经济工业经济特色产业文化旅游园区建设河长制平台五险饯征教育Zx平台公路桥梁 车我监控 GPS监控

3、业务中台组织保降数字党陞）（决策支持）（数字监督）（数字考评）个人画像企业画像地理信息 即时通信智能调度消息中心智能客服 数据展示主体信用画像 客户风睑画像 载体态势分析 事件智能发现 任务智能调度 内容精准推荐 服务个性推送人口库法人库证照库车辆库不动产库空间地理库宏观经济库公共平安人力社保市场监管自然资源生态环境域市管理开展改革工业信息农业农村财政税务现代数字域市底座（强后台，大中台）平安防护能力法律法规保障运营服务保障 标准规范体系图：现代数字城市总体架构图现代数字城市是数字中国在地方的重要实践，遵循平安为先、需 求牵引、迭代开展和数据赋能建设原那么，以强后台和大中台的一体化 底座为基础

4、，以组织保障为核心，以市域治理现代化和高质量开展为 两条主线，通过一中心构建城市管理交互体系和一门户构建城市服务 交互体系。现代数字城市建设需要从整个城市开展视角进行规划设计，对城 市数据资源进行统一采集和存储，并借助新一代信息技术（如：AI、 物联网、大数据、区块链等），把服务城市共性、通用基础能力进行 统一建设，同时按照业务应用需求搭建业务能力中台，为协同办公、 一网通办、一网通管、一网共治的市域治理现代化和数据要素、数字 市场、数据产业、数字园区的高质量开展四梁八柱服务。数据归集系统应支持权限管理功能，权限管理应支持创立自定义 角色，通过自定义角色可给不同用户分配不同权限，实现权限的细化

5、 管理。处于平安考虑，不同用户之间的数据隔离。(7)租户管理数据归集系统应支持租户管理功能，通过租户管理，应支持创立 不同租户和创立租户的数据源、转换、作业等资源，租户空间下的资 源对租户内的所有成员用户可见，不同租户的资源要求必须隔离。租 户内的用户应支持创立自己的数据源、转换、作业等私有资源，私有 资源对于租户的成员是不可见的。(8)工具管理数据归集系统应支持工具管理功能，应支持批量作业、文件导入 等功能，批量作业应支持批量创立多表同步任务的场景，减少创立转 换和作业的工作量，实现快速同步任务的创立。数据采集主要内容包括：(1)市直单位、区县部门现有业务系统；(2)市直单位、区县部门未来新

6、建业务系统；(3)现有已建成的基础资源库，如人口库、法人、地理信息等；(4)现有已建成的主题资源库；同时要求在部门内部先对数据进行如下处理：整合规那么配置提供数据剔重、映射、转换、比对等数据整合规那么的动态配置功能。提供数据的关联和聚合处理功能，并能形成完整的数据视图。数据转换提供对数据格式、语义等不一致数据的数据转换功能，为公共信 息服务平台提供统一的、可识别、可处理的数据。提供主流的数据转换方法，包括字符串转换、字段赋值、数据比 对、数学运算、身份证格式转换等。提供数据比对可视化配置。数据稽核提供数据比对、核对等数据稽核功能，确保入库的数据准确性、完 整性和一致性。查询统计能够提供整合结果

7、信息的查询统计功能。321.4数据治理平台数据治理是建设过程中至关重要的局部，面向大数据应用提供高 价值数据支撑，确保大数据应用分析的准确性。数据治理面向用户提 供数据治理工具和数据管理工具，用户可通过该工具将汇聚到大数据 中心的“数据”转化为“价值信息”，让用户清晰地了解数据资产, 能像管理交换机、服务器一样管理数据资源，从而向大数据应用提供 正确的、高价值的数据保障大数据应用运行。数据治理包含数据数据标准管理、元数据管理、数据地图、数据 清洗、数据质量、系统管理等，在数据治理过程中提供一套成熟、稳 定的平台，功能特性表达在：(1)数据资产业务化管理：通过统一的术语表管理实现从业务 的视角对

8、平台各类型数据实体进行分类管理，并支持各类元数据的全 文搜索，给用户提供平台活动和业务数据的全景视图，形成数据的业 务上下文，让数据的业务关系脉络变得更加清晰和容易理解；并且支 持将数据在权限范围内以API、原始数据导出等不同方式交付。(2)数据分布和动态变化的实时跟踪：通过丰富直观的图形展 示数据的数量、分布、构成、来源、去向等关键信息，帮助用户从总 体角度把握数据分布情况和动态变化的趋势，了解数据的流向以及数 据之间的相互关系，供用户进行业务问题的溯源分析和影响分析。(3)按模型驱动进行数据整合：按主题类目对统一模型进行管 理和变化跟踪，实现流程化的模型驱动的多源数据的整合，保障按照 统一

9、的模型来生成核心业务数据，并帮助用户从业务角度来管理、使 用数据，促进用户对数据业务含义的理解。(4)保障数据治理的标准规范性：通过对数据对象、代码、术 语、指标等定义和使用的标准化管理，保障数据在处理环节的互通性, 加速实现数据的整合，促进数据质量的改进,并形成规范统一的业务 口径，提升业务规范性，消除歧义，使业务沟通更顺畅，并提升信息 共享度。(5)流程化的数据质量体系：从组织管理、流程、技术、日常 运维等角度，提供图形化的数据质量监控和清洗工具，帮助用户进行 全流程的数据质量监控和提升，建立全面的质量评分体系，实现流程 化的质量评估和绩效考核机制.(6)实现高效的数据集中：通过形成对大量

10、数据源系统的集中 视图、开放灵活的源接口管理、高性能和高可靠的集成任务，平安保 障和来源可溯的目标数据的综合管理，帮助用户进行快速高效的数据 大集中。数据归集治理平台的主要建设内容：数据标准管理数据标准是一套符合XX市大数据工程实际建设要求，涵盖定义、 操作、应用多层次数据的标准化体系。数据标准的建立必须遵循一个 统一的标准进行组织，才能构成一个可流通、可共享的信息平台。数据治理对标准的需求可以划分为两类，即基础性标准和应用性 标准。基础性标准主要用于在不同系统间，形成信息的一致理解和统 一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分 类与编码、数据字典、数字地图标准；应用性标准

11、是为平台功能发挥 所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和 交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质 量标准等。(1)数据分类与编码数据分类与编码标准是信息化建设中标准化的一项基础工作，该 类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及 编码规那么，目的是在不同系统和用户之间建立交通数据的一致参照, 对提高数据采集、处理和数据交换效率具有重要作用。数据分类与编 码标准的制定将有力推进平台标准化及交通信息化建设标准化的进 程。(2)数据字典针对实际需求，定义数据集，建立各个领域的数据字典，规范数 据概念和数据定义。在此基础上，形成完备的数据集

12、和数据字典。32142元数据管理元数据是进行数据治理和运营的基础，通过集中的元数据服务, 采集各个组成模块的元数据进行集中管理，根据元数据的信息进行数 据的生命周期管理，获得数据的血缘信息及数据地图展现，基于元数 据还可以通过统一的门户方便各种角色的用户进行数据的管理和控 制。元数据管理为数据集成、数据质量管理、数据加工整合、日常运 行维护、数据平安管理和业务应用提供基础能力支持。元数据管理覆 盖元数据采集、元数据存储、元数据浏览、元数据查询、元数据导入 导出等。 元数据采集元数据采集既可以从数据库、数据词典等进行采集和管理，也可 以通过Excel导入的方式采集元数据。 元数据存储元数据存储分

13、为技术元数据、业务元数据、管理元数据三类。技术元数据：描述技术领域相关概念、关系和规那么的数据，主要 包括对数据结构、数据处理过程的特征描述。业务元数据是描述业务领域相关概念、关系和规那么的数据，主要 包括业务术语、业务描述、指标定义和业务规那么、维度定义等信息。管理元数据是描述管理领域相关概念、关系和规那么的数据，主要 包括人员角色、岗位职责、管理流程、数据敏感度、数据权限等信息。 元数据浏览元数据展示当前系统中存储的元数据信息，并能在界面中浏览该 元数据的详细信息。 元数据查询具备元数据查询功能，可通过关键字模糊匹配的方式搜索元数据 信息。 元数据导入导出元数据信息可以导出到本地保存，也可

14、以将本地的元数据信息加 载到系统中。 元数据统一管理以元数据为核心对数据资产进行管理，包括业务元数据、技术元 数据等。系统从各类数据源中提取元数据，数据源包括日志信息、文 件、关系数据库、ETL程序、业务定义文件或系统，提取相关的元数据 后经过桥接系统对应的模块转化成通用元模型定义的格式，存储到元 数据库中，符合CWM标准定义。 基于机器学习的数据元和表字段推荐在数据治理过程中，面对数据元和数据表字段数据量都很大的情 况，实现数据源和表字段关联将是一项工作量巨大的事情。通过机器学习推荐的方式，建立数据元和表字段的数据关联。通 过机器学习推荐方式，使用关联文本推荐（Related TextRec

15、ommendation,简称RTR）系统，根据语义相似度自动关联数据元 到数据表的某个字段，完成数据表字段与标准数据元的关联关系配置, 降低操作人员的使用复杂度和工作量。32143拖拽式数据清洗转换能力提供可视化的数据清洗转换，托拉拽操作实现清洗转换功能。规 那么组件包括去除空白字符、去除特定字符、大小写转换、数据脱敏、 汉语转拼音、同义词替换、身份证校验转换、身份证信息提取、日期 拆分、字符串截取、转换为字符串、转为Unix时间戳、全角半角转换、 多表合并、多列合并、拆分列、数据分组合并、空值填充、日期标准 化、 号码清洗、分区标准化、历史拉链表、实时业务表和SQL清 洗等。数据治理人员在工

16、作画板区域内拖拽各种清洗组件，形成数据清 洗工作流，从而方便快捷的完成数据清洗治理工作，并且对业务节点 进行试运行操作，防止因错误配置产生的大量系统负担。可视化的数据建模管理提供可视化数据建模功能，通过可视化的方式在线编辑即可完成 主题域模型、逻辑模型、实体、实体属性、物理模型的创立和维护工 作，按照业务需求修改逻辑模型可同步到物理模型，在线进行物理模 型字段映射关系可视化配置，并自动生成数据加工任务，配置方式包 括但不限垂直拆分、水平拆分、多表联合、多表连接、自定义映射等。32145数据地图数据地图面向数据开发者，汇聚用户所有数据信息，通过元数据 信息收集、数据血缘探查、数据权限申请授权等手

17、段，帮助完成数据 信息的收集和管理，解决数据开发者有哪些数据可用“、“到哪里可以 找到数据的难题，并且提升数据资源的利用率，数据地图包含以下 功能：(1)数据概览展示面向开发者和管理者的数据资产情况，展示当前总工程数、 总表数、占用存储量、消耗存储量，占用存储TOP排行等；(2)数据表详情展示数据表的详细信息，如表字段信息、分区信息、数据产出信 息、变更历史、血缘信息。(3)字段信息通过字段信息可以了解表的结构,甚至可以通过这些基础信息直 接获得表的DDL语句，以完成类似数据表结构的建设；(4)分区信息当该数据表存在分区，即可了解通过分区信息可以看到表的分区 情况，每个分区大小、数据量的波动情

18、况，了解产出数据在数据量上 的稳定性。(5)产出信息通过产出信息可以推断表产出时间的波动情况，在依赖该表时可以推算下游表的产出时间及是否可以稳定产出。(6)历史变更可以了解表级别、字段级别、分区级别的修改情况，从而推断表结构稳定性、变化频率等特征。(7) API数据资产展示API资源的详细信息和对应使用情况。包括对应API类型、API 地址、API调用参数信息、API返回数据信息、API错误码信息等。(8)数据权限用户可在数据权限中，完成对数据表和API的权限申请和审批过 程，并提供申请的全部历史信息情况。(9)元数据信息编辑对应数据表管理者可在数据表中，对不完整的数据资源信息进行 修改说明，

19、完善业务信息上下文，让管理者和使用者能更清晰了解其 业务含义。32146数据血缘管理数据从源到目的地，经过大量的功能模块的处理和传递，呈现在 业务用户面前，很多时候需要对数据的来龙去脉进行分析。数据管理 平台通过元数据模块以历史事实的方式记录每项数据的来源、处理过 程、应用对接情况等，记录了数据表在治理过程中的全链血缘关系, 基于这些血缘关系信息，可以轻松的进行影响分析，以数据流向为主 线的血缘追溯等功能，从而提升报表信息的可信度，为政务部门数据 的合规性提供验证手段，帮助业务部门实现信息共享、提升协调工作 效率。数据血缘分析在任务调度过程中非常重要，能够完整、清晰的展 现任务执行情况，当某个

20、任务执行失败，立刻告警，并能够看到由于 该任务失败影响的范围，同时，向前追溯可能导致该任务失败的前置 任务，快速有效的帮助运维人员及时发现问题、处理问题、解决问题。用户可以根据数据库血缘清晰的查看数据的总体流向，支持库级、 表级、字段级血缘分析。中选择了某个特定的数据表之后，就可以展 示与该表关联的所有表，而且还可以根据层级进行筛选，并且辅以展 示相关的统计信息。数据血缘需支持数据表之间的血缘、数据库之间的数据流向血缘、 数据处理任务血缘、工作流血缘等明细信息的展示。在展示数据血缘 信息时，还可以进一步查看数据表血缘明细信息，例如数据表之间是 通过什么处理生成的关系，包括处理的时间、类型、日志

21、等相关信息。 32147数据质量监控数据质量不高将导致数据仓库应用准确度不高，造成开发出来的 系统与用户的预期大相径庭，数据资源是大数据中心的战略资源，合 理有效的使用正确的数据能指导各政务部门做出正确的决策，提高综 合竞争力。为了保证应用采用数据的有效性，必须保证数据的正确性、真实 性、完整性、唯一性、一致性等特性，需要一套智能化、自动化的系 统保证数据的质量。(1)监控规那么3.2 一体化数字底座设计数据中台设计结合政府、公众数据整合分析需求，网络基础设施环境等基础 条件。整个数据中台由大数据存储计算平台、数据归集平台、数据 治理平台、数据开发平台、数据资源支撑平台、部门分析平台以及 数据

22、服务平台等局部组成，各层逻辑上独立，由用户接口互联，形 成一个有机的整体。同时考虑与已有业务平台之间关系，综合考虑 建设。以数据共享开放平台、视频融合平台以及物联网平台为基础 数据源入口。各个平台的数据流程大致如下：其它部门上用4 b运营管理综合展示爱泰州APP一体化政务服务互联网+监_g_八泰州市数据中台数据资源平台数归治平据集理台主题库数据共享开放平台应用支撑平台数据资源支撑平台大数据存储计算平台视频融合平台据发台数开平物联网平台数据标准体系数据平安体系部门 应用库!;区县应用接口应用库部口勤;；互联网数据第三方数 据物联网t数据I部门 应用接口图：平台数据流程搭建大数据集成体系，整合现有

23、数据平台，推动政府部门数据 资源共享，支持高效的集成海量来自于不同网络、不同系统和不同 数据类型的数据。数据质量监控支持灵活的规那么配置，提供基础规那么模板，拥有完 备的数据质量度量标准。模板提供如波动阈值比拟、固定值比拟等度 量方式，覆盖字段级、表级规那么，包含空值、唯一值、离散值、最大 值、最小值、平均值、汇总值等规那么。(2)自定义规那么支持自定义编写规那么表达式，支持标准SQL形式的自定义规那么及 UDF规那么。(3)并发可用型规那么采集引擎支持可配的资源池，且支持水平扩展。此外，数据 质量提供可靠的容错机制，保障采集作业状态的一致性和正确性。(4)智能优先级保障规那么采集引擎执行层面

24、，提供优先级错峰保障机制，在资源有限 情况下，保障强规那么的任务能够得到第一时间的执行,在资源空闲时， 弱规那么的任务能够得到有效的执行。(5)质量报警当出现质量问题触发规那么时，对应负责人会收到相应的报警提示, 及时对数据质量进行处理优化。(6)质量总览为数据质量管理人员提供监控总览情况，用户可展现目前数据质 量总体/个人所监控的表的总数、配置的规那么总数和今日运行任务情 况的统计信息。对被监控对象进行相关维度的波动分析功能，实现对表波动检查 和字段波动检查。采用同比和环比等方式校验数据波动性，确认所传 数据从记录数目和数据量两个维度的总量和增量是否正确。如果在波 动检查过程中，发现和配置的

25、检查规那么不一致的情况时，提交相应的 告警信息。提供对数据表字段空值率、合法率检查功能，能够统计生成数据 质量完整性和合法性评估报告，并支持下载。完整性评估：不完整比 率即空值字段占比，是指每张表的不完整列的比率，即不完整字段数 /字段总数。值域合法率：合法值数/有值总数。(7)预置多种监控分析规那么根据预定义规那么对数据进行质量监控功能，从而保证系统所提供 数据的可用性与正确性。质量监控规那么包括布尔分析、完整性分析、 标准值域分析、枚举值分析、数值分析、唯一性分析、数值分布、唯 一性分析、数值分布分析、外键检查分析、日期分析、日期范围分析。 针对数据库表可以调用上述质量监控规那么进行数据质

26、量监测。32148多租户的数据治理数据治理支持多租户管理，各租户可独立完成数据的清洗治理， 租户之间的数据完全隔离。租户是用户进行数据治理的基本单位，通过多租户逻辑隔离的软 硬件资源共享机制，实现租户内的不同部门和用户的数据平安管控体数据开发平台数据开发平台面向：大数据业务分析人员、设计测试人员、业务 管理维护人员、数据集成商，为大数据平台集成和应用业务开发部 门提供一个快速、可靠、准确、可复用的业务开发生成环境，实现大 数据与行业领域知识高效融合，形成快速市场应用业务生成能力。最 终，建立支撑大数据应用业务的生态体系。通过数据分析模型化的 过程，具备3大统一、1大自动化理念。三大统一L大数据

27、分析语言和分析工具的统一：集成了各类大数据分析语言与 分析工具，用不同类型的模型代替不同的语言和工具，形成了多样化 分析模型的统一大数据分析架构与平台。2 .业务分析与实施过程的统一：形成了大数据分析过程的统一流程化 过程，将大数据分析工作的任务与从事人员通过统一的流成实现了大 数据分析技术与行业领域知识高效融合和流程化管理模式。3 .业务开发与管理维护的统一：通过统一的平台将大数据应用业务的 开发与业务管理进行了统一，便捷了业务的共享、管理与运维。一大 自动化：实现了分析逻辑- 分析实现-测试验证-调度运行- 运行结果数 据展示的自动化流程和模型的自动化解释、部署、环节准备与调度 运行关键环

28、节，屏蔽了底层系统配置等对分析人员的可见性。321.5.1 数据开发主要功能数据开发平台需包含模型管理、模型可视化设计、基础模型管理等开发模块，以及数据发现准备，元数据管理等管理模块。321.5.2 可据视化模型开发（模型设计）.提供多种大数据分析模型开发环境的支持支持单独的Mapreduce大数据分析模型开发环境、Spark大 数据分析模型开发环境、Hive大数据分析开发环境、Sqoop大数 据开发环境、日asticsaerch”“等各类大数据组件的混合开发环境。也 提供可扩展的Java. Scala、Python程序程序块执行环境。因而支 撑多样化的分析业务与模型的混合开发。1 .平台支撑

29、批处理Mapreduce和流式处理Spark双引擎。2 .可视化业务便捷开发提供Web化的可视化快速业务开发方式，支持多种大数据分 析模型开发环境，具备可视化的业务模型设计能力、可视化的数据查 询与运行结果数据查看能力。开发的大数据业务模型任务可以直接部 署到大数据基础运行环境上进行运行。开发人员通过数据流模式的 程序设计功能建立一连串的数据流程图。完整的图形接口允许开发人 员使用GUI拖放功能来描绘出企业内部的数据流。多样性的功能模 型、处理语言模型、强大的调试排错功能以及允许使用扩展的外部 java程序代码和Scala、Python、Hive、sqoop脚本的开放式基础 扩展模型都可让开发

30、人员在设计时更得心应手。预设基础模型库数据开发平台提供业界最为广泛流行的数据整合与分析模型 AI的基础模型库，提供了 100+大量内建模型与程序，包含：1）统计模型、2）数据转换模型、3）数据输入模型、4）数据输 出模型、5）表分析模型、6）分类模型、7）表查询模型、8） 聚类模型、9）关联分析模型、10）时序分析模型、11）推荐 模型、12）回归模型、13）机器学习模型、14）因子分析模型、 15）采样算法、16）决策方法、17）判别分析等类别模型。供 开发人员选取使用。模型提交运行与日志跟踪提供模型提交预览与自动化模型解释、准备与运行功能，所设 计的模型可以直接提交给大数据运行环境进行运行

31、。AI提供本地日 志查看功能，设计人员可以使用内建的日志功能来监视业务模型的 工作过程。您也可以将日志通过其接口输出到远端数据库，并直接 使用各种企业日程管理工具来监控数据处理任务。运行结果数据查看提供对模型运行结果直接查看的功能，方便业务开发人员对业 务模型进行验证、调优。模型管理与调度/资源管理1 .模型管理主要提供模型检索；模型信息查阅，模型元数据查看，运行日志 即情况查看；对其他用户发布的模型进行使用模型申请；对其他 用户申请的模型使用进行审批；模型发布；模型类别配属等功能。2 .资源管理（我的资源库）对数据建模分析过程中需要用到的JDBC驱动程序，第三方Lib,jar包，流接口，私有

32、模型插件进行管理。3 .调度规划提供了丰富灵活的模型运行调度规划策略，用户可以发起及时调 度、多种方案的定时调度和多种方案的周期任务调度规划。4 .调度监控系统提供了三级日志跟踪与查阅功能，可以对调度任务日志 进行详细跟踪与查看。同时提供了任务执行流程示意图，根据该 示意图，用户可以清晰的判断业务模型的执行情况，诊断执行问 题，快速定位模型问题并加以修正。5 .系统运维管理提供界面化得系统运维管理。6 .自动化模型解释对不同类型的数据流程模型自动化的解释为大数据系统能够 识别的 Mapreduce、sqoop、hive、R 程序单元。7 .自动化模型运行环境准备自动化的完成模型运行环境准备、采

33、用权限认证服务对模型 运行权限进行自动化认证，提交可运行任务调度请求。8 .第三方模型插件功能扩展系统是强大的开放式环境，基于插件架构，支撑大量的用户 自定义模型插件，用户自定义插件可以通过系统的基础模型管理 功能对自定义模型进行增添删除管理。部门分析平台数据展现是将数据仓库中的数据以更为灵活、直观、可视化的方 式展示，使用户快速、准确、方便地得到数据背后的知识。数据仓库 建成后，选择功能强大的分析平台及前端展现工具至关重要。数据挖 掘(Data Mining)是从海量的数据中挖掘出可能有潜在价值的信息的 技术。这些信息是可能有潜在价值的，支持决策，可以为企业带来利 益。1 .大数据可视化展示

34、系统目标结合业务需求，大数据可视化展示系统目标是：适合于传统BI应用系统、大数据分析系统和传统信息管理系 统的快速展示与设计平台，提供数据展示的设计器和展现平台。基于可视化设计风格和控件的通用数据展示设计工具，提供 给设计人员简便的可视化设计功能，为应用系统的数据展示开发提供 有力的支撑性工具。设计工具可运行于Windows和Linux系统。 展现平台与目前的ETL数据集成平台能够对接，实现数据仓 库的数据展现。2 .大数据可视化展示系统功能数据可视化展示系统能提供Web页面展示功能，支持从JDBC、 OLAP、XML、Table. ETL或者其他自定义的数据源设计出灵活的、丰 富的数据展示页

35、面及报表。其报表设计器提供了多种格式化选项，可 以控制数据的访问和表现形式。最终用户可以进行钻取、对信息进行 排序和过滤、打印，也可以通过报表工具将报表导出为PDF、Excel、CSV、HTML和RTF等格式。详细功能如下：(1)面向SOA的BI业务快速设计系统由服务器和客服端组成。客服端包含了 BI业务建模与流程 设计器、元数据管理器、商业规那么设计器和报表设计器等系列设计工 具，提供给企业构建商业智能中从上至下从业务流程、业务模型，商 业规那么、数据模型、展示报表完整的设计系统，方便用户快速建立自 己的BI业务。(2) BI业务展现通过Server端提供了基于WEB和传统报表业务的BI快速

36、展现 功能，用户能够在服务器端将设计的BI业务进行快速部署，并获得 BI业务数据的展现。(3) BI的WEB多维分析结合后台强大的多维分析引擎和前台多维分析界面，提供基于 WEB的多维分析(WEB-OLAP)操作，操作简便，交互性友好，并支 持WEB页面上的拖拉拽操作。(4)应用集成平台BI系统提供了支持第三方应用集成与管理的应用式总线架构，可 以方便的集成和管理第三方商业应用，并通过一体化的调度机制和业 务流机制将第三方应用融合平台拓展平台功能和业务范围。(5)广泛的数据访问功能广泛的数据访问，通过简单地访问任何企业数据以满足最终用户 的信息需求，可以直接访问任何关系型数据库、OLAP、XM

37、L或者其他交换接入系统中的数据，灵活地控制数据连接。(6)强大的报表设计功能提供直观的、可拖放对象的、交互性用户界面，提供可选的向导 工具以简化常见的报表任务，例如连接数据源、选择、分组、排序和 汇总。提供强大的公式函数库，以控制报表的格式、复杂的逻辑和数 据选择。提供丰富的数据表现，可以创立几乎任何格式的报表，包括 汇总/钻取报表、表单、邮件标签、OLAP.子报表等，通过选择合适 的地图和图形类型增强报表的表现力，例如柱状图、3维柱状图、饼 图、圆环图、曲线图、甘特图、漏斗图、XY散列图、区域地图等。集成BI数据建模工具形成模型设计到展示的一体化过程。在大数据分析兴起的背景下，人类分析数据的

38、能力已经远远落后 于获取数据的能力。这个挑战不仅在于数据规模、高维、多元，更重 要的是数据获取的动态性、数据内容的噪声和互相矛盾、数据关系的 异构与异质性。数据可视化技术综合运用计算机图形学、图像处理、人机交互等 技术，将采集或模拟的数据变换为可识别的图形符号、图像或动画, 并以此呈现对用户有价值的信息。用户通过对可视化的感知，使用可 视化交互工具进行数据分析，获取有价值的信息。数据可视化平台为源数据及软课题成果提供全面、交互、多维度、 动态展示，针对每一组特定的数据，开发可视化主题展示页面。展示 效果由专业的数据可视化设计、开发团队保证。32161统计数据可视化统计图表是数据可视化产品的基本

39、组成元素，需要具备直观、清 晰、准确等特点。对于不同的数据类型，需要选用合适的统计图表来 表达。在数据维度较多时，还需要提供一定的交互手段来对数据筛选 过滤，从而符合“总览为先、缩放过滤、按需查看细节”的可视化设 计要求。点图通过离散的数据点的2维空间分布，表现2维数据之间的关系, 或者高维数据在2维平面上的投影。线图大数据计算存储平台通过新建大数据计算存储平台，为政府各部门用户提供数据开发、 算法开发等可视化的一站式数据开发服务支撑平台。平台需支持多租 户隔离，保障多层级业务数据的平安隔离及租户间的授权共享。平台 应具备强大的数据标准定义、可视化数据清洗、数据处理作业开发、 算法定义、模型开

40、发等功能，满足5G、物联网、AI等新技术对大数据 基础平台的要求。大数据计算存储平台支持多租户、工程空间的管理模式，能够实 现数据物理集中逻辑隔离，为各部门开辟单独的逻辑数据隔离区，满 足未来市级各部门的数据计算开发、数据分析探索的需求。大数据计算存储平台实现对物理资源的弹性化服务，计算资源弹 性伸缩、按需分配。通过建设基于大数据架构的计算存储平台实现全 面扩展数据采集、存储、计算、和应用服务能力，满足未来城市级大 数据中心建设需求。大数据计算存储平台要求融合分布式存储与计算、分布式数据仓 库以及互联网云计算服务等技术，以分布式计算服务的形式实现海量 数据的存储与处理。大数据存储计算需提供运维

41、管理平台，能够更快 速的解决海量数据计算问题，支持多租户架构，具备多应用多实例并 发同时计算并隔离应用数据和程序的能力，可以让多个用户在一套平 台上协同工作。大数据存储计算引擎需采用分布式架构，存储能力和计算能力支 持横向扩展，数据存储应采用分布式文件系统，支持多种存储格式，横坐标通常为时间维度，用于表现数据随时间变化的趋势。区域图 除了用于表现数据的变化趋势，也非常适合多组数据之间的趋势比照。柱形图适合表现不同类别数据之间的比照关系。ttun人口命字塔图III.III子女图两林调由:A利比饼图 适合表现多个数据之间的比照，同时能表现局部与整体的关系,适合表现百分比的数据。msms离丁修尔坎观

42、图仪表盘仪表盘u史义文本慌明愣府适合运维指标监控的展示。色块和热力图适合多维数据、空间地理分布，着重表现“密度”的数据。雷达图适合多维度数据（能够归一化）之间的比照。卜 其他图表在实际设计时，需要根据使用场景,按需选用或者重新设计图表,或者需要多种图表类型的组合，才能到达较好的展示效果。32162层次和网络关系可视化层次数据是一种常见的数据类型，着重表达个体之间的层次关系。这种关系主要表现为两类：包含和附属。树状结构图适合表现带层级关系的数据展示，层级较多时需要支持层级的折叠与展开。O Dowratx)efO Google SheetsBroww oased 3 -OptottyORAWlnt

43、ng QO VetrcsGrapnics.jfi/ONVD3OSgmaJivaScnpitO-08ORlCthWORapaCustom coded O -QSnap.svgCodrgOOVWWKBOveoaPytncnQ6*0nO矩阵树图通过矩形来表示层次结构里的节点，父子节点之间的层次关系用 矩形之间的相互嵌套隐喻来表达。矩阵树图可以充分利用屏幕空间, 视觉上比拟饱满。tnMfnac)SI/IO gemap手U5tt司iff击交互J旭日图旭日图是一种径向布局的树图，它与树图的区别是，中间层次的节点可以被显示，因此容易分辨层次结构。空间利用率高于节点链接 的树图，但弱于矩阵树图。转的 tree

44、map旭日图sunburst chart节点关系图 用节点表示对象，用线表示关系，这种可视化表达方式容易被用户理解和接受，能帮助人们快速建立事物与事件之间的联系，显式地 表达事物之间的关系。例如关系型数据库的模式表达、地铁线路图的表达，是网络数据可视化的首要选择。Brazil.一e9Argentinarupoii力导布局图力导布局图是在节点关系图的基础上，借用弹簧模型模拟节点之 间引力和斥力的作用，经过不断的迭代计算，最后到达能量平衡的状 态，从而减少节点之间相互覆盖以及边交叉的情况。通过一些力引导 算法来优化布局之后，可用于网络图的可视分析。和弦图适合表现多个对象之间单向或者双向的流通关系，

45、如资金流向、 数据流向等。在对象较多时，需要通过一定交互手段突出显示关注的 对象之间流向关系。桑基图适合展示意向的流向关系，如数据流向，业务流程等。32163地理信息可视化随着物联网的开展，越来越多的传感器能收集到带有地理位置信 息的数据。如何展示这些海量的地理信息数据，是可视化设计开发中 面临的一个难题。地理信息数据的可视化展现，主要有以下几种形式。点数据可视化1）散点适合展现数据点在地图上的分布。这种形式侧重于单纯的位置分 布展示，而没有其他数据维度的场景。适合实时位置的展示。必技 KZi，i F i * 1 I g. . A i T q i .：,一 fi .0 l一 | ， 一 tMi _ .L ti 一 a c * 1 *一 一 . 一., -1鳍 :二一”2）气泡在地理位置的基础上,.4产.皿三、/、丁 x :，否、/ J :二*、，）/一,，4it.,/、/一 CT ，.，、，V . Ja”./&/、4,、. 彳启.、. .*.&丸,./ . /1 ， ，, ， . ， ，.2 ,f.0.、. JF .，11169 . ；：/ * ，77、4.、；：/- 3 、*;：,，一：二Y .二;:一八、,/、；/，； 一 一 、./ , BUSNWtCK一一 g ，. . st ，,n* :. 2一/：/、，.， d f /, .入 4:f.T ：-4