（大数据资料）0906深圳市龙岗区数据开放平台.pdf

（大数据资料）0906深圳市龙岗区数据开放平台深圳市龙岗区深圳市龙岗区大数据管理服务平台大数据管理服务平台数据开放系统建设方案数据开放系统建设方案深圳太极云软技术股份有限公司深圳太极云软技术股份有限公司2016-08-202016-08-20第 1 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台目录第一章第一章 项目概述项目概述.61.1.项目名称.61.2.建设单位.61.3.项目概况.61.3.1.建设背景.61.3.2.建设意义.71.3.3.建设目标.91.3.4.建设内容.9第二章第二章 需求分析需求分析.132.1.用户需求.132.2.业务需求.142.2.1.数据开放门户业务需求.142.2.2.数据开放管理需求.142.2.3.数据开放目录需求.142.2.4.数据脱敏脱密需求.142.3.功能需求.152.3.1.数据开放门户功能需求.152.3.2.数据开放管理功能需求.162.3.3.数据开放目录功能需求.162.3.4.数据脱敏脱密需求.172.4.非功能需求.172.4.1.应用系统性能需求.172.4.2.平台类性能需求.182.5.数据开放标准制定.192.5.1.数据开放标准规范.192.5.2.数据开放平台保障制度.19第 2 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台第三章第三章 总体建设方案总体建设方案.193.1.建设思路.193.2.建设原则.213.2.1.开放性原则.213.2.2.数据开放平等性原则.223.2.3.技术兼容性原则.223.2.4.民生数据优先开放原则.223.2.5.结合龙岗大数据现状.223.3.总体架构.22第四章第四章 建设方案建设方案.254.1.数据开放门户.254.2.数据开放管理子系统.304.2.1.建设目标.304.2.2.架构设计.304.2.3.数据开放服务模型.314.2.4.对外开放服务流程设计.324.2.5.数据发布服务.324.2.6.地图服务.334.2.7.数据开放环节设计.334.2.8.开放API基本功能.394.2.9.数据开放平台指数服务.494.2.10.数据开放安全.504.3.数据开放目录子系统.534.3.1.建设目标.534.3.2.资源准备阶段.534.3.3.资源分类.554.3.4.资源编目.574.3.5.资源目录管理.604.3.6.资源浏览与访问.62第 3 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台4.3.7.资源申请与受理.634.4.数据脱敏脱密子系统.654.4.1.系统概述.654.4.2.系统架构.654.4.3.数据加工设计.724.4.4.脱敏脱密设计.934.4.5.系统功能.96第五章第五章 数据开放资源规划数据开放资源规划.100第六章第六章 可靠机制设计可靠机制设计.1096.1.整体设计架构.1096.2.多租户架构机制.1106.3.统一数据治理监控架构.1136.4.统一认证与访问控制架构.1156.5.基于角色的服务访问控制.116第七章第七章 系统部署架构设计系统部署架构设计.1197.1.总体设计.1197.2.部署架构设计.1193.9.3部署设计.1243.9.4安全设计.128第八章第八章 保障措施保障措施.1298.1.组织保障体系.1298.2.制定政府数据开放相关政策法规.1308.3.培养和聚集大数据人才.1318.4.加强开放数据全生命周期的规划.1318.5.建立绩效评估制度.1328.6.建立运维管理体系.132第 4 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台第 5 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台第一章第一章 项目概述项目概述1.1.项目名称项目名称深圳市龙岗政府数据开放系统1.2.建设单位建设单位深圳市龙岗区数据统筹办公室1.3.项目概况项目概况1.3.1.建设背景建设背景随着信息技术与经济社会的交汇融合,引发了数据迅猛增长,数据已成为国家基础性战略资源.坚持创新驱动发展,加快大数据部署,深化大数据应用,已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择.为贯彻落实国务院为贯彻落实国务院促进大数据发展行动纲要促进大数据发展行动纲要 .落实深圳市大数据发展战略,结合龙岗区经济发展的重要规划,大力推动龙岗区政府信息系统和公共数据互联开放共享,加快政府信息平台整合,消除信息孤岛,推进数据资源逐渐向社会开放,增强政府公信力,引导社会发展,服务公众企业;以政府为主体,着力推进数据汇集和发掘,深化大数据在龙岗区创新应用,促进大数据产业健康发展;完善龙岗区法规制度和标准体系,科学规范利用大数据,切实保障数据安全.三方面主要任务：一要加快政府内部数据开放共享一要加快政府内部数据开放共享,推动资源整合,提升治理能力.大力推动政府部门数据共享,稳步推动公共数据资源开放,统筹规划大数据基础设施建设,支持宏观调控科学化,推动政府治理精准化,推进商事服务便捷化,促进安全保障高效化,加快民生服务普惠化.二要推动产业创新发二要推动产业创新发展展,培育新兴业态培育新兴业态,助力经济发展助力经济发展.发展大数据在工业、新兴产业等行业领域应用,推动大数据发展与科研创新有机结合,推进基础研究和核心技术攻关,形成大数第 6 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台据产品体系,完善大数据产业链.三要强化安全保障三要强化安全保障,提高管理水平提高管理水平,促进健康发促进健康发展展.从国务院发布的关于促进信息消费扩大内需的若干意见中明确提出,要加快政府智能转变和管理创新,促进信息资源开放共享和企业公平竞争.要求促进公共信息资源共享和开发利用,制订公共信息资源开放共享管理办法,推动市政公用企事业单位、公共服务事业单位等机构开放信息资源.2014年6月,国家发改委等12个部委联合批复”信息惠民国家试点城市”.要求各试点城市要围绕解决民生领域管理服务存在的突出矛盾和制约因素,改变以往技术导向、项目驱动的信息化建设模式,更加注重体制机制和政策制度创新.明确提出促进政府数据对社会公众的开放共享和创新应用,引导带动社会增值开发,促进信息服务业发展,促进信息内容消费.”1.3.2.建设意义建设意义龙岗区政府部门在行使职责过程中积累了大量的数据信息,这些信息可以概括社会发展的轨迹,也可以作为未来发展的重要参考,对于这些数据信息的分析和解读,有助于政府与公众更好地理解社会进步的根源,进而促进社会的全面发展.龙岗区政府数据开放的意义在于：(一一)有利于有利于构建服务型政府构建服务型政府,推动政府透明化进程推动政府透明化进程通过数据开放使信息资源在政府与公众之间重新优化分配,改变过去公民与政府之间的信息不对称、不平衡的状况,使公民与政府能够共享政府信息资源,享受个性化的信息服务,依据公开的信息数据与政府进行及时、有效的沟通,透明、参与和协作的机制构成了更加民主和有效的政府的基本框架.(二二)满足公众需求满足公众需求,提高对政府满意度提高对政府满意度一是通过政府开放数据,促进公共服务领域提供更好的服务,通过政府数据的免费使用来带动创新,创造出一些有助于大众更好地适应现代生活的实用工具和产品,二是通过政府数据开放平台,为公民社提供了自由、平等、责任和参与第 7 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台的生态环境,使公民愿意承担公共责任、参与公共事务,通过意见表达,凡事发出声音,形成一个防止政府犯下错误的监督力量,提高社会对政府的满意度.(三三)促进社会治理现代化促进社会治理现代化.社会治理方式要实现社会管理与社会自治的有机结合.十八届三中全会指出,改进社会治理方式,要”实现政府治理和社会自我调节、居民自治良性互动”.优化社会治理,既要加强党政主导、社会管理,又要坚持多方参与、共同治理.社会管理注重自上而下、以权力为主导,重在”有为而治”;社会自治注重自下而上、以权利为主导,重在”无为而治”.二者交织融合、各有侧重,共同立于社会基础之上.因此社会治理是政府和社会共同参与的事情,政府起到管理作用,社会也具备调整完善的自我净化功能,通过政府数据开放平台,既形成一个防止政府犯下错误的监督力量,又最大限度地调动社会公众的积极性,激发社会活力,使公民愿意承担公共责任、参与公共事务以及约束自身行为.(四四)带动新兴产业的发展带动新兴产业的发展,推动产业升级推动产业升级.通过政府数据的开放,带动龙岗区移动互联网产业、大数据产业及数据服务产业的发展：一是数据的开放可以催生一系列新模式、新业态、新产品,促进产业转型升级.让大数据时代最重要的生产资料数据自由地流动起来,以催生创新,推动知识经济和网络经济的发展,促进龙岗区的经济增长由粗放型向精细型转型升级.比如说,空间地理信息可用于指导交通运输、精准营销等,气象信息可用于指导灾难管理、环境评估等.二是数据开放共享将促进龙岗区的现代信息服务业、文化创意、智库等第三产业的发展,拓展新的就业空间.社会化力量利用政府数据,开发对社会公众有实用价值的应用,既为社会中小企业提供了创造的平台,又为社会公众的生活带来了实实在在的便利.提升数据资源应用价值.三是通过数据开放平台通过开放接口,简化使用政府数据的环节、减少使用政府数据的成本,免去了数据更新、维护的困难,降低创新的门槛,推动龙岗区网络经济的发展.(五五)与智慧城市的战略整合与智慧城市的战略整合,推动智慧城市落地推动智慧城市落地.第 8 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台“智慧城市”的建设应该包含两个方面：一是搭建政府公共数据平台,二是面向老百姓提供公众服务.开放数据是数据挖掘的重要来源,城市数据来自市民和政府,城市数据服务于市民和政府.只有开放数据,才能使智慧城市的数据收集更全面,才能让数据更好地服务于智慧城市建设,才能真正实现智慧城市的落地.1.3.3.建设目标建设目标依托于龙岗区大数据管理服务平台,利用大数据思维和技术建立全区统一的政府数据开放系统,将整合后的各部门的政务信息和业务专题数据,以多样化数据格式面向公众开放;为各层次用户提供目录检索、数据查询与统计、图表分析、数据展现、报表查询、数据下载等功能.逐步实现与社会信息服务机构开放平台的对接,形成全社会数据开放环境,推动社会各界利用开放数据开展科学管理、技术升级、业务创新等活动.龙岗区政府大数据资源经过脱敏将有条件的数据向公众开放,建立数据保护、数据开放等方面标准,为政府数据开放积累经验;探索人口、法人、土地、城市管理等方面数据元素开放,创造有利于推动大数据发展的环境,打造保障全、服务好的政策创新先行区.1.3.4.建设内容建设内容（一）（一）建立与完善数据开放管理运行机制建立与完善数据开放管理运行机制1)1)成立领导统筹小组成立领导统筹小组领导统筹小组全面负责龙岗区政府数据开放系统的建设工作,做好龙岗区数据开放系统的设计、管理和实施,扎实推进系统建设工作.2)2)建立数据开放管理运行机制建立数据开放管理运行机制建立数据开放系统从开放数据目录梳理、数据集梳理、入库、质量检查、更新、管理、发布、维护及归档各个环节均建立完整的第 9 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台管理体制和运维机制,推动政府的透明化进程,吸引公众参政议政;实现数据的再利用和增值,创造社会价值和商业机会,促进社会治理现代化.制定数据开放工作的推进路线图,为各部门提供清晰的数据开放发展路径和实施策略.优先选择业务与社会公众的紧密度高的部门开展数据开放的试点工作.3)3)完善数据管理和使用制度完善数据管理和使用制度基于龙岗区政府信息共享管理办法,建立开放数据管理和使用制度以及实施细则,包括：组织机构、领导协调、业务管理、数据存储、开放数据范围确定、数据处理、数据发布、数据安全、工程实施、管理监督、隐私保护办法等各项内容,覆盖开放数据生成到数据发布的全生命周期的各个环节,实现对政府信息资源的统一管理和利用.（二）（二）开放数据的规划开放数据的规划1)1)开放数据规划开放数据规划制定开放数据办法,包括数据开放的原则、数据开放的工作步骤、梳理数据开放目录的方法、梳理数据集的方法、加工处理数据的方法、发布数据集的方法、数据更新和维护的方法、数据利用以及日常运维的方法等方面工作内容.2)2)制定数据开放目录制定数据开放目录对可开放数据的进行梳理,形成数据开放目录.依托龙岗区大数据基础信息平台的信息资源目录系统进行资源梳理,可以通过对各政府部门的部门职责、机构设置、业务范围、信息化建设等各方面的梳理分析,改变过去要什么梳理什么的方式,按照有什么梳理什么的原则梳理出各部门可开放的管理数据、服务数据、监第 10 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台管数据等全方位、全生命周期的数据目录,最后组合各部门的开放数据梳理成果,形成全区数据开放目录.3)3)开放数据集的筛选开放数据集的筛选在数据开放目录的基础上,筛选出政府各部门可以开放的数据集,并收集每个开放数据集的元数据信息,形成初始的开放数据集目录汇总表.4)4)依托大数据基础信息平台进行数据的加工和清洗依托大数据基础信息平台进行数据的加工和清洗对选定的开放数据集中的结构化数据和非结构化数据进行加工,对数据按照提供单位、数据主题分类和数据加工程度等不同维度进行分类和打标签.5)5)开放数据的脱敏脱密开放数据的脱敏脱密建立和完善相关政府与公用事业数据资源中的安全、隐私保护的风险监控点,形成隐私检查表,按照隐私保护规则对数据进行脱敏.6)6)数据的发布、更新及维护数据的发布、更新及维护数据经过采集与加工后,按照建立好的数据目录,发布到数据开放平台中进行统一开放.数据接入和更新过程中,建立数据上线检查测试的机制,通过检查数据结构、格式确认数据的开放形式(API或下载浏览),从而保证开放数据的质量.（三）（三）政府数据开放平台建设政府数据开放平台建设1)1)建立政府数据开放门户网站建立政府数据开放门户网站建立基于互联网的数据开放门户网站,通过数据服务接口将政府开放数据向社会上的企业和公众免费开放;可以按数据主题、按政府部门、按数据类型等多维度对开放数据进行分类管理,并提供多组合条件的数据检索服务;通过建立数据指数可以对各类数据的开放程度、数据总量、增长趋势、访问下载次数、评分排行等进行直观展现;建立应用商店,对社会上基于政府开放数据开发的应用进行统一管理;建立和社会有效沟通交流的途径,形成政府数据开放和社会使用数据相互促进的生态环境.2)2)建立政府数据开放管理系统建立政府数据开放管理系统一是建立数据开放管理子系统,包括平台运营管理和数据管理两大功能.通过运营管理,可以进行平台参数的配置、工作流定义、权限控制,也可以平台中用户、开发者、数据集、接口、访问日志等进行统计分析.数据管理模块提供第 11 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台从建立数据目录、数据入库、加工处理、维护、发布、归档等数据的全生命周期的管理功能;二是建立数据开放平台的技术支撑体系,保证平台的健康运营,以提高平台的稳定性、易用性和交互性体验,提升平台承载能力,包括工作流服务、搜索引擎、智能推荐引擎、大数据存储以及分布式计算等支撑体系.3)3)依托龙岗大数据管理服务平台构建开放数据库依托龙岗大数据管理服务平台构建开放数据库依托龙岗大数据基础信息平台实现开放数据的采集、融合、清洗、梳理,依据数据开放标准规范,将政府大数据库中的可开放数据传输至开放数据的数据库中;建设开放数据中心数据库,开放数据经过质量检查,进入开放数据中心数据库存储和管理;三是建设外网数据发布库数据经过脱敏等加工处理,经审核后进入外网发布数据库进行数据发布.4)4)建立数据开放安全保障体系建立数据开放安全保障体系从管理方面,明确管理职责、访问权限、交换程序、共享办法、开放范围等内容,结合数据开放立法工作,为开放数据安全和隐私保护提供制度保障;从技术方面,按照安全管理的特点,从物理安全、软件系统安全、网络安全、应用安全、数据安全来划分安全边界责任,通过建设完善的安全技术保障体系来保障数据开放平台安全可靠运行.与龙岗区电子政务信息安全保障体系相结合,建立一个以信息安全策略为核心,由安全防范技术体系、安全管理与运行体系、安全人才队伍、安全审计所构成的开放数据库信息安全保障体系.（四）（四）政府数据开放平台运营政府数据开放平台运营1)1)试点工作的组织及实施试点工作的组织及实施以社会关注度高,与居民生活、公共服务、社会环境和环境保护等方面相关的业务部门为基础,根据政府部门的业务与社会公众的紧密度,制定试点计划和试点范围,通过试点工作的建设,完善或修正项目建设思路,完善数据梳理的标准规范、数据采集的标准规范以及相应的数据管理办法,为政府数据的全面开放做好准备.2)2)数据开放平台的宣传推广数据开放平台的宣传推广建立数据开放平台策划推广机制,一是通过政府官方通知、媒体报道等方式进行平台的推广与宣传;二是利用互联网传统的推广方式,将数据开放平台有针第 12 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台对性的推广到开发者和用户群体中;三是与相关单位、协会和联盟的合作举办线下活动,通过奖励、鼓励政策增强开发者与民众对政务数据开放的认知和参与意识,鼓励更多的开发者参与到基于开放数据的应用开发工作中来.3)3)数据开放平台的运营管理数据开放平台的运营管理建立平台运营管理体系,建立运营机构负责平台运营人员的集中管理,负责运营人员的定期培训工作,从而满足运营保障要求,提高运维服务质量.第二章第二章 需求分析需求分析2.1.用户需求用户需求龙岗区数据开放系统用户分为四类：一是各局办(功能用户),二是区政府(系统用户),三是系统维护人员(管理员用户),四是公众(普通用户).功能用户可以：(1)通过信息资源目录梳理和编目本部门可开放数据资源(2)管理本单位的开放资源目录(3)制定本部门开放数据的脱敏脱密策略(4)按计划发布和更新开放数据.系统用户可以：(1)通过数据开放管理平台查看全区数据开放目录以及开放的数据(2)管理各局办开放的信息资源(3)审核、批准、发布开发数据资源和开放数据服务(4)对已经发布的开放数据实施有效管控(5)规划和定制龙岗区数据开放目录,统计分析各局开放数据情况,以及催报、落实情况(6)管理信息资源开放(7)设置各局办的管理员账号及其权限.(8)主办和组织数据开放线上线下活动,促进开放数据的应用产生社会价值.(9)定制并发布数据开放相关的制度和标准规范.(10)发布新闻、问卷调查、收集和反馈公众使用开放数据的各种问题和意见建议.管理员用户：系统管理员及系统维护人员,该类用户主要承担对系统的维护工作.普通用户：可以查看、下载、调用区政府通过数据开放系统的向公众开放的所有数据.第 13 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台2.2.业务需求业务需求2.2.1.数据开放门户业务需求数据开放门户业务需求龙岗区政府数据开放系统需求在互联网上构建数据开放门户网站,该门户网站将政府开放数据向社会上的企业和公众免费开放;公众可以按数据主题、按政府部门、按数据类型等多维度对开放数据进行访问,门户应该提供多组合条件的数据检索服务;提供数据指数可以对各类数据的开放程度、数据总量、增长趋势、热度、最新数据等进行直观展现;门户应该提供应用商店,方便公众基于政府数据开发的应用APP能够有一个展示的平台;门户应该提供互动交流功能方便公众有效沟通交流,提供数据需求和意见建议.2.2.2.数据开放管理需求数据开放管理需求数据开放管理需要提供运维管理和数据开放管理两大功能.通过运维管理,可以进行平台参数的配置、工作流定义、权限控制,也可以平台中用户、开发者、数据集、接口、访问日志等进行统计分析.通过数据管理提供从建立数据开放目录、开放数据入库、加工处理、维护、发布、归档等数据的全生命周期的管理功能;提供数据开放平台的技术支撑体系,保证平台的健康运营,以提高平台的稳定性、易用性和交互性体验,提升平台承载能力,包括工作流服务、搜索引擎、智能推荐引擎、大数据存储以及分布式计算等支撑体系.2.2.3.数据开放目录需求数据开放目录需求数据开放目录需要基于龙岗区共享交换目录管理作为后台的支撑,通过目录管理系统梳理数据开放目录机器开放数据指标.支撑互联网门户系统的数据开放服务目录分类及展示.提供资源目录查询、目录检索服务等功能.2.2.4.数据脱敏脱密需求数据脱敏脱密需求第 14 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台数据脱敏要求从原始数据向开放数据库敏感数据交换的过程中,通过一定方法消除原始环境数据中的敏感信息,并保留目标环境业务所需的数据特征或内容.数据脱敏要求不仅要确保敏感信息被去除,还需求保障还需要尽可能的平衡脱敏所花费的代价、使用方的业务需求等多个因素.因此,为了确保数据脱敏的过程、代价可控,得到的结果正确且满足业务需要设计合理数据脱敏策略和规则.2.3.功能需求功能需求2.3.1.数据开放门户功能需求数据开放门户功能需求数据开放门户要有良好界面体验,提供多种访问渠道,包括电脑浏览器和移动版门户以及微信公众号等,提供丰富的图文界面.以图文并茂的方式分类展示数据开放信息.提供按主题、按机构的方式进行数据服务的分类展现.提供数据开放图谱,展现开放数据的关联关系.所以都数据集合开放服务都提供详细用户操作指南.提供数据预览和接口测试功能.公众通过门户获取开放数据要求系统提供数据能力指标信息.展现数据来源数据贡献单位数据总量和目录;数据动态-热门数据 最新数据 使用量最多数据排名,提供数据分类导航,数据推荐,数据检索,数据排序(浏览次数、下载次数、评论次数,评分情况.公众对数据获取需要降低数据获取障碍,提升数据开放使用率.不注册能获取那些数据,注册登陆用户获取数据要优化登陆体验,简化登录环节简单,增加用户粘性.每个开放数据有位于URI,便于传播分享.提供数据集预览;数据指标信息预览;提供数据文档指导数据下载和被应用机读.开放数据API服务应该提供数据测试功能.数据应用,应该提供数据应用频道,供开发者提交APP应用,提供应用免费下载和评论功能;展现开发者信息.互动交流,每个数据集或者服务API都应该提供评论、评价和评分功能.数据开放支持通过分享链接在互联网平台上(微信、微博、朋友圈、QQ)传播.第 15 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台门户提供意见和建议系统,公共评论功能不需要注册,提供数据需求在线申请(给让用户提交关心的数据)反向推动数据开放.提供问卷调查.设置网站动态板块,定期发布系统运行进展、组织的活动、宣传、领导关怀、热点应用事件等.数据授权1)数据授权协议条款不能模糊2)不限制数据自由分享传播3)数据免费性(是否加入收费)4)明确保障数据的自由增值利用权利5)明确保障数据的自由分享传播权利2.3.2.数据开放管理功能需求数据开放管理功能需求建立数据开放管理子系统,提供平台运营管理和数据管理两大功能.通过运营管理,可以进行平台参数的配置、工作流定义、权限控制,也可以平台中用户、开发者、数据集、接口、访问日志等进行统计分析.数据管理模块提供从建立数据目录、数据入库、加工处理、维护、发布、归档等数据的全生命周期的管理功能;二是建立数据开放平台的技术支撑体系,保证平台的健康运营,以提高平台的稳定性、易用性和交互性体验,提升平台承载能力,包括工作流服务、搜索引擎、智能推荐引擎、大数据存储以及分布式计算等支撑体系.2.3.3.数据开放目录功能需求数据开放目录功能需求数据开放目录包括开放数据目录、开放服务目录五类目录.开放数据目录、开放服务目录则从数据及服务两个方面面向社会大众提供.数据目录主要针对的是数据,提供数据资源目录服务,以便发现和定位信息资源数据资源;数据服务目录主要针对的对象是数据服务资源,提供服务地址等目录信息,以便发现和定位数据服务.数据开放目录的建设从开放数据的提供者梳理数据开始,到数据的使用者查询、使用、需要经为历六个环节：规则、编目、注册、发布、查询、维护.针对六个环节分别提供相应的功能.第 16 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台2.3.4.数据脱敏脱密需求数据脱敏脱密需求为保障数据安全,避免数据安全事故的发生,数据开放过程必须采用脱敏加密技术进行严格处理.数据脱敏主要分为两种：动态脱敏和静态脱敏.动态数据脱敏,即根据不同的应用需求,对数据中的敏感信息进行不同的界定,通过制定相应的脱敏规则对那些被界定为敏感信息的数据进行屏蔽.静态数据脱敏也叫”持久性数据脱敏”,即对数据中的常规敏感信息在数据源处就进行替换、覆盖或隐藏等脱敏处理.实施单位必须制定严格的隐私保护策略和脱敏规则,根据信息资源的保密级别进行相应脱敏加密操作.如直接使用密文、数据模糊泛化处理等.2.4.非功能需求非功能需求2.4.1.应用系统性能需求应用系统性能需求本项目建设的数据开放系统主要在互联网运行,需要进行数据或功能的相互调用,所以应用系统的性能要求较高,在性能上,对处理性能应满足如下要求：1、稳定性指标(1)系统有效工作时间：99.99%;(2)系统故障恢复时间不超过30分钟;(3)不出现以下情况：无故退出系统;发生系统不可控制的故障提示;因系统故障导致操作系统或机器无法正常操作.2、响应指标(1)简单事务处理(包含各类信息录入、修改、查询业务、主要页面平均响应时间等)1s(100名并发用户);(2)信息录入、修改型简单事务：平均响应时间2s;并发用户的前提下达到的指标.(3)复杂事务处理3s(500名并发用户);(4)各类固定统计报表形成时间：2分钟;第 17 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台(5)在应急操作环境下,浏览响应时间在1秒之内.2.4.2.平台类性能需求平台类性能需求2.4.2.1.硬件环境性能需求硬件环境性能需求本项目涉及到开放数据目录多,数据下载量大,接口调用频繁,用户对象广泛,对数据存储、信息处理等方面要求高,因此对主机系统和存储备份方面主要需要提供高可靠性、高可用性、易维护性、易管理性、高扩充性、开放性、先进性、冗余性等方面支持.应用系统和应用服务器应该提供高并发访问下的负载均衡和故障迁移.2.4.2.2.通信网络性能需求通信网络性能需求本项目涉及政务外网数据到互联网数据的同步,对系统的网络通信要求比较高,本项目对网络通信基本需求如下：1、满足政务外网与互联网之间数据互通的需求.2、满足本跨网络大数据量信息传输量大的需求.3、满足网络传输可靠性的要求.4、满足大量数据下载和频繁接口调用下的网络稳定性需求.5、提供可靠的线路和网络设备的保障,能支持线路和主要交换机的冗余.2.4.2.3.基础软件的性能需求基础软件的性能需求在系统平台性能方面,要求采用通用性好、安全可靠的操作系统以及大型数据库系统,保证系统良好的性能,满足系统数据的存储、访问等需要.在应用支撑软件性能方面,要求应用支撑平台为业务应用系统的开发和运行提供技术支撑,并具有灵活的可扩充性和高度的可配置管理性,尽量采用统一的软件架构和软件技术,以方便不同应用的整合和减少维护工作量.比如都采用B/S软件架构来进行软件支撑.第 18 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台2.5.数据开放标准制定数据开放标准制定2.5.1.数据开放标准规范数据开放标准规范制定数据开放总体框架;确定数据开放范围,数据开放原则,数据开放成熟度模型.制定数据开放目录标准;制定开放数据接口规范;制定数据开放格式规范;分类标准规范;数据脱敏标准;数据安全分级标准规范;标签管理体系管理规范.2.5.2.数据开放平台保障制度数据开放平台保障制度 制定开放数据目录管理办法 数据采集管理办法 开放数据申请管理办法 开放数据生命周期管理办法 数据安全管理办法 开放平台应用管理办法 数据开放运行保障制度 数据开放平台运营管理办法 数据开放平台保障措施第三章第三章 总体建设方案总体建设方案3.1.建设思路建设思路龙岗区大数据基础信息平台充分整合全区政务应用及数据资源,运用大数据、云计算等先进信息技术,建设统一的政府数据共享交换系统,编制数据资源目录体系和交换共享标准规范,促进政府数据资源的交换共享和应用推广.通过对政府各部门的数据进行采集、梳理,生成数据资源目录及政府数据资源中第 19 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台心,通过的交换和共享,为政府各部门提供服务和业务支撑.同时,通过对数据的脱敏和建模,生成开放主题库,经数据封装,形成数据开放服务,通过数据服务开放系统,为社会公众提供政府数据信息,可以大数据交易平台提供数据支撑.同时,通过交易平台获取社会资源,完善开放数据库内容,系统建设理念如下：大数据正在改变和重塑着政府的治理生态,并成为推动政府治理方式变革的主导力量之一,而数据开放是实现数据共享、智慧治理的基础所在和第一道门槛.因此,理清思路,采取举措,加快政府数据开放,是龙岗区利用大数据推动政府治理方式变革,提升治理能力新选择.为此,提出如下思路：(1)制度先行制度先行.首先要进行数据开放的制度规范工作,从根本上解决”凭什么开放、开放什么”的法律依据问题,建立起数据开放的规范,全面保障政府数据开放的合法性、合理性,全面打消个别政府不敢开放数据的顾虑和担忧,同时明确政府部门拒绝开放的法律责任.制订完善的数据开放的标准规范体系.尽快制订龙岗区数据开放管理办法法、政府数据安全管理规范、政府数据开发使用规范等配套性的标第 20 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台准规范,依法明确数据开放的责任主体、权限职责、法律责任等事项,确保政府数据开放的合法性、规范性和安全性,为政府数据开放保驾护航.(2)标准统一标准统一.数据开放的最大价值在于数据的开发利用,而为了提高利用率,明确政府开放数据的统一标准格式,显得尤为重要.这就要求政府开放的数据,要从用户使用的角度出发,避免设置数据格式不可机读、不可编辑和不可下载的诸多限制,为用户机器读取、编辑和二次开发利用提供最大的便利.(3)民生服务为先民生服务为先.在解决了开放依据和数据格式的基础上,要明确”开放什么数据”的问题,对此,应该坚持问题导向、满足民生服务需求导向的原则,最先开放教育、医疗、社保、交通、就业和环保等涉及民生服务的数据,在确保广大民众知情权的基础上,引导广大数据企业和创业团队积极开发民生服务应用软件,让企业或开发者帮助政府协同解决诸多民生治理中面临的难题,提高政府的公共服务能力.(4)建立健全政府大数据管理体系建立健全政府大数据管理体系.数据开放是一项专业性很强的工作,对政府传统的机构设置、人才结构、专业能力和治理流程都会提出新的要求,这就需要政府根据数据开放和大数据治理的要求,加强加大数据专业人才引进、合理调整机构设置、强化政府数据管理以及开展服务需求者调查等系列工作,全面提高政府的数据治理能力.3.2.建设原则建设原则3.2.1.开放性原则开放性原则除政府秘密、个人隐私、商业机密类的数据可以豁免之外,政府部门应该免费的、无保留地向社会开放可开放数据,政府拒绝提供数据须负举证责任,司法部门具有重新审定政府数据开放事实的权力.“开放”的政府数据需具备以下获取和使用原则：完整的完整的所有公共数据都是可获得的(涉及隐私、安全和特别限制的数据除外);一手的一手的数据是从源头采集到的,而不是被整合过或修改过的;第 21 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台及时的及时的以尽可能快的速度发布数据保证数据的价值,确保开放的数据是在有效期内的,数据更新是及时的,甚至是实时的数据;可获得性可获得性数据是可获得的,并尽可能扩大用户范围和用途种类;可机器处理的数据拥有合理的结构,允许机器自动处理;非歧视性的非歧视性的数据对所有人都可用,无登记要求;非私人的非私人的数据是可获得的,无任何实体有排除他人使用的权力;无须授权无须授权数据不受版权、专利、商标或贸易保密规则的约束(涉及隐私、安全和特别限制的除外).3.2.2.数据开放平等性原则数据开放平等性原则政府数据开放对所有公民都应该是平等无差异对待的,无论年龄、身份、地位,都可以自由的获取和使用,用于合法的任何活动.3.2.3.技术兼容性原则技术兼容性原则技术手段和技术措施必须具有开放性、兼容性和互操作性的原则,不对数据开放与共享设定技术限制或技术障碍.3.2.4.民生数据优先开放原则民生数据优先开放原则选择所涉业务与社会公众的紧密度高的政府部门,优先展开数据开放工作;选择民生指数高的数据集优先梳理、采集、处理和发布.3.2.5.结合龙岗大数据现状结合龙岗大数据现状数据开发系统的建设,数据”智慧龙岗”大数据管理服务平台的子系统,在建设的过程中要充分利用大数据管理服务平台现有的数据资源和应用资源和基础设施,比如数据开发系统的开放目录模块可以依托龙岗大数据管理服务平台的资第 22 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台源目录管理系统来构建,在资源目录系统中扩展开放数据目录梳理、编目、审核、管理等功能.不需要在开发系统里面再单独开发,一是节约资源,二是涉及开放数据的各职能部门,只要在一个系统上就能完成同一个资源的共享目录管理和数据开发目录管理,管理起来更方便合理.避免了重复建设,充分发挥大数据的平台的能力.3.3.总体架构总体架构数据开放系统基于智能搜索、推荐算法、服务框架、云计算、开放API等技术,对数据进行编目、展现、管理,统一对外提供数据服务和数据展现,提供对数据服务API的描述,提供应用开发的支撑,为公众提供更高质量的数据和服务.依托数据共享服务总线,基于服务封装和数据封装技术,将数据封装成服务接口和数据集文件(CVSXMLXLSTXTJSON格式)对外提供数据接口调用服务和数据下载服务.数据开放系统采用”数据+服务+应用”的模式设计,服务依赖于数据,有了数据才能提供服务供调用;而应用又依赖于服务,应用需要调用服务才能获取数据,实现应用逻辑.平台总体架构如下：第 23 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台整个平台的架构分为四个核心层和三大保障体系,三个核心层分别是数据采集层、数据加工层、服务开放层和服务门户层.三大保障体系分别是：标准及制度规范体系.安全保障体系和运维保障体系数据采集加工之后,用服务的方式对政府及社会开放.所以需根据加工后的数据进行服务封装,建设服务总线及服务目录,形成内、外两个服务共享体系.在政务外网为政府内部各部门提供数据共享服务,不仅为各部门应用提供共享支撑,还可重点打造一批跨部门、跨领域的重大应用.在互联网为企业、个人、创业者等提供互联网数据开放服务,促进全社会力量共同参与经济社会管理,又有利于带动跨界融合的创新应用涌现,为大数据产业发展提供条件.1)采集层：采集层：采集层主要依托龙岗大数据管理服务平台的共享交换子系统实现政府原始数据的采集.2)数据加工层：数据加工层：数据加工依托大数据管理服务平台的融合清洗服务进行数据加工和质量提升.据数据开放标准规范,将政府大数据库中的可开放数据传输至开放数据的数第 24 页 共 145 页（大数据资料）0906深圳市龙岗区数据开放平台据库中;建设开放数据中心数据库,开放数据经过质量检查,进入开放数据中心数据库存储和管理;三是建设外网数据发布库数据经过脱敏等加工处理,经审核后进入外网发布数据库进行数据发布.3)服务开放层：服务开放层：服务开放层是数据开放门户的核心支撑层,提供对加工后的数据进行服务封装和数据集文件生成,对数据进行编目、展现、管理,统一对外提供数据服务和数据展现,提供对数据服务API的描述,提供应用开发的支撑,为公众提供更高质量的数据和服务.依托数据共享服务总线,基于服务封装和数据封装技术,将数据封装成服务接口和数