大数据平台建设项目的公开招投标书范本.docx

千里马招标网 金华市公共资源交易中心东阳分中心关于东阳市大数据平台建设项目公开招标采购文件项目编号：DYCG-C项目名称：东阳市大数据平台建设项目采购单位：东阳市人民政府办公室招标机构：金华市公共资源交易中心东阳分中心年月日中国招投标行业门户网站目录第一章 公开招标采购公告第二章 招标需求第三章 投标人须知第四章 评标办法及评分标准第五章 政府采购合同主要条款第六章 投标文件格式第一章 公开招标采购公告根据中华人民共和国政府采购法、政府采购货物和服务招标投标管理办法等规定，经z 东阳市财政局采购计划书号批准，现就东阳市大数据平台建设项目进行公开招标采购，欢迎有供货及服务能力的供应商前来投标：一、项目编号：DYCG-C二、采购组织类型：政府集中采购三、采购方式：公开招标四、采购内容及数量标项采购内容主要技术参数单位及数量预算价（万元）东阳市大数据平台建设项目详见“第二章 招标需求”套五、合格投标人的资格要求：、凡国内具有独立法人资格或独立承担民事责任能力，符合中华人民共和国政府采购法第二十二条规定的投标人资格条件,营业执照中注明的经营范围具有本次招标内容的，在经营招标产品方面有相当的技术力量、经济实力和良好信誉，具有较强的售后服务能力的商（厂）家，均可参加投标。、本项目投标截止之日前三年内，相关主体在“信用中国”网站()、中国政府采购网()无失信行为或被列入受惩黑名单。省级以上以他政府部门网站 有失信行为或被列入受惩黑名单的，经举报查实的作无效标处理。、本项目不接受联合体投标。六、 投标报名及招标文件的获取：（）网上报名：A、由投标单位通过浙江省政府采购网( 报名（首次参加投标的单位应先登录浙江省政府采购网( 户注册，注册完毕待审核成功后方可登录报名，注册咨询电话：-；注册流程见网址 ）；B、网上报名截止日期：年月日：时止；若截止时间后仍欲报名请按以下（）执行。（）现场报名：（由于系统故障无法网上报名时，可采用现场报名） A、时间：同网上报名；B、地点：浙江省东阳市人民路号金华市公共资源交易中心东阳分中心（东阳日报社楼）。C、报名时请携带资格审查资料。（）在报名截止时间之后至年月日：止，仍允许供应商在浙江省政府采购网( 截止之后获取采购文件的潜在投标人如对采购文件有异议的，金华市公共资源交易中心东阳分中心可不予受理、答复。（）招标文件的获取方式：招标人不再向投标人提供纸质招标文件，请投标人自 行在下列网址下载电子版的招标文件，招标文件不收工本费。浙江省政府采购网()；东阳市公共资源交易网()七、资格审查资料（网上报名者，资格审查资料复印件单独装订成册装入资信及 商务包装袋内）：企业法人营业执照原件及复印件；（原件可中标后领取中标通知书时提供）法定代表人授权委托书及经办人身份证件及复印件；.以上复印件均需加盖单位公章。八、投标保证金：投标保证金人民币： 标：拾贰万元整。投标方应于年月日:时前向招标方缴纳投标保证金，以入账为准（如用汇票需提前一天提交，投标人在填写汇款单时须填写括 号及括号内的内容，做到与以下提供的帐户信息完全一致）。投标保证金由投标人帐 户汇至下列帐户内（二选一）：（）收款单位名称：金华市公共资源交易中心东阳分中心（保证金专户） 开户行：中国工商银行东阳支行银行帐号：()收款单位名称：金华市公共资源交易中心东阳分中心（保证金专户） 开户行：中国银行东阳支行银行帐号：九、投标截止时间和地点：投标人应于年月日上午:前将投标文件密封送交到金华市公共资源交易中心东阳分中心楼开标室，逾期送达或未按要求密封的将拒绝接收。十、开标时间及地点：本次招标将于年月日上午：时在金华市公共资源交易中心东阳分中心楼开标室开标，投标人可以派委托代理人出席开标会议【委托代理人应当是投标人的在职正式职工（以投标人注册所在地社保部门出具，投标人本单位缴纳社保花名册为准），并携 带身份证等有效证件出席】。十一、开标会议携带资料要求：投标人派代表参加开标会议时，法定代表人应携带法定代表人证明和身份证；授权代表应携带法定代表人授权委托书、身份证、投标单位缴纳的社保花名册等有效证 明出席开标会议（注：授权代表应为投标人的在职正式职工，并以投标单位缴纳的社保花名册证明为准）。投标人未派代表参加开标会议的（含未携带以上规定资料参加开标会议的），视 同认可开标结果，不得对开标过程及开标结果提出质疑。十二、公告期限:本项目公告期限为个工作日（以公告发布次日开始计 十三、业务咨询：金华市公共资源交易中心东阳分中心联系人：朱晓燕、陈柏青、徐校琴联系电话：- 传真：-、联系地址：浙江省东阳市人民路号（东阳日报社楼）。采购单位：东阳市人民政府办公室联系人：王谨仁，电话：- 联系地址：东阳市行政中心楼政府采购行政监管及投诉受理部门： 东阳市财政局采购办，联系电话：- 联系地址：东阳市人民北路号东阳市公共资源交易管理委员会办公室，联系电话：- 联系地址：浙江省东阳市人民路号（东阳日报社楼）金华市公共资源交易中心东阳分中心年月 日第二章 招标需求一、采购内容及数量带技术指标不允许负偏离，如有负偏离则视为无效标。标项采购内容主要技术参数单位及数量预算价（万元）东阳市大数据平台建设项目详见“第二章招标需求”套项目背景为全面贯彻落实国家大数据发展战略，根据“最多跑一次”改革信息资源共享建设方案（浙政办发号）等文件精神，东阳市政府第二十二次市长办公会议研究决定，积极对接浙江省数据管理中心，充分利用浙江省公共数据资源平台(简称“省平台”)的建设成果，按照全省统一的数据规范和标准体系，建设东阳市大数据平台， 支撑“最多跑一次”改革，建设一批本地化的大数据应用示范项目，为“政府数字化转型”和“智慧城市”建设奠定基础。年底前，按照全省“最多跑一次”信息资源共享建设方案，充分利用浙江省数据 管理中心的建设成果及全省数据标准和规范，在政务云平台上，建设东阳市大数据平 台的数据资源目录、数据归集、数据治理、数据交换和共享等基础业务平台；在全省 统一的基础数据库（可信电子证照库、人口综合库、法人综合库、信用信息库）基础 之上，建设东阳本地的可信电子证照库、人口综合库、法人综合库、信用信息库；对 接省空间基础信息平台，建设东阳市空间地理基础数据库；重点建设具有本地特色的 个行业专题数据库（不动产登记、人力社保、民政、财政、卫计、教育、交通、旅游、红木、影视产业）及大数据分析展示平台，建设与大数据平台高效运行匹配的标准体 系、安全体系和运维体系。一、东阳市大数据平台建设项目采购内容（带技术指标不允许负偏离，如有 负偏离则视为无效标。）序号项目名称内容数量一、数据资源目录数据资源目录管理平台实现数据资源的目录制定、编制、报送、审核、发布、管理、分析、数据源管理等功能。项二、数据集成平台数据归集数据处理数据入库对本地各部门的自建系统及统建系统进行数据来源分析、采集；项数据处理主要包括数据清洗、比对、转换、合成、项加载等全过程的管理和监控。对接省大数据平台的四大基础数据库，相关数据落地；对接省空间基础信息平台，建设东阳市空间地项理基础数据库；建设东阳十个行业专题数据库。三、数据共享和交换平台结合省大数据平台建设情况，根据东阳市各类数据数据共享和1交换平台库建设实际，利用省级部署的数据交换平台，建立本地数据平台的数据交换和监控体系；结合省级数套据共享接口，根据本地数据库实际，实施数据共享接口及管理平台。四、驻点服务提供年人驻点服务（最低要求） 五、其他项目工期：三个月本项目费用包括所需要的数据库、中间件与数据库安全相关的工作软件等第三方系统软件。1、技术标准及要求.整体架构要求（）系统使用易和用户统一登录系统实现省-市-县三级用户管控。（）系统应采用 JEE 或其他符合行业发展方向的先进技术架构。（）系统应采用多层 B/S/S 应用结构体系，表示层、业务层、数据层访问层要分开。（）系统应支持组件化架构，为第三方应用系统提供标准化数据接口。（）系统可以运行在 Microsoft Windows 、Linux、Unix 等主流的服务器操作系统平台；（）系统可以部署在 Tomcat、Websphere、Weblogic 等主流应用服务器；（）系统应支持 Oracle、MySQL、Microsoft SQL Server 等主流数据库系统；（）系统应支持分布式事务功能；（）系统应支持消息队列服务；（）系统应支持负载均衡和集群技术；（）系统应具备自动优化功能；（）系统应具备自动备份功能；（）系统应支持手机浏览，适合 IE.以上各版本、Chrome、Safari、Firefox 和其他主流浏览器的浏览。.性能指标要求（）用户访问单页面响应时间应小于毫秒，单页面完整打开时间小于秒；（）系统支持峰值个并发用户，正常个并发用户的性能要求；（）后台数据库支持个以上并发用户，满足名以上工作人员同时工作；（）单个管理用户登录后台页面的平均时间小于.秒，单项系统配置的平均时间小于分钟；（）支持年数据量为亿记录数、TB 字节的数据量；（）系统应提供×小时的连续运行，平均年故障时间小于小时，应用服务器、数据库服务器、数据存储切换应小于分钟，平均故障修复时间小于分钟，系统应具有灾难恢复能力。.安全指标要求（）系统应具有多级安全控制措施；（）系统应支持静态页面发布和页面级访问控制；（）系统应建立基于角色和工作分工的权限控制机制，实现系统用户的分级分层授权和管理，并支持系统用户与计算机 IP、MAC 地址绑定；（）系统中传输的重要敏感信息，需采取有效的加密方式传输;（）系统中所有的交互信息应经过内容安全过滤；（）系统应提供数据自动非本级转储备份和故障恢复功能，保证系统具备高级别的灾难恢复能力。.技术标准本项目实施过程中，需要遵照下列技术规范和标准：促进大数据发展行动纲要国发号政务信息资源共享管理暂行办法国发号政务信息系统整合共享实施方案国办发号政务信息资源目录编制指南（试行）发改高技号政务信息资源交换体系第部分：总体框架GB/T.-政务信息资源交换体系第部分：技术要求GB/T.-政务信息资源交换体系第部分：数据接口规范GB/T.-政务信息资源交换体系第部分：技术管理要求GB/T.-浙江省公共数据和电子政务管理办法（省政府令号）浙江省促进大数据发展实施计划的通知浙政发号浙江省公共数据共享交换平台管理办法（浙政办发号）浙江政务服务网信息资源共享管理暂行办法浙政办发号浙江省人民政府办公厅关于修改完善“最多跑一次”改革信息资源共享建设方案的通知（便函号）.数据资源目录管理数据资源目录是实现数据资源共享、业务协同和数据开放的基础，是东阳市各政务部门之间信息共享及政务数据向社会开放的依据。通过建设数据资源目录管理实现通过目录方式实现信息资源共享，可以以更灵活的方式实现更多应用单位、更多资源的接入与共享，能够为数源的整合、交换提供便利。东阳市数据资源目录主要有两部分组成，分别是省级数据资源目录和本地数据资源目录，其中本地数据资源目录管理主要包括数据源目录规划、目录编制、目录报送、目录审核、目录发布、目录维护等方面的内容。按照有关标准建立本地数据资源目录，建立省大数据平台的数据资源目录与本地数据资源目录的同步规则，保持数据目录的一致性。.东阳市数据资源目录管理平台.目录制定在全省数据资源目录的基础上，结合各部门已建系统的数据资源调研情况，形成东阳市政务数据资源目录，支撑全市数据资源规范化。一是基础库数据资源目录方面，通过向浙江省数据管理中心申请账号方式获取浙江省数据管理中心的人口综合、法人综合、信用信息、电子证照等四大基础库，在此基础上通过对各部门现有数据资源的补充，形成东阳市人口综合、法人综合、信用信息、电子证照等四大基础库数据资源目录。建立东阳空间地理基础数据库的资源目录：参照国家标准，结合本地实际，按照地理空间数据标准化管理的要求，以相关部门的地理空间信息数据为基础，将政务元数据与地理信息相结合，对地理信息资源进行整合。二是十大专题库数据资源目录方面，以行业辅助决策、数据应用需求为导向，在 浙江省数据管理中心数据资源目录的基础上，结合对应部门已有数据资源的补充，构建包括旅游、红木、影视、交通、人社、财政、教育、交通、卫计、民政等专题库数据资源目录，支撑全市行业应用。三是数据资源共享目录方面，在浙江省数据管理中心数据资源目录对数据共享要求的基础上，结合数据提供部门的实际情况，及部门跨层级、跨部门数据资源需求， 形成东阳市数据资源共享目录，支撑全市数据资源共享交换。四是数据资源开放目录方面，在浙江省数据管理中心数据资源目录对数据开放要求的基础上，结合数据提供部门的实际情况，和相关法律法规，形成东阳市开放数据资源目录，支撑全市数据资源的开放。参照省大数据平台的数据标准和规范，扩充东阳本地的数据资源，建立数据标准目录、数据资源目录、开放目录等。.目录编制由东阳市大数据平台信息员根据东阳市政务数据资源目录，为全市各部门在平台上建立相关的数据资源目录，主要包括数据项字段、目录等级、目录类型、上报周期等内容，录入完毕后交由数据资源提供单位核实。主要功能如下：（）各部门对于拟创建的新目录可以提交报送，在报送操作中选择目标的目录并完善审核部门以及申报描述等信息。（）对已未审核的目录可以进行管理，展示其目录编码、目录名称、审核部门、创建时间、报送时间、申报状态等信息。对于每一条数据目录可以实现查看详情、报送、编辑报送内容、删除等操作。（）搜索功能：对于列表中的目录可以根据目录编码、审核部门、创建开始时间和创建结束时间进行搜索。.目录报送由数据资源提供单位核实本部门在平台上的相关数据资源目录，核实所有内容， 重点关注上报周期、目录级别、字段等信息，对于核实无误的目录报送至大数据平台管理单位，有误目录退回至信息员修正。主要功能如下：（）各部门对于维护跟新的目录可以提交报送，在报送操作中选择目标的目录并完善审核部门以及申报描述等信息。（）对已未审核的目录可以进行管理，展示其目录编码、目录名称、审核部门、创建时间、报送时间、申报状态等信息。对于每一条数据目录可以实现查看详情、报送、编辑报送内容、删除等操作。（）搜索功能：对于列表中的目录可以根据目录编码、审核部门、创建开始时间和创建结束时间进行搜索。.目录审核对报送的目录进行最终的审核。审核所有内容，重点关注上报周期、目录级别、字段等信息，审核通过后发布该目录，审核未通过则将该目录退回至数据资源提供单位。主要功能如下：（）对于每一条送审的数据数据目录，展示其目录编码、目录名称、申报部门、创建时间、报送时间、申报状态等信息。可以执行查看或审核的操作。（）对于送审到本部门的数据目录进行审核，可以选择通过或不通过，并编辑审核意见。审核结束后，数据目录改变状态进入相应的流程（通过审核的目录变为待发布的状态、不通过的部门变为审核未通过状态）。（）对于列表中的目录可以根据目录编码、审核部门、创建开始时间和创建结束时间进行搜索。.目录发布对审核通过后的目录进行最终确认发布。可查看所有目录发布情况和详细内容。如对于每一条待发布的数据目录进行状态的显示，可以显示其目录编码、目录名称、编制部门、上报周期、专题数据库、编制日期、修改日期、目录状态、建表进度等信息主要功能如下：（）对于每一条待发布的数据目录进行状态的显示，可以显示其目录编码、目录名称、编制部门、上报周期、专题数据库、编制日期、修改日期、目录状态、建表进度等信息。（）对于每一条通过审核的数据目录，可以执行查看详情、建表、发布操作。（）建表功能需对表单中的字段做出验证，无字段的表单不可建表，建表可以刷新。已完成建表的数据目录可以发布，完成建表过程。.目录管理为方便系统管理员对大数据平台的目录维护工作，具备目录管理所有功能，可在目录管理中独立完成全部目录发布的流程。主要功能如下：（）对于所有目录具备管理功能。展示其目录编码、目录名称、编制部门、上报周期、专题数据库、编制日期、修改日期、目录状态、建表状态等信息。不同状态的数据目录可以执行不同的管理操作。如查看详情、建表、设置字段、编辑、删除等。（）检索功能：对于列表中的目录可以根据目录编码、编制部门、编制开始时间和编制结束时间进行搜索。.目录发布分析支持对所有部门的目录建设情况进行统计分析，主要包括参与采集的部门数、已发布目录数、当前目录覆盖的类型、目录覆盖的领域等情况。主要功能如下：对所有部门的目录建设情况进行监控：（）概况：参与采集的部门数、已发布目录数、当前目录覆盖的类型、目录覆盖的领域等；（）目录来源分析：比较各部门发布目录的数量；（）上报周期分析：已经发布的目录中，周报、月报、年报等周日目录的占比；（）目标领域分析：比较各个领域中目录的数量；（）目录级别分析：比较已发布目录中各公开级别的目录占比；（）目录类型分析：比较已发布目录中各个类型的目录数量。.目录管理日志能够详实记录每一个目录的发布过程，主要功能如下：（）发布操作记录：对本部门的目录发布操作进行记录，操作日期、发布目录名称、目录级别、目录类型、编制人、报送人、发布人等信息。（）检索功能：对于列表中的操作记录可以根据操作日期、操作人进行模糊搜索， 同时对目录类型、目录级别等关键信息进行筛选。.数据资源目录维护本地数据资源目录体系管理结构包括政务数据资源目录生产、使用和管理的三个角色，六项活动。三个角色是政务数据资源目录的提供者、管理者和使用者。六项活动包括规划、编目、注册、管理、服务（即：发布）、使用，如下图所示：千里马招标网 目录体系管理结构示意图.管理职责()提供者Ø 负责本部门政务数据资源的编目和定义业务元数据；Ø 对本部门的政务数据数据目录内容申请使用权限要求；Ø 向目录管理者注册目录内容并负责更新；Ø 负责提供与目录内容相关联的政务数据资源定位。()管理者Ø 对政务数据资源目录统一管理；Ø 负责政务数据资源目录的注册、审核、发布与维护；Ø 定义技术元数据；Ø 目录发布，提供政务数据资源目录内容的查询服务。()使用者对获取的信息内容在授权范围内使用，包括浏览、下载以及调用 API 接口等。.管理环节与角色关系政务数据资源目录体系建设和管理各项活动所涉及的角色如下：活动规划编目注册中国招投标行业门户网站涉及角色由提供者、管理者配合完成，提供者最终确认；由提供者完成；或由提供者线下确认后，管理者完成， 提供者完成；或由提供者线下确认后，管理者完成，千里马招标网 管理由管理者完成；服务即目录的发布，由管理者完成； 使用由使用者完成。.业务流程数据主权是归数据提供者（数据主权部门）所有，数据接入大数据平台之前必须得到数据提供者的许可，并通过数据接入的审批流程。平台进入运营后，会出现几种情况，第一种情况是平台管理者（建设部门）发出数据集接入申请，得到数据提供者的许可双方共同实施数据接入；第二种情况是数据提供者申请将数据接入平台，在得到平台管理者许可后方可接入；第三种情况是数据初始化，即平台管理者和数据提供者前期经过约定，同意将一批数据放入大数据平台，直接实施接入平台，不需要走申请流程。以第二种情况为例，目录体系业务流程如下图所示： 数据目录的上线流程：.与省级数据资源目录协同省级数据资源目录主要通过东阳大数据平台向浙江省数据管理中心触发数据同步的情况下与省级数据资源目录进行比对，完成本地数据资源目录的更新。中国招投标行业门户网站千里马招标网 同步流程如下：本地大数据平台部门需求查询是否查询到结 是果判断数据是否有效是返回结果更新否否查询是否查询到结果是获取数据暂存本地返回结果否索引库返回省数管中心.根据部门需求查询东阳大数据平台是否有相关数据。.如果查询到结果，判断数据是否有效，如果有效则返回结果。.如果在本地数据中心没有查询到相关数据，则查询浙江省数据管理中心的索引库查看是否有想要的数据。.如果有则从浙江省数据管理中心库中获取数据后同步到大数据平台，并根据数据字段判断省数据资源目录有无更新，若更新则自动同步东阳数据资源根目录。.数据集成平台.数据归集与构成.数据归集数据归集处理是数据库的第一步，平台根据本地化数据资源目录获取数据资源，以下对数据来源、数据资源类别、数据结构和数据落地方式进行了总结。.数据来源分析Ø 各部门自建系统公共性、基础性的数据；Ø 省大数据平台的各类数据；Ø 来自省市县三级数据资源交换体系的各类数据；Ø 来自商业机构、运营商的第三方数据。中国招投标行业门户网站.数据资源分类Ø 各部门政务数据资源；Ø 来自省级基础数据资源和专题数据资源；Ø 来自本地基础数据资源和专题数据资源；Ø 通过其他途径得到的数据资源。.数据结构分析Ø 结构化数据；Ø 半结构化数据；Ø 非结构化数据；.数据落地方式（）前置库交换：利用交换平台，将本地自建系统的历史数据、新产生数据落地到东阳大数据平台。（）接口调用：将浙江省数据管理中心、东阳市各部门自建系统数据，通过数据接口加载到大数据平台。（）工具批量导入：将国家、省、地市部署的部分系统数据，通过批量数据导出和导入工具，定期将所需数据加载到大数据平台。（）物理拷贝：将图片、影像等较大存储量的数据通过 DVD、U 盘方式等实现数据导入。.建立上报机制实施数据资源“百川汇海”，在全市各部门设立“数据官”，建立数据资源采集网络长效机制。.建立考核办法针对数据资源质量、及时率、安全、完善度、联络员等，设立考核办法。.数据采集管理根据前期对东阳市各部门和浙江省数据管理中心调研走访掌握的情况，对于省、金华市级数据，主要通过接口调用方式完成数据采集；对于在电子政务网的自建系统数据，主要通过接口调用或公共前置库方式获取；对于外网的其他系统数据，主要通过分别与各个部门的前置库或excel导入方式获取。.物理拷贝采集物理拷贝方式，采用传统的移动硬盘、U 盘、DVD 等数据存储介质通过硬拷贝方式实现数据共享的模式。如规划局，涉及汇聚的数据包含地图、影像等存储量较大的数据适用于本采集方式。采用该模式的实现环境主要有以下几种情况：（）数据应用部门与支撑服务平台存在着网络互联互通的障碍，导致无法通过网络实现数据共享。（）数据量较大，采用网络方式进行数据共享不但容易造成网络阻塞，而且成本代价较大，往往采用物理拷贝模式。.数据上传采集数据上传方式主要是通过平台提供的数据上传入口，上传各业务部门的相关数 据，实现数据的共享。数据上传采集的特点是可通过系统支持附件上传和数据批量上传，同时能在一定程度上保障数据的传输速度、质量和安全。如部署于省、地级市， 但能通过数据批量导出等方式的系统，主要提供两种上传入口：（）通过登录数据采集系统的 WEB 界面，进行 WEB 界面直接上传相关数据。（）通过搭建的 FTP 服务，各业务部门将所需要上传的资料通过 FTP 上传到前置库中。.接口服务采集接口服务模式是属于一种较高层次的共享模式，各业务部门的应用系统建立与大数据平台平台的接口，通过系统与系统之间的接口交互模式，实现数据的共享与调用。如民政、财政、人社等在本地部署的系统，可通过改方式获取对实时性要求较高的数据。需支持常见的接口服务有 webservice、API 接口等类型，满足平台的接口服务采集需求。采用此种方式采集数据，不需增加前置机等设备，仅需对原有系统增加调用接口的程序，即可实现平台所需数据的采集。.前置库数据库采集依托数据交换体系，可通过在数据接入单位和大数据平台各配置一台前置机，实现部门数据的统一汇集到本市大数据平台。若接入单位有前置机的，则需对前置机进行软件配置，并对原应用系统的数据输入进行必要的改造。接入单位如无前置机的， 则需要增加一个前置机，并做必要的软件设置与改造。采用数据交换的方式接入平台， 需要增加交换软件费用以及实施费用。此类数据采集方式适用于已配置前置交换机或对数据共享实时性要求较低且数据交换量较大的部门系统。.数据采集功能平台提供了以数据采集规则设置、日志和监控、采集分析等为主的功能。在采集规则设置方面，平台自带完整的采集规则，便于各部门通过采集规则设置，便捷地开展手动数据采集，也可定时执行任务的方式采集或转换数据；在日志和监控方面，提供采集实时监控、日志跟踪、异常数据监控反馈等功能，确保数据采集的安全可靠； 在采集统计分析方面，提供数据采集方式分析、数据来源分析，便于管理人员了解数据采集情况。1. 采集规则配置（）获取信息资源中定义的信息资源更新频率，自动实现采集、可以配置全量或者增量采集方式。（）能够提供对于采集周期，时间的采集策略配置、接口配置采集任务配置功能。（）对于应用数据采集，需要管理的关键业务点有采集点、数据传输。主要性能指标包括：在采样周期内成功取得文件的数量、采集数据间隔时间、采集文件大小、进程状态、文件连续性、采集状态、传输速率等。（）能够对目录中的具体字段做出导入规则设定，方便大规模数据采集、验证工作，提高数据质量。针对具体字段可设置数据的采集规则，规范导入数据；如统一字母的大小写、去除重复字段、去除空格等。设置好的规则可在数据导入时自动执行， 保证数据库的规范性、数据的有效性。.数据采集面向大数据平台管理人员，提供物理拷贝、数据上传（附件）、接口服务（webservice和 API）、前置库交换等四种方式。面向各部门数据维护人员，提供手动、批量等数据导入服务和前端操作功能：（）批量导入：在完成建设的目录中可以按照字段列表批量增加原始数据，平台提供数据模板，可以根据模板批量导入数据，导入时可启用采集规则对数据进行自动整理。同时，支持数据 excel 等指定格式以附件形式上传。（）手动添加：可以在数据表中手动填写，增加数据，一次可以增加一条。（）数据维护：对于已经添加的数据可以进行查看、编辑、删除等操作。（）数据查询：根据数据添加时间、添加人等关键信息查询数据记录。（）作业方式管理：需要定时执行的转换任务称为一个作业。作业管理模块在转换管理的基础上，提供定时执行的服务。定时调度方式有：不需要定时，按分钟，按天，按周，按月，按年和实时。（）实时增量：基于日志方式的实时增量，支持 OracleRedoLog、SqlServerLog、MySqlBinLog 等日志解析方式。.数据采集日志（）合成操作记录：对于数据合成进行详情记录，详细记录合成数据的来源，包括部门、目录等，对合成的数据量、合成时间及操作人进行记录。（）查询功能：可根据采集日期、合成字段、操作人、部门等关键词进行合成记录的检索，支持模糊查询。.数据采集异常管理系统提供采集异常处理机制，如采集任务中断、采集数据失败等相关异常现象时， 实现相关的补采机制，或通过告警的方式通知系统用户等。数据采集过程的日志推送到平台，并将报错信息推送至数据提供部门。为了方便用户查看转换的异常统计，提供了搜索框供用户搜索。用户可以输入转换名并设置时间区间，也可以查看某个时间段的全部异常统计信息。.数据采集监控（）数据采集趋势分析：结合时间维度分析不同采集方式采集的数据量；（）采集方式分析：比较不同采集方式的使用次数，反映数据积累的主要手段；（）部门采集分析：，统计比较各个部门维护的数据目录数量及数据数量；点击可以下载，查看各个部门下各目录数据积累数量；展示实现部门之间的横向对比及本部门内部的目录采集对比。（）数据来源分析：统计比较各部门采集的数据量，从部门维度反映大数据平台数据的主要来源。.数据采集统计统计各个部门、各目录的采集数据数量、采集方式、采集次数等，反应数据目录的数据积累情况。.数据治理数据处理主要包括数据清洗、比对、转换、合成、加载等过程，根据调研走访情况，列举大数据平台在数据清洗、比对和加载等方面的处理途径。在数据清洗方面，平台提供清洗规则设置、清洗过程监控、异常反馈等功能。对于来自浙江省数据管理中心的数据，直接存入基础数据库，不做清洗；对于其他来源数据，根据数据资源目录制定数据清洗规则，主要通过是否为空，及信息长度、类型、格式等判断，自动将错误信息清除。在数据比对方面，平台提供数据比对规则配置、字段关联、比对日志等功能。以权威部门数据为标准进行核查比对，如公安的人口；对如自然人中的姓名、性别、出生年月等信息是否符合相关规定等进行合归性比对。在数据加载方面，平台提供制定加载规则、加载模式设置、定时加载等功能。对于初次加载的数据库或出现数据目录重大调整，使用基本加载方式，将对整个数据仓库进行数据加载；对 于已加载数据的数据库，使用增量加载方式，在保存已有数据基础上增加新数据（主键匹配时可选择替代旧记录）。.数据处理流程数据规范化处理是为提高采集数据的质量，数据由数据提供方采集到数据库前， 经过一系列数据处理过程，最主要的几个步骤为数据清洗、数据比对、数据转换和数据加载。数据规范化处理流程图如下：千里马招标网 .数据处理规则.清洗规则数据清洗需要根据东阳市数据资源目录，制定数据清洗规则，保证数据清洗将尽可能多的错误数据过滤，下面对四种常用清洗规则进行说明。Ø 不为空清洗对数据记录信息是否为空进行核对。比如行政机关提供人口相关信息资源时，必须提交人口对应身份证号码，此信息项要求不能为空，对于该信息项为空的数据记录将被清洗流程过滤。Ø 长度清洗对数据记录信息长度进行核对。比如行政机关提供人口相关信息资源时，依据国家对身份证号码的制定规则，身份证号码统一为位或者位，对于该信息项长度不符合要求的数据记录将被清洗流程过滤。Ø 类型清洗对数据记录信息类型进行核对。比如行政机关提供人口相关信息资源时，人员年龄统一约定为正整数数字，对于该信息项不为正整数数字类型的数据记录将被清洗流程过滤。Ø 格式清洗对数据记录信息格式进行核对。比如行政机关提供登记审批日期时，格式必须为可识别的常见日期格式，对于该信息项日期格式不能被识别的数据记录将被清洗流程中国招投标行业门户网站千里马招标网 过滤。.比对规则数据处理遵循“一数一源”的比对处理原则，制定比对规则，保证数据规则确定的唯一性，实现多层次的比对方法和规则，下面对三种常用比对规则进行说明。Ø 代码比对每个部门的业务系统采用不同的编码表示自然人、法人等信息，如：公安系统中的居民身份证号、市场监管系统中的企业注册登记号、质监系统中的组织机构代码等， 每类数据都将采用最权威部门的编码作为唯一标识，如：自然人采用居民身份证。Ø 数据一致性比对同一个自然人或者法人在不同的部门数据库中的同一信息字段的内容存在不一致。Ø 数据合法性比对如自然人中的姓名、性别、出生年与等信息是否符合相关规定；Ø 数据量一致性比对由于目前各部门业务系统之间尚未实现共享，比如：有工商注册号信息但是没有组织机构代码信息等情况。同一单位在不同部门数据库中的信息量也是不一致的。Ø 代码标准一致性比对比如单位类型、人的学历等各有关信息在不同部门数据库中表示的代码不一致。.转换规则Ø 结构转换从一种形式的数据结构到另一种数据结构的转换，使两种不同的数据能够相互识别与兼容。为了有效的利用不同数据结构的优点，有必要进行数据结构之间的转换。如：从矢量数据结构向栅格数据结构转换或栅格数据结构向矢量数据结构转换的过 程。Ø 元数据编码转换中国招投标行业门户网站不同业务系统对元数据的代码有可能不同，为了更好的管理元数据，方便更好的利用数据，可以把所有的元数据的代码统一编号。有国家标准编码的参考国标，没有国家标准编码的通过对元数据的编码将其统一。如多个业务系统里都有人员性别，有的业务系统里性别用汉字男、女描述的，也有的业务系统里用、分别表示性别男和女的，还有的业务系统里用、分别表示性别男和女的。为了更好的统一管理，根据国标统一转换为、分别表示性别男和女。.加载规则数据经过清洗、比对转换后，数据质量得到保障，由于数据平台数据库（前端） 和数据标准据库（即临时库）接口存在差异，需要进行加载步骤，将符合规范的数据加载到大数据平台数据库，下面对三种常用加载规则进行说明。Ø 表拆分数据标准库一张数据表映射数据平台数据库多张数据表时，需要对数据标准库表做拆分处理，将数据依据一定逻辑关系分散映射到数据平台数据库多张数据表。Ø 表合并数据标准库多张表映射数据平台数据库一张表时，