DB51_T 3060-2023 四川省政务信息化后评价指南.docx

《DB51_T 3060-2023 四川省政务信息化后评价指南.docx》由会员分享，可在线阅读，更多相关《DB51_T 3060-2023 四川省政务信息化后评价指南.docx（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、ICS03.100.99CCSA02DB51四川省地方标准DB51/T30602023四川省政务信息化后评价指南Guidelineforpost-evaluationofgovernmentaffairsinformatizationinsichuanprovince2023-04-28发布2023-06-01实施四川省市场监督管理局发布DB51/T30602023目次前言.II引言.III1范围.12规范性引用文件.13术语和定义.14符号和缩略语.15基本原则.15.1独立性.15.2客观性.25.3针对性.25.4结构性.26评价方法.26.1基本方法.26.2综合评价法.26.3逻辑框

2、架法.26.4层次分析法.27评价指标.27.1评价指标体系框架.37.2投资决策与建设管理.37.3运维水平.37.4应用效果.47.5项目效益.48评价程序.48.1基本程序.48.2前期准备.58.3项目应用机构自评.58.4实施评价.58.5评价报告撰写.58.6评价结果应用.59评价组织管理.59.1总则.59.2独立性.69.3公正性.69.4保密性.6附录A（资料性）评价指标体系.7附录B（资料性）采用层次分析法计算评价指标权重示例.10B.1层次分析法基本原理.10B.2采用层次分析法计算评价指标权重步骤.10B.3采用层次分析法计算评价指标权重示例.11IDB51/T3060

3、2023四川省政务信息化后评价指南1范围本文件规定四川省政务信息化后评价的原则、内容、方法、程序和机构。本文件适用于策划、组织、实施各种类型四川省政务信息化项目的后评价工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T236912009项目管理术语GB/T250692022信息安全技术术语GB/T256472010电子政务术语3术语和定义GB/T236912009、GB/T250692022、GB/T256472010界定的以及下列

4、术语和定义适用于本文件。3.1政务信息化后评价post-evaluationofgovernmentaffairsinformatization对已竣工验收政务信息化项目的目标、执行过程、结果、效益、作用和影响等进行分析、总结和评估的活动4符号和缩略语LFA，逻辑框架法（logicalframeworkapproach）CE，综合评价（ComprehensiveEvaluation）AHP，层次分析法（AnalyticHierarchyProcess）CI，一致性指标（ConsistencyIndex）RI，随机一致性指标（RandomIndex）CR，一致性比例（ConsistencyRat

5、io）5基本原则5.1独立性应由具备相应能力、独立运行的机构开展评价工作。1DB51/T306020235.2客观性应以事实为依据，客观反映项目决策、项目管理、运行维护和系统应用的实际状况，在可靠的文件及明确的数据基础上，实事求是地得出评价结论。5.3针对性应针对四川省政务信息化项目的具体特征选择评价方法，综合考虑项目类型、内容、规模、复杂程度等要素，确保分析方法和评价结论的科学性、适宜性。5.4结构性应针对四川省政务信息化项目，综合考虑业务结构和数字化功能结构，集合公共管理与IT技术等多视角，做好科学解读和综合研判。6评价方法6.1基本方法四川省政务信息化后评价主要采用定性和定量相结合的方法

6、，包括综合评价法、逻辑框架法、层次分析法，以及国际国内通行的其他方法等。具体项目的后评价方法应根据项目特征和后评价的要求，选择一种或多种方法对项目进行评价。6.2综合评价法综合评价法即多指标综合评价方法，是指使用比较系统的、规范的方法对于多个指标、多个单位同时进行评价的方法。综合评价一般采取主客观结合的方式，评价指标的选取和指标权重设置是关键。该方法采用的计算方法需要考虑的问题比较复杂，但因其综合性和系统性的显著特点在实践中广泛应用。计算机的普及降低了综合评价的计算方法复杂度，增强了评价可操作性。6.3逻辑框架法逻辑框架法是一种设计、计划和评价的方法，通过投入、产出、具体目标、宏观目标四个层面

7、对项目进行分析和总结。从确定待解决的核心问题入手，向上逐级展开，得到其影响及后果，向下逐层推演找出其引起的原因，得到“问题树”，并将描述的因果关系转换为相应的目标关系，得到“目标树”和对应的“规划矩阵”。逻辑框架汇总了项目实施活动的全部要素，并按宏观目标、具体目标、产出成果和投入的层次归纳了投资项目的目标及其因果关系。6.4层次分析法层次分析法是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标（或准则、约束）的若干层次，然后采取求解判断矩阵特征向量的方法获得每一层次的各元素对上一层次某元素的优先权重，最后用再加权求和的方式递阶归并各目标对总目标的最终权重，

8、以作为目标（多指标）、多方案优化决策的系统方法。在本标准附录B中，提供了一个采用层次分析法计算评价指标权重的示例。7评价指标2DB51/T306020237.1评价指标体系框架四川省政务信息化后评价指标包括投资决策与建设管理、运维水平、应用效果、项目效益四个方面。四川省政务信息化后评价指标体系框架如图1所示。系统的指标体系详见附录A。四川省政务信息化项目后评价指标体系运维水平投资决策与建设管理应用效果项目效益信业务网管息资项目投资决策项目建设管理资源利用水平应用集约化发展项目运行状况运维组织保障络和数据安全保应用程度理和政务服务效源共享及数据归社会效益经济效益应用前景水平障能集效果图1四川省政

9、务信息化后评价指标体系框架7.2投资决策与建设管理7.2.1项目投资决策项目投资决策主要根据项目实施完成的实际情况，对项目立项决策事项进行评价。7.2.2项目建设管理项目建设管理主要评价项目建设实施管理的水平。7.2.3资源利用水平资源利用水平主要对项目系统实际运行过程中网络、计算、存储等资源实际使用率与建成的能力进行比较评价。7.2.4业务应用集约化发展水平业务应用集约化发展水平主要评价项目系统与内外部其他信息系统的协同开发的程度。7.3运维水平7.3.1项目运行情况项目运行情况主要评价项目实际运行的情况。7.3.2运维组织保障运维组织保障主要评价项目运维的资金、组织和队伍的保障水平。3DB

10、51/T306020237.3.3网络和数据安全保障网络和数据安全保障主要评价项目运行维护过程中网络系统和数据安全的保障水平。7.4应用效果7.4.1应用程度应用程度主要评价项目对业务的支撑力度、系统功能应用频次及受益者满意程度。7.4.2管理和政务服务效能管理和政务服务效能主要评价项目对政务目标的实现程度、业务办理效率提升及改善程度。7.4.3信息资源共享及数据归集效果信息资源共享及数据归集效果主要评价信息数据质量以及信息数据开放共享水平。7.5项目效益7.5.1社会效益社会效益主要对项目系统使用以后产生的社会效益进行评价。7.5.2经济效益经济效益主要对项目系统使用以后产生的经济效益进行评

11、价。7.5.3应用前景应用前景主要评价项目创新能力以及应用的可持续性、可推广性。8评价程序8.1基本程序四川省政务信息化后评价包括前期准备、应用机构自评、实施评价、评价报告撰写、评价结果应用五个阶段。四川省政务信息化后评价程序如图2所示。4机构自评实施评价评价报告撰写评价结果应用DB51/T30602023前期准备项目应用确定评价对象成立评价小组制定评价工作方案收集项目基础资料编写并提交自评报告提交相关文件资料收集文件资料审核文件资料现场测评综合分析撰写初步报告修改初步报告提交正式报告建立档案评价结果反馈问题整改评价结果应用形成评价指标体系制定评价相关文本8.2前期准备图2四川省政务信息化后评

12、价程序前期准备主要工作包括：确定评价对象、成立评价小组、制定评价工作方案、收集项目基础资料、形成评价指标体系、制定评价相关文本等。8.3项目应用机构自评项目应用机构根据自评报告范本，编写并提交自评报告，并按要求提交相关文件资料。8.4实施评价实施评价阶段的主要工作包括：收集文件资料、审核文件资料、现场测评、综合分析等。8.5评价报告撰写评价报告撰写阶段主要工作包括：撰写初步报告、修改初步报告、提交正式报告、建立档案等。8.6评价结果应用评价结果应用阶段主要开展评价结果反馈、问题整改以及评价结果的采信应用等。9评价组织管理9.1总则后评价机构应具有明确的法律地位，应有文件描述其职能和从事技术相关

13、应用咨询的能力范围。5DB51/T306020239.2独立性后评价机构应独立于所涉及的各方，不应是其评价项目的设计方、集成方、供应商、监理方和运维方，也不应是上述任何一方的授权代表。9.3公正性开展后评价的人员应不受可能影响其判断的来自商业、财务和其他压力的影响，应严格执行工作程序确保评价的结果不受评价机构以外的人员或组织的影响。9.4保密性后评价机构应确保对后评价活动过程中获得的信息保密。6一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明1投资决策与建设管理评价项目投资决策以及项目建设管理的水平和能力1-1项目投资决策根据项目实施完成的实际情

14、况，对项目立项决策事项进行评价1-1-1政策衔接评价项目的立项实施是否符合党中央、国务院和省委、省政府要求，是否符合相关政府规划及法律法规的要求1-1-2技术方案评价项目技术方案的先进性，与项目单位内部其他信息系统技术路线的兼容适配性，以及与批复文件技术方案的差异1-1-3自主可控水平评估项目应用自主可控软硬件的情况，以及项目批复文件及实际建设情况的差异1-2项目建设管理评价项目建设实施管理的水平1-2-1招标采购评价项目招标采购方案中技术参数设置的合理性1-2-2验收整改评价项目验收整改情况及效果1-2-3档案管理评价项目实施、运行、维护过程中档案管理的规范情况1-3资源利用水平在项目系统运

15、行时，通信、计算等资源实际使用率与建成的能力进行比较评价1-3-1请求响应能力利用率评价项目确定的系统请求响应能力和利用率的目标实现程度1-3-2计算处理能力利用率评价项目确定的业务计算处理能力和利用率的目标实现程度1-3-3数据存储能力利用率评价项目确定的信息系统数据存储能力和利用率的目标实现程度1-4业务应用集约化发展水平评价项目系统与内外部其他信息系统的协同开发的程度1-4-1外部协同程度评价项目系统与项目单位外部的其他信息系统之间协同开发的程度1-4-2内部整合程度评价项目系统与项目单位内部的其他信息系统之间协同开发的程度DB51/T30602023附录A（资料性）评价指标体系评价指标

16、体系的详细情况如表A.1所示。表A.1评价指标体系7一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明2运维水平评价项目系统的运维能力和保障水平2-1项目运行情况评价项目实际运行的情况2-1-1系统可用性评估项目系统完成要求的功能的能力2-1-2系统可靠性评估项目系统在运行过程中的连续正常运行情况2-1-3系统可升级性评价项目系统升级与更新频次2-2运维组织保障评价项目运维的资金、组织和队伍的保障水平2-2-1运维制度保障评价项目申请维保资金的规范性、合理性等2-2-2运维队伍保障评价运维服务在岗人员、技术能力，及使用方对第三方服务商的监督制度建立

17、及落实情况2-3网络和数据安全保障评价项目运行维护过程中网络系统和数据的安全保障水平2-3-1等级分级保护水平评价项目系统达到的信息安全和信息系统等级或分级保护等级2-3-2网络系统安全保障评价项目系统运行防护能力和安全管理规范实施的有效性2-3-3数据安全保障评价项目数据开放应用安全技术防护和管理体系的有效性2-3-4商用密码应用性评估评价项目商用密码应用的合规性和有效性3应用效果评价项目满足业务需求的能力和信息资源共享的水平3-1应用程度评价项目对业务的支撑力度、系统功能应用频次及受益者满意度3-1-1功能应用率评价项目实际应用的系统功能模块的覆盖率以及使用频次3-1-2用户覆盖率评价项目

18、实际应用机构/用户数量的情况3-1-3受益者满意度项目系统受益者的满意程度3-2管理和政务服务效能评价项目对提升政务效能的贡献度3-2-1公共服务普惠改善程度评价项目对改善公共服务普惠成效的贡献3-2-2机制秩序改善程度评价项目实现秩序类公共事务管理转型，改善竞争、博弈及合作活动秩序，维护协同机制健康的贡献3-2-3业务流程和质量评价系统使用后的业务办理流程和业务办理质量提升情况DB51/T30602023表A.1评价指标体系（续）8一级指标编号一级指标一级指标说明二级指标编号二级指标二级指标说明三级指标编号三级指标三级指标说明3-3信息资源共享及数据归集效果评价信息数据质量以及信息数据开放共

19、享水平3-3-1数据标准化评价信息系统中的数据是否符合相关标准和数据规范，或者项目制定了新的标准规范，以及标准规范的使用程度3-3-2数据一致性评价项目系统内部以及与内外部其他信息系统之间对同一业务对象的描述在编码、格式、含义等方面的一致性3-3-3数据时效性评价项目系统在数据采集、加是否在规定时间内更新信息3-3-4数据共享接口部署率评价项目确定的部门间数据共享接口的部署情况3-3-5提供共享数据信息量评价项目提供给其他部门的数据信息量及共享数据方式3-3-6提供数据服务频次评价项目为其他部门提供数据服务的情况3-3-7数据共享机制及应用平台评价项目与内外部其他信息系统之间数据共享机制建设，

20、以及实际利用数据处理支撑平台的情况3-3-8信息资源利用率评价项目实际利用内外部其他信息系统数据的次数和频度4项目效益评价项目建设的经济社会效益以及应用前景4-1社会效益评价项目系统使用以后产生的社会效益4-1-1促进政府职能转变评价项目促进政府职能转变方面的效益4-1-2提高办事效率评价项目提高办事效率方面的效益4-2经济效益评价项目系统使用以后产生的经济效益4-2-1提高工作效率评价项目提高工作效率方面的效益4-2-2节约行政成本评价项目节约行政成本方面的效益4-3应用前景评价项目创新能力以及应用的可持续性、可推广性4-3-1项目创新能力评价建设应用后形成的创新点4-3-2项目试点示范推广

21、评价项目的试点示范推广应用情况4-3-3表彰获奖情况评价项目取得的表彰获奖情况表A.1评价指标体系（续）工、计算和展示方面的及时性，9DB51/T30602023元素i比元素j量化值同等重要1稍微重要3较强重要5强烈重要7极端重要9两相邻判断的中间值2，4，6，8DB51/T30602023附录B（资料性）采用层次分析法计算评价指标权重示例B.1层次分析法基本原理层次分析法根据问题的性质和要达到的总目标，将问题分解为不同的组成元素，并按照元素间的相互关联影响以及隶属关系将元素按不同层次聚集组合，形成一个多层次的分析结构模型，从而最终使问题归结为最低层（供决策的方案、措施等）相对于最高层（总目标

22、）的相对重要权值的确定或相对优劣次序的排定。具体到本计算示例，得到四川省政务信息化后评价结果（用得分表示）是总目标，投资决策与建设管理、运维水平、应用效果、项目效益等四个一级指标为组成元素。本计算示例采用层次分析法计算各评价指标的权重。B.2采用层次分析法计算评价指标权重步骤（1）建立层次结构模型将决策的目标、考虑的元素（决策准则）和决策对象按它们之间的相互关系分为最高层、中间层和最低层，绘出层次结构图。最高层是指决策的目的、要解决的问题。最低层是指决策时的备选方案。中间层是指考虑的元素、决策的准则。对于相邻的两层，称高层为目标层，低层为元素层。（2）构造判断矩阵在确定各层次各元素之间的权重时

23、，采用一致矩阵法，即不把所有元素放在一起比较，而是两两相互比较。采用相对尺度可以尽可能减少性质不同的诸元素相互比较的困难，并提高准确度。如对某一准则，对其下的各方案进行两两对比，并按其重要性程度评定等级。表示对于上层元素而言，下层元素和相对重要性的数值，表B.1列出9个重要性等级及其赋值。按两两比较结果构成的矩阵称作判断矩阵。判断矩阵具有如下性质：=判断矩阵元素的标度方法如下表B.1所示。表B.1比例标度表（3）一致性检验对于上一步构造的判断矩阵，需要检验其一致性，以保证后续做出的排序和决策是可靠的。判断矩阵一致性是指满足条件，它反映了两两比较判断之间是协10n123456789RI000.5

24、80.91.121.241.321.411.45DB51/T30602023调一致、不矛盾的。由于实际问题的复杂性和不确定性，特别是涉及的元素较多时，构造的判断矩阵可能不完全满足上述一致性。为此，提出了判断矩阵只要满足“满意一致性”，就可以进入下一步操作。具体的“满意一致性”计算方法：对每一个判断矩阵求其最大特征根及一致性指标：再计算一致性比例:其中，RI是平均随机一致性指标，它与n有关，如表B.2所列。表B.2平均随机一致性指标值当时，认为判断矩阵具有“满意一致性”，是可以接受的；否则需要对判断矩阵进行适当的修正。（4）层次单排序根据判断矩阵，计算下层各元素对上层元素的影响性排序(权重)，称

25、为层次单排序。设当前层对应的判断矩阵为，有多种方法进行单层次排序。本计算示例选用特征根法，即计算判断矩阵B的特征根和特征向量，将最大特征根对应的特征向量进行归一化后作为排序权重，即层次单排序的结果。（5）层次总排序将层次单排序结果进行合成，以得到各层元素特别是最底层元素对总目标的影响权重，这称为层次总排序。其计算过程如下：假定上层有m个元素，已得到该层次的总排序权重为；下层有n个元素，且对的单排序权重为(当下层元素与上层元素无关时，取)，则下层元素，对于总目标的总排序权重向量（）按以下方法计算。B.3采用层次分析法计算评价指标权重示例（1）建立层次结构模型根据四川省政务信息化后评价指标体系框架

26、，建立目标和一级指标的层次模型如下图B.1所示。本计算示例只计算一级指标的权重。目标一级指标四川省政务信息化项目后评价指标体系运维水平投资决策与建设管理应用效果项目效益图B.1四川省政务信息化后评价指标体系框架（2）构造判断矩阵11判断矩阵元素投资决策与建设管理运维水平应用效果项目效益投资决策与建设管理1.000.500.330.50运维水平2.001.000.501.00应用效果3.002.001.002.00项目效益2.001.000.501.00DB51/T30602023通过咨询专家意见，可以构造判断矩阵。作为示例的判断矩阵如下表B.3所示。在具体评价过程中，应根据实际情况构造科学合理的判断矩阵。表B.3判断矩阵示例（3）一致性检验根据前面的公式，计算过程如下：因为，查表B.2，选取平均随机一致性指标值。计算最大特征根。计算一致性指标。计算一致性比例。小于10%则说明满足一致性要求，打分的主观性是可以接受的。（4）层次单排序根据判断矩阵计算特征向量和权重，得到指标对应的权重向量为（，）。采用同样的方法，可以计算每个二级指标相对于一级指标的权重，以及每个三级指标相对于二级指标的权重。最后可以计算每个三级指标的总排序权重。12