档案数字化基本程序与要求.ppt

档案数字化基本程序与要求,档案数字化概述 纸质档案的数字化 照片档案的数字化 录音档案的数字化 录像档案的数字化 实物数字化 档案数字化工作实例,档案档案数字化概述,对于已有的各种载体形式的档案采用数字化处理技术进行加工处理，以实现不同载体形式档案的数字化管理和档案信息资源的数字化共享。 档案数字化基本原则 档案数字化基本程序 档案数字化保障机制,档案数字化基本原则,价值性原则 实用性原则 开放性原则 特色性原则,档案数字化基本程序,前期准备：制定规划、原件准备 转换处理： 信息采集：针对原件具体情况采取相应的技术手段 信息处理：扫描中的纠偏、除噪、消除杂印等 数字信息存储：载体转换 脱机保存 后期（数据）整理：核查扫描后数据,档案数字化保障机制,质量控制机制（由近及远） 安全性保障机制（权限规定 当日事当日毕） 可用性保障机制（数据迁移）,纸质档案的数字化,数字化处理方式的选择 数字化输入设备的选择 扫描技术参数的确定 数字化处理基本环节 数字化存储设备的选择 缩微影像转换技术应用,数字化处理方式的选择,直接扫描图像法（数码相机、文本文件、图形文件） 缩微影像转换法（对原有胶片的扫描、扫描同时形成胶片和数字图形）,纸质档案的数字化,数字化处理方式的选择 数字化输入设备的选择 扫描技术参数的确定 数字化处理基本环节 数字化存储设备的选择 缩微影像转换技术应用,数字化输入设备的选择,扫描仪的种类 1.平板扫描仪：（考虑最大幅面）主要处理一些幅面小、要求精度高的彩色图片的输入，例如扫描画册、照片等 2.工程扫描仪：主要处理一些大幅面的设计图纸、施工图纸的输入。 3.高速扫描仪（近期纸质较好的文件）是快速、高效实现文档电子化的关键输入设备。与传统扫描仪相比，速度快、效率高，扫描精度完全可以满足文档扫描的要求。 黑白、彩色 4.数码相机：主要用于非纸张实物或其他不能用扫描仪进行输入的载体。,扫描仪性能指标 1.速度 2.扫描分辨率300-600dpi（dots Perinch） 3.色彩分辨率24位以上 4.动态密度范围（根据原件确定） 5.灰度级1024 6.扫描仪的接口方式EPP、USB、SCSI,纸质档案的数字化,数字化处理方式的选择 数字化输入设备的选择 扫描技术参数的确定 数字化处理基本环节 数字化存储设备的选择 缩微影像转换技术应用,扫描技术参数的确定,扫描分辨率200-300dpi 扫描亮度值选择50-60之间 扫描对比度数值以70-80为最佳 扫描模式：黑白，一般文字；灰度，多层次原件 压缩存储格式：TIFF、BMF、JPEG、AWD等,纸质档案的数字化,数字化处理方式的选择 数字化输入设备的选择 扫描技术参数的确定 数字化处理基本环节 数字化存储设备的选择 缩微影像转换技术应用,数字化处理基本环节,档案整理 档案扫描 图像处理 图像存储 目录建库 数据挂接 数据验收 数据备份,全过程管理加强纸质档案数字化各环节的安全保密管理机制，确保档案原件和数字化档案信息的安全。 纸质档案数字化的各个环节均应进行详细的登记，并及时整理、汇总，装订成册，在数字化工作完成的同时建立起完整、规范的记录。,档案整理,目录数据准备 按照档案著录规则（DA/T18）等的要求，规范档案中的目录内容。包括确定档案目录的著录项、字段长度和内容要求。如有错误或不规范的案卷题名、文件名、责任者、起止页号和页数等，应进行修改。 拆除装订 不去除装订物，影响扫描效果的档案，应拆除装订物。拆除装订物时应注意保护档案不受损害。 区分扫描件和非扫描件 按要求把同一案卷中的扫描件和非扫描件区分开。普发性文件区分的原则是：无关和重份的文件要剔除，有正式件的文件可以不扫描原稿。 页面修整 破损严重、无法直接进行扫描的档案，应先进行技术修复，折皱不平影响扫描质量的原件应先进行相应处理（压平或熨平等）后再进行扫描。,档案整理登记 制作并填写纸质档案数字化加工过程交接登记表单，详细记录档案整理后每份文件的起始页号和页数。 恢复装订 扫描工作完成后，拆除过装订物的档案应按档案保管的要求重新装订。 恢复装订时，应注意保持档案的排列顺序不变，做到安全、准确、无遗漏。,档案扫描,1、确定扫描方式根据档案幅面的大小（A4、A3、A0等）选择相应规格的扫描仪或专业扫描仪（如工程图纸可采用0号图纸扫描仪）进行扫描。 大幅面档案可采用大幅面数码平台，或者缩微拍摄后的胶片数字化转换设备等进行扫描，也可以采用小幅面扫描后的图像拼接方式处理。 纸张状况较差，以及过薄、过软或超厚的档案，应采用平板扫描方式；纸张状况好的档案可采用高速扫描方式以提高工作效率。,2、确定扫描色彩模式扫描色彩模式一般有黑白二值、灰度、彩色等。通常采用黑白二值。 页面为黑白两色，并且字迹清晰、不带插图的档案，可采用黑白二值模式进行扫描。 页面为黑白两色，但字迹清晰度差或带有插图的档案，以及页面为多色文字的档案，可采用灰度模式扫描。 页面中有红头、印章或插有黑白照片、彩色照片、彩色插图的档案，可视需要采用彩色模式进行扫描。,3、确定扫描分辨率扫描分辨率参数大小的选择，原则上以扫描后的图像清晰、完整、不影响图像的利用效果为准。 采用黑白二值、灰度、彩色几种模式对档案进行扫描时，其分辨率一般均建议选择100dpi。特殊情况下，如文字偏小、密集、清晰度较差等，可适当提高分辨率。 需要进行OCR汉字识别的档案，扫描分辨率建议选择200dpi。4、扫描登记 认真填写纸质档案数字化转换过程交接登记表单，登记扫描的页数，核对每份文件的实际扫描页数与档案整理时填写的文件页数是否一致，不一致时应注明具体原因和处理方法。,图像处理,图像数据质量检查对图像偏斜度、清晰度、失真度等进行检查。发现不符合图像质量要求时，应重新进行图像的处理。 由于操作不当，造成扫描的图像文件不完整或无法清晰识别时，应重新扫描。 发现文件漏扫时，应及时补扫并正确插入图像。 发现扫描图像的排列顺序与档案原件不一致时，应及时进行调整。 认真填写相关表单,记录质检结果和处理意见。,纠偏 对出现偏斜的图像应进行纠偏处理，以达到视觉上基本不感觉偏斜为准。对方向不正确的图像应进行旋转还原，以符合阅读习惯。 去污 对图像页面中出现的影响图像质量的杂质，如黑点、黑线、黑框、黑边等应进行去污处理。处理过程中应遵循在不影响可懂度的前提下展现档案原貌的原则。 图像拼接 对大幅面档案进行分区扫描形成的多幅图像，应进行拼接处理，合并为一个完整的图像，以保证档案数字化图像的整体性。 裁边处理 采用彩色模式扫描的图像应进行裁边处理,去除多余的白边,以有效缩小图像文件的容量，节省存储空间。,图像存储,确定存储格式 采用黑白二值模式扫描的图像文件，一般采用 TIFF(G4)格式存储。 采用灰度模式和彩色模式扫描的文件，一般采用JPEG格式存储。 存储时的压缩率的选择，应以保证扫描的图像清晰可读的前提下，尽量减小存储容量为准则。 提供网络查询的扫描图像，也可存储为CEB、PDF或其他格式。,命名图像文件 纸质档案目录数据库中的每一份文件，都有一个与之相对应的唯一档号，以该档号为这份文件扫描后的图像文件命名。 多页文件可采用该档号建立相应文件夹，按页码顺序对图像文件命名。,目录建库,选择数据格式选择 目录建库应选择通用的数据格式。所选定的数据格式应能直接或间接通过XML文档进行数据交换。 档案著录 按照档案著录规则（DA/T18）的要求进行著录，建立档案目录数据库。 目录数据质量检查 采用人工校对或软件自动校对的方式，对目录数据库的建库质量进行检查。核对著录项目是否完整、著录内容是否规范、准确，发现不合格的数据应要求进行修改或重录。,数据挂接,汇总挂接 档案数字化转换过程中形成的目录数据库与图像数据库，通过质检环节确认为“合格”后，通过网络及时加载到数据服务器端汇总。通过编制程序或借助相应软件，可实现目录数据对相关联的数字图像的自动搜索、加入对应的电子地址信息等，实现批量、快速挂接。 数据关联 以纸质档案目录数据库为依据，将每一份纸质档案文件扫描所得的一个或多个图像存储为一份图像文件。将图像文件存储到相应文件夹时，要认真核查每一份图像文件的名称与档案目录数据库中该份文件的档号是否相同，图像文件的页数与档案目录数据库中该份文件的页数是否一致，图像文件的总数与目录数据库中文件的总数是否相同等。通过每一份图像文件的文件名与档案目录数据库中该份文件的档号的一致性和唯一性，建立起一一对应的关联关系，为实现档案目录数据库与图像文件的批量挂接提供条件。 交接登记 认真填写纸质档案数字化转换过程交接登记表单，记录数据关联后的页数，核对每一份文件关联后的页数与档案整理、扫描时填写的页数是否一致，不一致时应注明具体原因和处理办法。,数据验收,数据抽检 以抽检的方式检查已完成数字化转换的所有数据，包括目录数据库、图像文件及数据挂接的总体质量。 一个全宗的档案，数据验收时抽检的比率不得低于5% 验收指标 目录数据库与图像文件挂接错误，或目录数据库、图像文件之一出现不完整、不清晰、有错误等质量问题时，抽检标记为“不合格”。 一个全宗的档案，数字化转换质量抽检的合格率达到95%以上（含95%）时，给予以验收“通过”。 合格率=抽检合格的文件数/抽检文件总数100% 验收审核 验收“通过”的结论，必须经分管领导审核、签字后方有效。 验收登记 认真填写纸质档案数字化验收登记表单。,数据备份,备份范围 经验收合格的完整数据应及时进行备份。 备份方式 为保证数据安全，备份载体的选择应多样化，可采用在线、离线相结合的方式实现多套备份，并注意异地保存。 数据检验 备份数据也应进行检验。备份数据的检验的内容主要包括备份数据能否打开、数据信息是否完整、文件数量是否准确等。 备份标签 数据备份后应在相应的备份介质上做好标签，以便查找和管理。 备份登记 填写纸质档案数字化备份管理登记表单。,成果管理,应加强对纸质档案数字化成果的管理，确保其安全、完整和长期可用。 纸质档案数字化成果提供网上检索利用时，应有制作单位的电子标识，并根据具体情况分别采用可下载或不可下载的数据格式。,纸质档案的数字化,数字化处理方式的选择 数字化输入设备的选择 扫描技术参数的确定 数字化处理基本环节 数字化存储设备的选择 缩微影像转换技术应用,数字化存储设备的选择,光盘（光盘机、光盘塔、光盘库） 只读、一次写入多次读出、重复读写 选择注意： 1.支持并发访问用户数量 2.安全性及安全管理体系 要与NTDomain等网络管理界面无缝集成，支持Passthrough功能； 有自动日志功能； 3.对各种网络操作系统和网络结构的支持 4.存储容量,纸质档案的数字化,数字化处理方式的选择 数字化输入设备的选择 扫描技术参数的确定 数字化处理基本环节 数字化存储设备的选择 缩微影像转换技术应用,缩微影像转换技术应用,缩微胶片扫描设备的选择 扫描技术参数的选择（分辨率200dpi、亮度45-60、对比度80-90） 校对 建立目录体系 标识的相互印证,照片档案的数字化,输入设备：照片、图片、底片等的输入设备主要根据照片档案不同的类型，可采用 专业平板扫描仪 高级底片扫描仪 数码照相机,扫描分辨率的确定 1.反射稿（照片）扫描分辨率： 11”8” 300dpi 8”5” 450dpi 5”4” 600dpi 4”3” 800dpi 2”1.5” 1000dpi 1.5”1” 1200dpi 2.透射稿（底片）扫描分辨率： 35mm 2500dpi 120mm 1800dpi,位深对数字图像阶调的影响 位深（色彩深度值）是数字图像反映颜色深度的指标。即反映扫描图像色彩与实物色彩接近程度的性能指标。它的单位是bit（位）。确切的含义是用多少“位”来表示扫描得到的一个像素。 较高的色彩深度位数可以保证扫描仪反映的图像色彩与实物的真实色彩尽可能的一致，而且图像色彩会更加丰富。 为保证色彩还原的准确度，扫描仪的色彩位数至少要达到36位才能获得比较好的效果。,灰度级的选择 灰度级是表示灰度图像高度层次范围的指标，代表的是扫描仪能够捕捉的色调范围到底有多宽，灰度级越大，扫描层次越丰富，扫描的效果也就越好。 色彩位数和灰度级的数值大小与扫描效果成正比。 非永久保存的文件不必盲目追求大数量级的色彩位数和灰度级，因为色彩位数和灰度级的提高会增加扫描仪的成本。,动态范围的选择 动态范围（也称密度范围）是用来衡量数字化图像中相邻色调之间过渡的平稳性。 用于原始图像时，表示对透明原始图像的光阻反射能力或对原始图像的光吸收能力； 用于数字化设备时，是描述设备再现色调细微变化的能力，表示给定设备所能探测到最淡颜色（dmin）和最深颜色（dmax）之间的差值。 当扫描设备或原始图像的动态范围或密度值增加时，它可以探测、阻挡、吸收的光能级的范围就扩大，一个设备的动态范围越宽，它可以捕捉的可视细节就越多，在阴影（颜色最深面积）中更是如此。 在阴影中要精确的采样细节是最困难的，因为用来反射或传送阴影细节的光能量是有限的。,照片档案数字化基本程序： 1.前期准备 2.确定扫描参数 3.照片（底片）扫描 4.保存文件并刻录光盘备份 5.编写说明文件 6.质量检查 7.进库保存,录音档案的数字化,录音档案数字化软硬件设备 放音设备（盒式、开盘式等） 存储设备（CD-R、DVD-R、DVD-RAM、MO等； CD-R刻录机，最好具有JAST-LINK、BURN-PROOF SEAMLESS-LINK性能之一 计算机声卡（16位）运作正常的多媒体计算机，硬盘较大，支持多种声音源输入 数字化软件乐曲制作软件Creative Wavestudio Gold Wave、Music-Match、Jakebox等，刻录软件用EASY-CD较好。,录音档案数字化基本程序 1.前期准备 2.确定转录参数 3.数字化转录 4.保存文件并刻录光盘备份 5.编写说明文件 6.质量检查 7.进库保存,录像档案的数字化,视频数字化软硬件配置 录像档案数字化过程 存储格式的选择,视频数字化软硬件配置,放像设备：根据大2/1带、3/4带、声带选择 视频采集计算机：采集卡可选用MPEG1、MPEG2，最高10MB/S码流，多种接口。 编辑机：非线性，CPU为1GHZ、硬盘为SCSI、10000转/分 存储设备：最好选用DVD-R光盘刻录机 采集软件：与采集卡相匹配 编辑软件：对于VIDEO采用PACK较好DVD采用DAKIN或者SONIC MPEG4编码软件：DivX,录像档案数字化过程,1、编写档案著录标引单 2、浏览检查录像档案 3、采集数据 4、刻制光盘 5、录入录像数据库数据 6、编写说明文件,存储格式的选择,AVI格式：采集文件太大，占用空间大 M-JPEG格式：（Joint Photographic Expert Group联合图像专家组）传输速度快，用于非线性编辑系统 MPEG-2格式：(Moving Picture Expert Group动态图像专家组)具有国际化，兼容性强；压缩比最高可达为200：1，占据空间小；数据损失小；能够引入各种类型的存储介质；易于存储和传输。,实物数字化,三维扫描技术(3D Scan) 三维扫描是集光、机、电和计算机技术于一体的高新技术，主要用于对物体空间外形和结构进行扫描，以获得物体表面的空间坐标。能够将实物的立体信息转换为计算机能直接处理的数字信号，为实物数字化提供了相当方便快捷的手段。,三维扫描技术(3D Scan),三维扫描仪作为一种快速的立体测量设备，测量速度快、精度高，非接触，使用方便。用三维扫描仪对手板，样品、模型进行扫描，可以得到其立体尺寸数据，这些数据能直接与CAD/CAM软件接口，在CAD系统中可以对数据进行调整、修补、再送到加工中心或快速成型设备上制造，可以极大的缩短产品制造周期。,三维扫描设备分接触式探针式和非接触式（激光、照相、X光等式）两大类。 探针式价格较便宜，具有很高测量精度，适合做相对尺寸的测量与质量管理；但速度较慢，探针与物体接处会有盲点并且易使软件物体变形，影响扫描精度，价格较高。 非接触式的方法由于同时拥有速度和精度的特点，应用较广泛。激光扫描速度快、精确度适当，并且可以扫描立体的物品获得大量点云数据，以利曲面重建，扫描完后由计算机读出数据。,激光三角形法又根据光源的不同可以分为点光源和线光源两种不同的方式，不同的方式的到的数据的组织方法是不一样的。 应用三维扫描法一方面可对采用反求工程生产的产品档案直接进行数字化管理；另一方面可对已有的实物进行数字化归档管理 三维扫描技术从产生以来，已经发展了很多种扫描技术：,工作实例,设备配置（配套与兼容） 数据加工中心日常管理（企业化） 数字化质量保证技术（档案去污、保证扫描密度、采用国际标准、局部淡化技术、调整扫描分辨率和灰度等） 数字档案验收,数字档案验收注意： 1.确保扫描前后档案整理的一致性 2.扫描图像与条目数据100%挂接 3.文件图像格式为国际标准TIFF（Tag Image File Format 标记图像文件格式） 、JPG等 4.提交图像经过质量技术处理，确保清晰,体会： 1.领导重视，统筹规划 2.联系实际，方案实用 3.制度严密 4.向国际标准靠拢 5.管理科学（数字化过程和数字化载体的管理） 6.保证人员质量,计算机辅助档案管理,纵向：从档案目录信息管理开始，发展到文件、档案一体化管理、档案的全文管理和检索、档案信息的多媒体集中统一管理。 横向：从档案实体管理开始，发展到档案征集、收集、整理的辅助管理、档案自动著录标引、档案字迹恢复、档案馆库所使用设备的自动控制、行政管理等情况的统计、档案编研的辅助管理、档案借阅催还等管理、档案鉴定(档案价值鉴定及档案销毁前的鉴定)、档案部门办公自动化等等，应用领域不断扩展。,计算机网络技术将它们联系起来，构成整体，成为一个档案信息局域网络管理系统。再将档案信息局域网络管理系统，通过网络设备和软件，与全市、全省、全国、全行业的网络相连或与国际互联网相连，构成一个广域的档案信息网络管理系统。充分共享档案信息资源和计算机软硬件资源。,档案管理软件的基本要求,选择档案管理软件应遵循的原则 档案管理软件功能要求 档案管理软件的组织体系结构,选择档案管理软件应遵循的原则,标准与规范性 灵活性 可扩充性 安全性 检索效率 开放性 易用性,档案管理软件功能要求,国家档案局 档案管理软件功能要求暂行规定9章34条 具体功能要点： 1.对数据管理功能的要求： 建库功能： 数据输入 数据检测 数据维护,2.对检索查询与编目功能的要求 a具有常用的字段检索、逻辑式组合检索、多字段混排(全文)检索； b根据检索语义的自动扩检、缩检及二次检索； c支持多种数据结构的检索查询； d支持多媒体数据的检索查询。 e支持跨库检索； f对百万条目录数据检索速度应达到秒级； g检索结果准确可靠，按需要可分类排序； h检索结果可多种输出方式，可进行检索结果的加工、编辑、处理等。,3.对利用统计与借阅管理功能的要求 a利用统计 利用情况登记：包括利用者信息、借阅、摘复、利用目的等。 利用流程跟踪催办：实现对利用过程的监督控制和催办。 利用情况检索查询(调用检索查询功能模块)。 利用情况统计、报表输出等(调用分类、统计、打印功能模块)。,b借阅管理 借阅管理：借阅单位、借阅人、借阅日期和批准人、经手人。借阅档案的题名、档号、缩微号、光盘文件号等。 催还：计算机执行催还程序，检查借阅库内的借阅日期，当超过借阅期限时，系统自动打印输出借阅催还单。以便通知借阅人归还档案。 注销：当借阅人归还全部或部分档案时，计算机程序自动在借阅库内予以说明归还，或打上注销标志。,c统计打印功能 支持多种统计功能（数字、图形、图表） 对各种要求的报表可进行预览和输出打印,4.对辅助实体管理功能的要求 a征集接收管理功能 征集工作、接收工作流程管理、检索查询、统计、报表输出； 可以接收以光盘等形式移交的电子档案，可以将各种不同载体数字化后的数据上载，将其加工结果数据准确无误地导入本单位计算机管理系统数据库； 档案征集、接收、移交、鉴定、密级变更处理及对上述处理的来源、数量、种类、载体、人员的管理。 b辅助整理编目功能 档案的分类、整理、编目、自动组卷、立卷，开放档案的审查、划控、解密等。 对图书资料管理功能的要求 图书资料的订购管理、整理、分类、编目、检索查询、统计、报表输出等。,5.对安全保密功能的要求： 对档案管理软件的研制、安装、运行必须符合国家安全保密规定，达到保密等级。 6.对系统维护功能的要求： 权限管理 运行日志管理等,二层结构与三层结构的结合,档案管理软件的组织体系结构,应用层,业务处理层,应用层,业务处理层,数据存储层,领域工程： 为一组相近或相似系统的应用工程建立基本能力和必备基础的过程，它覆盖了建立可复用的软件构件和构架的所有活动。 目标：产生“专门领域软件体系构架”即DSSA,应用构架库,软件构架库,计算机管理设备仪器档案应注意的问题,关注档案计算机管理发展趋势 积极采取相关对策,档案计算机管理发展趋势,网络化 电子文件增加迅速，CAD电子文件管理 语音识别、文字扫描模式识别、超文本和超媒体信息处理 计算机多媒体技术 新型计算机技术,档案计算机管理对策 加强领导和统一规划 适应计算机普及带给档案基础工作和管理方法的影响 认真研讨计算机网络管理安全问题 促进计算机多媒体技术在档案管理中实用性功能的开发和应用 解决好计算机人员短缺问题 研究和解决电子文件归档和电子档案的长期保存问题 研究和解决新型档案载体的安全使用和长久保存问题,应用实例,