中小档案机构档案数字化元数据生成归集及初步大数据合规认证指南

一、前期准备：3分钟搞定工具和基础环境

本次实操全部使用免费开源工具，无需购买任何商业软件，适合零技术背景的档案从业者。

1.1 工具下载安装

• 批量OCR+元数据提取工具：PDF24 Creator，下载地址：https://tools.pdf24.org/zh/creator.php，选择Windows/macOS对应版本的免费安装包，一路点击“下一步”完成安装，不要勾选额外广告软件。
• 开源数据归集验证工具：OpenRefine，下载地址：https://openrefine.org/download.html，选择最新稳定版压缩包（如Windows选openrefine-3.8.2-windows.zip），解压到D盘或桌面的纯英文文件夹（如D:\OpenRefine，不能有中文/空格，否则可能启动失败）。
• 大数据合规参考库（简化版）：档案馆行业标准DB32/T 3698-2019《数字档案元数据规范》常用字段文件，复制下方完整CSV内容到记事本，另存为“元数据规范参考.csv”，编码选择UTF-8（无BOM）：

  字段编码,字段名称,必填/可选,数据类型,示例
  DA-T001,题名,必填,文本,2023年度XX街道办事处财务凭证第1册
  DA-T002,档号,必填,文本,XXJD-CW-PZ-2023-001
  DA-T003,责任者,必填,文本,XX街道办事处财务科
  DA-T004,日期,必填,日期,2023-01-01至2023-12-31
  DA-T005,页数,必填,数字,125
  DA-T006,保管期限,必填,文本,永久/30年/10年

1.2 基础环境验证

• PDF24 Creator：安装后右键任意图片/PDF文件，能看到“PDF24”菜单即正常。
• OpenRefine：进入解压后的文件夹，双击openrefine.exe（Windows）或openrefine（macOS终端会自动打开），等待浏览器自动跳转到http://127.0.0.1:3333/ ，看到“新建项目”界面即正常。

二、档案数字化元数据批量生成：5分钟完成500份文件的提取

假设你的档案已全部扫描为单个PDF文件，每个文件名格式为“档号-题名-责任者-日期.pdf”（如XXJD-CW-PZ-2023-001-2023年度财务凭证第1册-财务科-2023-12.pdf，不需要完全对应，但建议关键信息用统一符号分隔，方便后续处理）。

2.1 批量提取PDF基础信息（档号、题名、页数）

• 打开PDF24 Creator，点击左侧“批量处理”→“批量提取元数据”。
• 点击“添加文件”，全选已整理好的扫描PDF文件，点击“打开”。
• 在“输出格式”下拉框选择CSV，点击“设置”，只勾选“文件名”“页数”“元数据-标题（可后续覆盖）”，点击“确定”。
• 选择输出路径（如D:\OpenRefine\input），点击“开始”，等待完成后得到“metadata.csv”。

2.2 快速拆分文件名获取缺失元数据

刚才提取的元数据可能不够规范，我们用文件名快速拆分补全。

• 打开刚才生成的“metadata.csv”，全选内容复制到新的记事本，另存为“原始元数据.csv”，编码改为UTF-8（无BOM）（防止OpenRefine乱码）。
• 回到OpenRefine界面，点击“选择文件”→选中“原始元数据.csv”→点击“下一步”。
• 在“解析CSV/TSV/分隔符分隔的文件”区域，确保“将第一行作为列名”已勾选，点击右下角“创建项目”。
• 找到“文件名”列，点击列名旁的小箭头→“编辑列”→“拆分列…”。
• 在“分隔符”框输入“-”，点击“确定”，会生成“文件名1”到“文件名4”（对应档号、题名、责任者、日期）的新列。

三、档案行业大数据初步归集：3分钟标准化数据结构

现在把拆分的数据和规范参考库对应，生成符合要求的数字档案元数据。

• 添加规范参考库作为对照项目：点击右上角“项目”→“导入项目”→选择前期准备的“元数据规范参考.csv”→创建新项目命名为“规范参考”。
• 回到原始元数据的OpenRefine页面（点击浏览器标签栏切换），依次修改列名：
  • 点击“文件名1”列箭头→“编辑列”→“重命名列”→输入“DA-T002 档号”→确定。
  • 点击“文件名2”→重命名为“DA-T001 题名”。
  • 点击“文件名3”→重命名为“DA-T003 责任者”。
  • 点击“文件名4”→重命名为“DA-T004 日期”。
  • 点击“页数”→重命名为“DA-T005 页数”。
• 手动补充“DA-T006 保管期限”列：点击任意列名旁的小箭头→“编辑列”→“添加列…”，新列名输入“DA-T006 保管期限”，GREL表达式留空，点击“确定”；逐行点击空白单元格输入对应保管期限（或全选→点击列箭头→“编辑列”→“填充列…”输入统一值，如“30年”→确定后手动修改特殊项）。
• 导出标准化元数据：点击右上角“导出”→选择“CSV”，保存为“标准化数字档案元数据.csv”。

四、档案大数据初步合规认证：8分钟自动+手动双验证

这里的认证指对照DB32/T 3698-2019常用字段的必填性、数据类型验证，适合内部自检或提交上级前的预核查。

4.1 自动验证数据完整性与类型

• 在OpenRefine标准化元数据页面，处理必填项缺失：
  • 点击“DA-T001 题名”列箭头→“筛选”→“自定义筛选”→选择“空白”→点击“确定”，筛选出的行需要补全。
  • 依次对“DA-T002 档号”“DA-T003 责任者”“DA-T004 日期”“DA-T005 页数”“DA-T006 保管期限”做同样空白筛选，补全所有空白项后点击每个筛选的“移除”。
• 处理数据类型错误：
  • 验证日期：点击“DA-T004 日期”列箭头→“编辑列”→“基于此列添加列”，新列名输入“日期合规性”，GREL表达式输入：

    isNonBlank(value.match(/^\d{4}(-\d{2}){1,2}至\d{4}(-\d{2}){1,2}$/)) ? "合规" : "需修正"

    →点击“确定”，筛选“需修正”的行统一修改为YYYY-MM-DD或YYYY-MM-DD至YYYY-MM-DD格式。
  • 验证页数：同理添加“页数合规性”列，表达式：

    isNumber(value.toNumber()) ? "合规" : "需修正"

    →修正后移除筛选。

4.2 手动验证关键信息一致性

• 档号去重：点击“DA-T002 档号”列箭头→“排序”→“确定”，点击列名旁的小三角→“排序菜单”→“重复项”→“标记为重复项”，有重复的红色标记行需要调整档号。
• 保管期限合规性抽查：在OpenRefine右上角“抽样”框输入“10%”（可根据档案数量调整），点击“抽样”，对照实体档案抽查保管期限是否正确。

五、收尾工作：归档工具包

• 将“PDF24 Creator批量处理后的PDF扫描件”“标准化数字档案元数据.csv”“原始扫描件备份文件夹”放在同一纯英文目录下，命名为“XX单位202X年度第X批数字档案”。
• 关闭OpenRefine：双击解压文件夹里的“stop.exe（Windows）”或在终端按Ctrl+C（macOS）。