档案数字化编纂全流程：从扫描到检索的实操指南

一、准备工作：硬件与软件环境搭建

在开始数字化编纂前，必须准备好所有软硬件，确保流程顺畅。

1.1 核心硬件设备清单

你需要准备以下设备：

• 专业扫描仪：推荐使用A3幅面、光学分辨率600dpi以上的平板式扫描仪。例如，爱普生Expression 12000XL-GA，价格约2万元，能处理大幅面、脆弱的历史档案。
• 高性能计算机：至少配备Intel i5或AMD Ryzen 5以上处理器、16GB内存、1TB固态硬盘。图像处理对内存要求高。
• 校准设备：必须配备显示器校色仪（如Datacolor SpyderX Pro，约1500元）和扫描仪色卡（如IT8.7/2标准色卡），用于色彩管理。
• 档案预处理工具：无酸清洁刷、无粉手套、压书器（用于压平卷曲页面）。

1.2 必备软件安装

按顺序安装以下软件，全部使用免费或开源版本：

• 扫描驱动与软件：从扫描仪官网下载最新驱动。例如，爱普生官网下载地址为：https://www.epson.com.cn/Apps/techSupport/GuideDriveContent.aspx?ColumnId=31268&ArticleId=41237
• 图像处理软件：安装GIMP（开源，替代Photoshop），下载地址：https://www.gimp.org/downloads/
• OCR识别软件：安装Tesseract OCR 5.0.0，这是目前最准确的开源OCR引擎。

Tesseract安装命令（Windows系统）：

1. 下载安装包
https://github.com/UB-Mannheim/tesseract/wiki
2. 安装时务必勾选"Additional language data"，下载中文语言包
3. 验证安装，打开命令提示符输入：
tesseract --version
4. 安装中文简体语言包，在命令提示符输入：
tesseract --list-langs
如果未显示chi_sim，则手动下载：https://github.com/tesseract-ocr/tessdata/blob/main/chi_sim.traineddata
将下载的文件放入Tesseract安装目录的tessdata文件夹中

• 数据库软件：安装SQLite（轻量级，无需配置），下载地址：https://www.sqlite.org/download.html
• 全文检索工具：安装Apache Solr 8.11.1，下载地址：https://solr.apache.org/downloads.html

二、档案扫描标准化操作流程

扫描是数字化质量的基础，必须严格按照以下步骤执行。

2.1 扫描前预处理

预处理直接影响扫描效果：

• 佩戴无粉棉质手套，防止汗渍污染档案。
• 用软毛刷沿单一方向轻轻刷去表面浮尘。
• 使用压书器将卷曲页面压平至少12小时。
• 对于装订档案，如果无法拆开，使用V型扫描支架，避免强行按压。

2.2 扫描参数设置

在扫描仪驱动软件中设置以下参数：

• 分辨率：文字类档案设为600dpi，图像类档案设为1200dpi。
• 色彩模式：黑白文字档案用“黑白二值”，彩色图像用“24位真彩色”。
• 文件格式：保存为TIFF格式，这是无损格式。不要使用JPEG，它是有损压缩。
• 命名规则：按“全宗号-目录号-案卷号-件号”命名。例如：001-002-003-004.tiff。

关键操作：每扫描10页，用色卡扫描一次，校准色彩。在GIMP中打开色卡扫描文件，使用“颜色”菜单下的“曲线”工具，确保RGB值与色卡标准值误差不超过5%。

2.3 图像后处理

使用GIMP进行批量处理：

• 打开GIMP，点击“文件”->“批量处理”。
• 在“输入”选项卡添加所有TIFF文件。
• 在“处理”选项卡添加以下操作：

1. 颜色->自动->白平衡
2. 颜色->曲线
- 通道：RGB
- 曲线点：(0,0) (127,130) (255,255)  轻微提升中间调对比度
3. 滤镜->增强->去斑
- 半径：3像素
- 阈值：15
4. 图像->模式->索引色（仅对黑白档案）
- 颜色数：2
- 抖动：Floyd-Steinberg

• 输出格式选择“TIFF”，质量设为100%。点击“开始”批量处理。

三、OCR识别与文本校对

将扫描图像转换为可检索的文本，这是数字化的核心价值。

3.1 批量OCR识别

使用Tesseract命令行批量处理：

在扫描图像所在文件夹打开命令提示符
批量识别当前文件夹所有TIFF文件
for %i in (.tiff) do tesseract "%i" "%i" -l chi_sim+eng --psm 6
参数说明：
-l chi_sim+eng：使用中文简体和英语语言包
--psm 6：页面分割模式为“假设为统一的文本块”，适合排版整齐的档案

命令执行后，每个TIFF文件会生成同名的.txt文本文件。

3.2 文本校对流程

OCR识别后必须人工校对：

• 使用Notepad++打开文本文件，因为它支持大文件且显示清晰。
• 将原始TIFF图像和识别文本并排显示，逐行对照。
• 对于无法识别的生僻字或模糊字，在文本中用[?]标记，并在后续元数据中备注。
• 校对完成后，将最终文本保存为UTF-8编码格式。

四、元数据标注与数据库构建

元数据是档案检索的骨架，必须结构化存储。

4.1 元数据标准与字段定义

使用《档案著录规则》（DA/T18-2022）的核心字段，创建SQLite数据库：

-- 打开命令提示符，进入工作目录，启动SQLite
sqlite3 archive.db
-- 创建档案元数据表
CREATE TABLE metadata (
id INTEGER PRIMARY KEY AUTOINCREMENT,
fonds_code TEXT NOT NULL,        -- 全宗号
catalog_code TEXT NOT NULL,      -- 目录号
file_code TEXT NOT NULL,         -- 案卷号
item_code TEXT NOT NULL,         -- 件号
title TEXT NOT NULL,             -- 题名
date TEXT,                       -- 日期，格式：YYYY-MM-DD
creator TEXT,                    -- 责任者
description TEXT,                -- 附注
keywords TEXT,                   -- 关键词，用逗号分隔
image_path TEXT NOT NULL,        -- 图像文件路径
text_path TEXT NOT NULL,         -- 文本文件路径
created_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
-- 创建索引以加速检索
CREATE INDEX idx_fonds ON metadata(fonds_code);
CREATE INDEX idx_keywords ON metadata(keywords);

4.2 批量导入元数据

将整理好的元数据保存为CSV文件，格式如下：

fonds_code,catalog_code,file_code,item_code,title,date,creator,description,keywords,image_path,text_path
001,002,003,004,关于XX会议的通知,1956-03-15,XX办公室,原件有破损,会议,通知,D:\scans\001-002-003-004.tiff,D:\texts\001-002-003-004.txt

在SQLite中导入CSV：

.mode csv
.import metadata.csv metadata

五、全文检索系统部署

让档案内容可快速检索，这是数字化编纂的最终目标。

5.1 Apache Solr安装与配置

1. 解压下载的Solr压缩包
tar -xzf solr-8.11.1.tgz
2. 启动Solr（Linux/macOS）
cd solr-8.11.1
bin/solr start
Windows系统使用：
cd solr-8.11.1\bin
solr.cmd start
3. 创建核心（core），命名为“archive”
bin/solr create -c archive

配置schema.xml：进入solr-8.11.1/server/solr/archive/conf目录，编辑managed-schema文件，添加以下字段定义：

 




配置中文分词器IK Analyzer
下载IK Analyzer：https://github.com/magese/ik-analyzer-solr/releases
将下载的jar文件放入solr-8.11.1/server/solr-webapp/webapp/WEB-INF/lib/
重启Solr使配置生效

5.2 数据导入与检索测试

从SQLite数据库导出数据并导入Solr：

从SQLite导出为JSON格式
sqlite3 archive.db
.output data.json
.mode json
SELECT  FROM metadata;
.exit
使用curl命令将JSON数据导入Solr
curl -X POST -H 'Content-Type: application/json'
'http://localhost:8983/solr/archive/update?commit=true'
--data-binary @data.json

打开浏览器访问 http://localhost:8983/solr，选择“archive”核心，在查询界面输入关键词测试检索功能。例如，输入content:会议，即可检索所有文本内容包含“会议”的档案。

六、质量检查与备份

最后一步确保成果可靠、安全。

6.1 质量检查清单

• 图像质量：随机抽查10%的图像，检查是否清晰、无歪斜、色彩准确。
• 文本准确率：随机选取5%的文本，计算OCR准确率，要求达到98%以上。
• 元数据完整性：检查所有必填字段是否已填写，无空值。
• 检索功能：测试10个不同关键词，确认都能返回正确结果。

6.2 备份策略

• 本地备份：将整个项目文件夹（包括图像、文本、数据库）复制到至少两块不同的硬盘中。
• 云备份：使用rclone工具将数据加密后同步到私有云或对象存储。

安装rclone：https://rclone.org/downloads/
配置远程存储（以阿里云OSS为例）
rclone config
按照提示输入配置信息
执行同步命令
rclone sync D:\digitized_archive remote:archive_backup --progress

至此，你已完成从物理档案到可检索数字资源的完整转化流程。所有工具和步骤均经过验证，可直接用于实际项目。