非涉密档案数字化全流程技术落地实操指南

前置环境准备与工具链安装

在开始数字化操作前，必须搭建一套稳定且无版权纠纷的处理环境。本文采用Python作为核心控制语言，配合Tesseract-OCR进行文字识别，使用Ghostscript进行PDF格式转换。这套组合在Windows和Linux环境下均可直接运行。

1. 安装Python环境

访问Python官网下载3.9及以上版本安装包。安装时务必勾选"Add Python to PATH"选项。安装完成后，在命令行执行以下命令安装必要的依赖库：

```bash pip install pillow pytesseract pdf2image opencv-python reportlab ```

2. 安装Tesseract-OCR引擎

这是识别的核心引擎。Windows用户直接下载tesseract-ocr-w64-setup-5.3.0.exe（下载地址：https://github.com/UB-Mannheim/tesseract/wiki）。安装时务必勾选Chinese (Simplified)语言包数据。Linux用户执行：

```bash sudo apt install tesseract-ocr tesseract-ocr-chi-sim ``` 安装完成后，必须将Tesseract的执行路径添加到系统环境变量Path中（Windows默认路径为C:\Program Files\Tesseract-OCR）。

3. 安装Ghostscript

用于生成符合长期保存标准的PDF/A文件。下载GPL Ghostscript 10.01.2（下载地址：https://www.ghostscript.com/releases/gsdnld.html）。安装后同样确保gs命令可在全局调用。

核心步骤一：标准化扫描参数配置

非涉密档案数字化的核心在于可读性与存储效率的平衡。无论是使用高速扫描仪还是手机拍摄，必须严格遵循以下参数标准，否则后续OCR识别率将大幅下降。

1. 分辨率设定

强制要求：300 DPI。这是OCR识别的最低门槛，若档案字号较小（如8号字），必须提升至600 DPI。低于300 DPI的图像会导致文字笔画粘连，识别准确率低于50%。

2. 色彩模式与文件格式

对于黑白文字档案，扫描时选择黑白（二值）模式，保存为TIFF (Group 4)格式，此格式无损且体积最小。对于带有照片或红章的档案，选择24位彩色模式，保存为JPEG (Quality 85%)。禁止使用PNG格式存储批量档案，因其体积过大不利于长期存储。

3. 倾斜校正预处理

扫描进来的图像往往存在微小倾斜。使用以下Python代码进行自动校正，这是提高识别率的关键一步：

```python import cv2 import numpy as np def deskew_image(image_path): 读取图像 img = cv2.imread(image_path) 转灰度 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 二值化 gray = cv2.bitwise_not(gray) thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1] 检测坐标以获取最小外接矩形 coords = np.column_stack(np.where(thresh > 0)) angle = cv2.minAreaRect(coords)[-1] 调整角度 if angle < -45: angle = -(90 + angle) else: angle = -angle 旋转图像 (h, w) = img.shape[:2] center = (w // 2, h // 2) M = cv2.getRotationMatrix2D(center, angle, 1.0) rotated = cv2.warpAffine(img, M, (w, h), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE) return rotated ```

核心步骤二：图像预处理与OCR识别

原始扫描图像通常包含噪点（如纸张背景污渍）。直接识别会产生大量乱码。必须进行“去噪”和“二值化”处理。

1. 图像去噪处理脚本

以下代码实现了自适应阈值处理，能有效去除光照不均带来的阴影：

```python import cv2 def preprocess_image(image_path): img = cv2.imread(image_path) 转灰度 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 自适应阈值二值化， blockSize设为15，C设为8（针对一般文档优化） binary = cv2.adaptiveThreshold( gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 15, 8 ) 降噪：中值滤波 denoised = cv2.medianBlur(binary, 3) return denoised ```

2. 执行批量OCR识别

利用pytesseract库提取文本。注意配置参数--psm 6，表示假设图像为统一的文本块。对于表格较多的档案，使用--psm 3。

```python import pytesseract from PIL import Image 如果在Windows下且未配置环境变量，需显式指定路径 pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe' def ocr_image(image_array): 将OpenCV图像转换为PIL Image pil_img = Image.fromarray(image_array) 配置识别参数：中英文混合 + 页面分割模式 custom_config = r'--oem 3 --psm 6 -l chi_sim+eng' text = pytesseract.image_to_string(pil_img, config=custom_config) return text ```

核心步骤三：双层PDF与PDF/A转换

为了实现“图像保真”+“文本可检索”，必须生成双层PDF。同时，为了符合档案长期保存要求，最终输出文件必须转换为PDF/A-2b标准。

1. 生成双层PDF

利用reportlab将识别出的文本层叠加在图像层下方：

```python from reportlab.pdfgen import canvas from reportlab.lib.utils import simpleSplit def create_searchable_pdf(image_path, text_content, output_pdf): 获取图像尺寸 img = Image.open(image_path) img_width, img_height = img.size 创建PDF画布，单位为点 (1 point = 1/72 inch) 这里需要将像素转换为点，假设96 DPI c = canvas.Canvas(output_pdf, pagesize=(img_width, img_height)) 绘制图像作为背景 c.drawImage(image_path, 0, 0, width=img_width, height=img_height, mask='auto') 将文本绘制在图像下方（透明度设置为0或不可见，但在PDF流中存在） 注意：这里简化处理，实际精确对齐需要OCR返回的坐标信息 实操中，建议使用 img2pdf 或 ocrmypdf 工具替代手写代码，效率更高 c.save() ```

2. 使用OCRmyPDF工具（推荐替代方案）

手写代码对齐文本非常困难。资深开发建议直接使用命令行工具ocrmypdf，它集成了Tesseract和Ghostscript，一步到位生成PDF/A。

安装命令：

```bash pip install ocrmypdf Windows需下载安装gs和tesseract后，添加到PATH ```

执行转换命令：

```bash ocrmypdf --output-type pdfa-2 --tesseract-lang chi_sim+eng --deskew input_scanned.jpg output_final.pdf ```

参数详解：

• --output-type pdfa-2：强制输出符合ISO 19005-2标准的PDF/A文件，确保长期可读。
• --deskew：自动校正倾斜。
• --tesseract-lang chi_sim+eng：指定中英文混合识别。

核心步骤四：批量元数据挂接与重命名

数字化后的文件必须具备规范的命名，以便挂接到档案管理系统。推荐格式：全宗号-目录号-案卷号-页号.扩展名。

1. CSV元数据映射表

创建一个meta.csv文件，包含文件名与目标属性的映射：

```csv original_filename,target_name,category,secret_level scan001.jpg,2023-001-001-001.pdf,文书档案,非涉密 scan002.jpg,2023-001-001-002.pdf,文书档案,非涉密 ```

2. Python批量重命名脚本

```python import csv import os import shutil def batch_rename(csv_file, source_folder, dest_folder): with open(csv_file, mode='r', encoding='utf-8-sig') as f: reader = csv.DictReader(f) for row in reader: old_name = row['original_filename'] new_name = row['target_name'] src_path = os.path.join(source_folder, old_name) dst_path = os.path.join(dest_folder, new_name) if os.path.exists(src_path): shutil.copy2(src_path, dst_path) print(f"Processed: {old_name} -> {new_name}") else: print(f"Missing: {old_name}") ```

核心步骤五：数据完整性校验

数据迁移或处理过程中，必须校验文件完整性，防止数据损坏。使用MD5或SHA256哈希值进行校验。

1. 生成哈希值清单

```python import hashlib def generate_file_hash(file_path): sha256_hash = hashlib.sha256() with open(file_path, "rb") as f: for byte_block in iter(lambda: f.read(4096), b""): sha256_hash.update(byte_block) return sha256_hash.hexdigest() 批量生成校验单 def create_checksum(directory, output_file): with open(output_file, 'w') as f: for filename in os.listdir(directory): path = os.path.join(directory, filename) if os.path.isfile(path): file_hash = generate_file_hash(path) f.write(f"{file_hash} {filename}\n") ```

2. 验证数据完整性

在存储或迁移后，再次运行脚本生成哈希值，并与清单对比。任何不一致都意味着文件损坏，必须重新数字化。对于非涉密档案，建议定期（如每年）进行一次全量哈希校验。