七台河档案数字化实操：从硬件选型到Python自动化入库

一、硬件环境搭建标准

在进行七台河档案数字化项目时，硬件的稳定性直接决定处理效率。不要使用普通办公扫描仪，必须采用专业的高速文档扫描仪。推荐配置如下：

• 扫描仪： 柯达 i3250 或 佳能 DR-G2160。要求A3幅面，扫描速度不低于60页/分钟，支持双面扫描，具备超声波重张检测功能，防止进纸卡顿导致漏扫。
• 工作站： CPU建议 i7-10700 或以上，内存 16GB（最低），硬盘建议使用 NVMe 协议的 SSD 用于系统缓存，数据盘使用 4TB 机械硬盘存储原始图像。
• 分辨率设置： 统一设置为 300 DPI，色彩模式设置为 24位彩色（保留红头文件原件色彩）或 256级灰度（纯文字文档），图像存储格式为 PDF 或 JPEG2000（.jp2）以节省空间。

二、软件环境与依赖部署

本指南采用 Python 进行自动化图像处理与 OCR 识别。请确保操作系统为 Windows 10/11 或 Ubuntu 20.04+。

1. 安装 Python 环境

直接从官网下载 Python 3.9.7 版本（避免使用 3.10+ 以防部分库兼容性问题）。安装时务必勾选 "Add Python to PATH"。

打开终端（CMD 或 Terminal），执行以下命令安装核心依赖库：

pip install pillow opencv-python pytesseract pymysql

2. 安装 Tesseract-OCR 引擎

这是核心的文字识别工具。

• Windows： 访问 https://github.com/UB-Mannheim/tesseract/wiki 下载 tesseract-ocr-w64-setup-5.0.0.exe。安装时务必勾选 Chinese (Simplified) 语言包数据。
• Linux： 执行命令：

  sudo apt update
  sudo apt install tesseract-ocr tesseract-ocr-chi-sim
  

3. 数据库环境准备

建议使用 MySQL 8.0。创建数据库并初始化表结构，执行以下 SQL 语句：

CREATE DATABASE qth_archive_db CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
USE qth_archive_db;
CREATE TABLE archive_records (
id INT AUTO_INCREMENT PRIMARY KEY,
file_name VARCHAR(255) NOT NULL COMMENT '文件名',
file_path VARCHAR(500) NOT NULL COMMENT '存储路径',
ocr_content LONGTEXT COMMENT '识别后的全文内容',
category VARCHAR(50) DEFAULT 'QTH_GENERAL' COMMENT '档案分类',
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
INDEX idx_ocr (ocr_content(255))
) ENGINE=InnoDB;

三、核心处理脚本开发

在项目根目录下创建 process_archive.py。该脚本将完成图像预处理（去噪、二值化）、OCR 识别及数据入库操作。

1. 配置与初始化

import os
import cv2
import pytesseract
import pymysql
from PIL import Image
import datetime
Windows系统需要指定tesseract.exe的路径，Linux可注释掉
pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'
数据库配置
DB_CONFIG = {
'host': 'localhost',
'user': 'root',
'password': 'your_password',   请修改为实际密码
'database': 'qth_archive_db',
'charset': 'utf8mb4'
}
档案原始图片存放目录
SOURCE_DIR = r'D:\QTH_Archive_Raw'
处理后的图片存放目录
OUTPUT_DIR = r'D:\QTH_Archive_Processed'

2. 图像预处理函数

七台河地区部分老旧档案可能存在纸张发黄、墨迹扩散问题，必须进行二值化和降噪处理以提高识别率。

def preprocess_image(image_path):
"""
读取图像并进行灰度化、去噪、二值化处理
"""
读取图像
img = cv2.imread(image_path)
if img is None:
print(f"无法读取图像: {image_path}")
return None
转灰度
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
自适应阈值二值化（处理光照不均）
blockSize越大，越看重局部邻域；C为减去的常数，用于微调
binary = cv2.adaptiveThreshold(
gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C,
cv2.THRESH_BINARY, 11, 2
)
中值滤波去噪（去除椒盐噪声）
denoised = cv2.medianBlur(binary, 3)
return denoised

3. OCR 识别与入库函数

def recognize_and_store(file_name, processed_img_array):
"""
对处理后的图像进行OCR识别并存储到MySQL
"""
将OpenCV图像数组转换为PIL Image对象
pil_img = Image.fromarray(processed_img_array)
配置OCR参数：--psm 6 假设图像为统一的文本块；-l chi_sim+eng 中英文混合识别
custom_config = r'--psm 6 --oem 3 -l chi_sim+eng'
try:
执行识别
text = pytesseract.image_to_string(pil_img, config=custom_config)
数据库连接与插入
connection = pymysql.connect(DB_CONFIG)
cursor = connection.cursor()
构建存储路径（示例逻辑）
save_path = os.path.join(OUTPUT_DIR, file_name)
sql = "INSERT INTO archive_records (file_name, file_path, ocr_content, category) VALUES (%s, %s, %s, %s)"
val = (file_name, save_path, text, "QTH_GENERAL")
cursor.execute(sql, val)
connection.commit()
print(f"成功入库: {file_name}")
except Exception as e:
print(f"处理 {file_name} 时出错: {e}")
if 'connection' in locals() and connection:
connection.rollback()
finally:
if 'cursor' in locals() and cursor:
cursor.close()
if 'connection' in locals() and connection:
connection.close()

4. 主流程控制

def main():
if not os.path.exists(OUTPUT_DIR):
os.makedirs(OUTPUT_DIR)
遍历源目录
files = os.listdir(SOURCE_DIR)
total_files = len(files)
print(f"开始处理七台河档案数字化任务，共 {total_files} 个文件。")
for index, file_name in enumerate(files):
if file_name.lower().endswith(('.jpg', '.jpeg', '.png')):
source_path = os.path.join(SOURCE_DIR, file_name)
print(f"[{index+1}/{total_files}] 正在处理: {file_name} ...")
1. 预处理
processed_img = preprocess_image(source_path)
if processed_img is not None:
2. 保存处理后的图像（可选，如果不需要保存可注释掉）
save_path = os.path.join(OUTPUT_DIR, file_name)
cv2.imwrite(save_path, processed_img)
3. 识别并入库
recognize_and_store(file_name, processed_img)
if __name__ == "__main__":
main()

四、批量执行与监控

代码编写完成后，不要直接双击运行，建议在命令行下运行以便查看实时日志输出。

在终端执行：

python process_archive.py

操作注意事项：

1. 内存监控： 如果图片单张超过10MB，建议在代码中分批处理或增加系统虚拟内存，防止 OpenCV 读取时溢出。
2. 纠错机制： 对于识别率极低的文件（如手写体），程序虽然会报错或入库乱码，需要人工定期查询数据库中 ocr_content 长度过短或包含特定乱码符号的记录，进行人工补录。
3. 数据备份： 脚本运行期间，每处理 1000 张图片，建议手动执行一次数据库快照或物理文件拷贝，防止中途断电数据丢失。

五、数据验证与检索测试

处理完成后，执行以下 SQL 验证数字化成果的有效性。假设我们要检索包含“七台河市政府”字样的所有档案：

SELECT id, file_name, SUBSTRING(ocr_content, 1, 100) as preview
FROM archive_records
WHERE ocr_content LIKE '%七台河市政府%';

如果返回了结果列表，并且 preview 字段显示了正确的上下文，说明整个数字化流程已成功落地。此时，所有原始纸质档案已转化为可检索的数字资产，实现了从“死档案”到“活数据”的转变。