大同档案数字化实操全流程
前期准备:硬件+软件+档案预处理
硬件要求:必须使用A4幅面平板式扫描仪,支持300dpi以上分辨率,禁止使用馈纸式扫描仪,避免损坏纸质档案边栏。
软件准备:所有工具为开源免费,零成本落地,仅支持Windows系统(其他系统可替换对应包管理工具),按顺序执行以下命令安装:
- 安装Chocolatey包管理器(批量安装工具):
```
Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))
```
- 安装图像处理工具ImageMagick:```choco install imagemagick -y```
- 安装OCR工具Tesseract及简体中文包:```choco install tesseract tesseract-lang-chi_sim -y```
- 安装PDF转图片工具poppler:```choco install poppler -y```
档案预处理(直接决定后续质量,不可省略):
- 拆装订:用起钉器轻柔拆除装订物,避免刮破撕裂,保留边栏(含骑缝章、页眉页脚)。
- 分页整理:用蘸少量清水的棉签分开粘连页面,晾干后整理成单页;用铅笔在页面右下角标注流水号(从001开始),不遮挡正文。
- 页面清洁:用无尘布擦拭浮尘,禁止使用酒精等化学试剂。
核心操作:扫描+优化+OCR
扫描操作(严格遵循国家档案标准)
扫描前清洁扫描仪玻璃平台,确保无指纹、灰尘;页面正面朝下,左上角与平台左上角对齐,保证扫描后页码顺时针排列。扫描参数必须完全执行,否则不符合验收要求:
- 分辨率:300dpi
- 颜色模式:灰度
- 文件格式:PDF/A-1b(长期存档强制标准,禁止用普通PDF)
- 扫描方式:逐页扫描,每扫1页预览确认无黑边、模糊后再确认。
图像处理优化(解决扫描瑕疵)
复制以下命令到CMD/PowerShell执行,自动校正倾斜、优化对比度:
```
convert -density 300 input.pdf -colorspace Gray -contrast -normalize -deskew 40% -depth 8 output_optimized.pdf
```

关键参数(值不可修改):
- -deskew 40%:自动校正倾斜,超过40%会导致内容变形,禁止调整
- -depth 8:压缩文件体积,不影响清晰度
擦除大面积黑色污点(直径>1mm),命令:
```
convert input.pdf -fill white -fuzz 5% -opaque black cleaned.pdf
```
OCR文本提取(生成可检索内容)
先将PDF转成单页图片:```pdftocairo -png output_optimized.pdf page-%03d.png```
再执行OCR提取简体中文文本:```tesseract page-.png all_archive_text.txt -l chi_sim```
合并所有文本为单文件:```cat all_archive_text.txt > archive_full_text.txt```
提示:若含英文,将`-chi_sim`替换为`-chi_sim+eng`,需提前安装英文语言包。
验收标准(直接通过档案部门审核)
- 分辨率:300dpi,误差≤5dpi
- 格式:必须为PDF/A-1b,禁止用普通PDF
- 图像质量:倾斜角≤0.5°,无大面积污点,页码连续无缺失
- OCR准确率:≥95%,准确率计算方式:(正确字符数÷总字符数)×100;低于95%需重新扫描或修正图像后重试
常见问题快速排查
- 扫描倾斜:确认图像处理命令的`-deskew`参数为40%,或扫描时严格对齐平台左上角
- OCR乱码:检查是否安装对应语言包,`-l`参数是否正确,图片是否清晰
- 文件过大:用JPEG压缩(质量80),命令:```convert output_optimized.pdf -compress JPEG -quality 80 output_small.pdf```,压缩质量不可超85或低于75