银行档案归档慢？教你用Python+OCR搭建自动归档系统

一、项目背景与技术选型

银行网点每日产生大量信贷档案、凭证扫描件，传统人工归档方式需手动打开文件、识别关键字段、录入系统、重命名移动，平均处理一份耗时3-5分钟。本文提供一套基于Python的自动化解决方案，利用PaddleOCR进行中文识别，Watchdog实现文件夹监控，自动提取档案中的“客户姓名”、“身份证号”、“业务编号”等关键信息，并自动归档入库。该方案在Windows/Linux服务器上均可运行，无需购买昂贵的商业软件。

二、环境准备与依赖安装

在开始编码前，需配置Python运行环境并安装核心依赖库。请确保系统已安装Python 3.8或3.9版本（建议使用3.9以获得最佳兼容性）。打开终端或命令提示符，依次执行以下命令：

1. 安装PaddlePaddle（CPU版即可满足需求，如需GPU加速请参考官网）

Windows系统执行：

```bash pip install paddlepaddle ```

Linux系统执行：

```bash python3 -m pip install paddlepaddle ```

2. 安装OCR模型及工具库

```bash pip install paddleocr opencv-python watchdog pdf2image Pillow ```

注意：pdf2image依赖Poppler。Windows用户需下载Poppler for Windows并配置环境变量PATH；Linux用户执行sudo apt-get install poppler-utils。

三、目录结构规划

为避免文件混乱，请在D盘或服务器数据盘创建如下目录结构：

• D:/bank_archive/ (项目根目录)
• D:/bank_archive/input/ (扫描仪上传目录，监控此文件夹)
• D:/bank_archive/success/ (归档成功目录)
• D:/bank_archive/error/ (识别失败目录)
• D:/bank_archive/logs/ (运行日志目录)

四、核心代码实现

在D:/bank_archive/下创建auto_archive.py文件，复制以下完整代码。代码包含OCR初始化、PDF转图片、关键字段正则提取、文件自动重命名及移动逻辑。

```python import os import time import shutil import re import logging import cv2 import numpy as np from watchdog.observers import Observer from watchdog.events import FileSystemEventHandler from paddleocr import PaddleOCR from pdf2image import convert_from_path from datetime import datetime 配置区域 INPUT_DIR = r'D:/bank_archive/input' SUCCESS_DIR = r'D:/bank_archive/success' ERROR_DIR = r'D:/bank_archive/error' LOG_DIR = r'D:/bank_archive/logs' 初始化日志 logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler(os.path.join(LOG_DIR, 'archive.log'), encoding='utf-8'), logging.StreamHandler() ] ) logger = logging.getLogger(__name__) 初始化PaddleOCR，use_angle_cls=True自动旋转文字，lang='ch'中英文混合 ocr = PaddleOCR(use_angle_cls=True, lang='ch', show_log=False) def setup_dirs(): """确保所有目录存在""" for path in [INPUT_DIR, SUCCESS_DIR, ERROR_DIR, LOG_DIR]: os.makedirs(path, exist_ok=True) def pdf_to_images(pdf_path): """将PDF转换为图片列表""" try: dpi=300保证识别精度 images = convert_from_path(pdf_path, dpi=300) return [np.array(img) for img in images] except Exception as e: logger.error(f"PDF转换失败: {pdf_path}, 错误: {e}") return None def extract_info_from_text(text): """ 使用正则表达式从OCR识别的文本中提取关键信息 根据实际银行凭证格式修改以下正则表达式 """ data = {} 示例：提取身份证号 (18位) id_pattern = re.compile(r'[1-9]\d{5}(18|19|20)\d{2}((0[1-9])|(1[0-2]))(([0-2][1-9])|10|20|30|31)\d{3}[0-9Xx]') id_match = id_pattern.search(text) if id_match: data['id_card'] = id_match.group() 示例：提取姓名 (假设姓名前有“客户姓名：”或“申请人：”) name_pattern = re.compile(r'(客户姓名|申请人|借款人)[:：]\s([\u4e00-\u9fa5]{2,4})') name_match = name_pattern.search(text) if name_match: data['name'] = name_match.group(2) 示例：提取业务编号 (假设是字母开头的10-20位字符) biz_pattern = re.compile(r'[A-Z]{2,4}\d{8,12}') biz_match = biz_pattern.search(text) if biz_match: data['biz_no'] = biz_match.group() return data def process_file(file_path): """处理单个文件的核心逻辑""" logger.info(f"开始处理文件: {file_path}") file_ext = os.path.splitext(file_path)[1].lower() images = [] 1. 文件格式转换 if file_ext == '.pdf': images = pdf_to_images(file_path) if not images: move_to_error(file_path, "PDF转换失败") return elif file_ext in ['.jpg', '.jpeg', '.png']: images = [cv2.imread(file_path)] else: move_to_error(file_path, "不支持的文件格式") return 2. OCR识别与信息提取 full_text = "" try: for img in images: result = ocr.ocr(img, cls=True) if result and result[0]: for line in result[0]: text_content = line[1][0] full_text += text_content + "\n" except Exception as e: logger.error(f"OCR识别异常: {e}") move_to_error(file_path, "OCR识别异常") return 3. 关键字段提取 info = extract_info_from_text(full_text) if not info: logger.warning(f"未能提取到关键信息: {file_path}") 将识别到的文本存入txt文件以便排查 move_to_error(file_path, "未提取到关键字段", content=full_text) return 4. 构建新文件名并移动 命名规则: 姓名_身份证后4位_业务编号_时间戳.后缀 id_tail = info.get('id_card', '')[-4:] if info.get('id_card') else '0000' name = info.get('name', '未知') biz_no = info.get('biz_no', 'NOBIZ') timestamp = datetime.now().strftime('%Y%m%d%H%M%S') new_filename = f"{name}_{id_tail}_{biz_no}_{timestamp}{file_ext}" dest_path = os.path.join(SUCCESS_DIR, new_filename) try: shutil.move(file_path, dest_path) logger.info(f"归档成功: {new_filename}") 此处可添加代码将info数据插入银行核心数据库 insert_into_db(info, dest_path) except Exception as e: logger.error(f"文件移动失败: {e}") move_to_error(file_path, "文件移动失败") def move_to_error(src_path, reason, content=None): """移动文件到错误目录并记录原因""" try: filename = os.path.basename(src_path) 重命名添加错误原因 base, ext = os.path.splitext(filename) new_name = f"{base}_ERROR_{reason}{ext}" dest_path = os.path.join(ERROR_DIR, new_name) shutil.move(src_path, dest_path) if content: 保存识别出的原始文本用于调试 txt_path = os.path.join(ERROR_DIR, f"{base}_ERROR_{reason}.txt") with open(txt_path, 'w', encoding='utf-8') as f: f.write(content) except Exception as e: logger.error(f"移动错误文件失败: {e}") class FileHandler(FileSystemEventHandler): """文件监控事件处理类""" def on_created(self, event): if not event.is_directory: 等待文件写入完成，防止文件占用 time.sleep(2) process_file(event.src_path) def main(): setup_dirs() event_handler = FileHandler() observer = Observer() observer.schedule(event_handler, INPUT_DIR, recursive=False) observer.start() logger.info(f"监控服务已启动，正在监听目录: {INPUT_DIR}") try: while True: time.sleep(1) except KeyboardInterrupt: observer.stop() observer.join() if __name__ == "__main__": main() ```

五、关键逻辑详解与配置修改

代码中包含两个必须根据实际业务修改的部分，直接关系到归档的准确率。

1. 正则表达式优化

在extract_info_from_text函数中，正则表达式定义了如何从乱序的OCR文本中抓取数据。银行凭证格式固定，建议打印出OCR识别的full_text，观察目标字段前后的特征字符。

• 身份证号：代码中使用了标准的18位身份证正则。如果档案中包含多个身份证（如配偶），需根据上下文（如“借款人身份证”）进一步筛选。
• 金额与日期：如果需要归档金额，可添加正则r'金额[:：]\s(\d+\.?\d)'。日期可添加r'\d{4}年\d{1,2}月\d{1,2}日'。

2. 文件防冲突机制

在on_created事件中，加入了time.sleep(2)。这是因为扫描仪或网络传输大文件时，文件创建并非瞬间完成。如果立即读取可能导致文件被占用或读取不完整。对于超大PDF（如50MB以上），建议将休眠时间调整为5秒。

六、数据库对接实操

实现文件归档后，通常需将元数据写入银行内部数据库。以下展示如何连接Oracle数据库（银行业常用）并插入数据。

1. 安装cx_Oracle

```bash pip install cx_Oracle ``>

2. 添加数据库操作函数

在auto_archive.py头部添加导入：

```python import cx_Oracle ```

在代码中添加插入函数，并在process_file成功归档后调用：

```python def insert_into_db(info, file_path): """将提取的信息插入Oracle数据库""" 注意：实际生产中请使用配置文件管理密码 dsn = cx_Oracle.makedsn("192.168.1.100", "1521", service_name="ORCL") try: conn = cx_Oracle.connect(user="archive_user", password="your_password", dsn=dsn) cursor = conn.cursor() sql = """INSERT INTO ARCHIVE_LOG (ID, NAME, ID_CARD, BIZ_NO, FILE_PATH, CREATE_TIME) VALUES (SEQ_ARCHIVE_LOG.NEXTVAL, :1, :2, :3, :4, SYSDATE)""" cursor.execute(sql, ( info.get('name'), info.get('id_card'), info.get('biz_no'), file_path )) conn.commit() logger.info("数据库写入成功") except cx_Oracle.DatabaseError as e: logger.error(f"数据库错误: {e}") finally: if 'conn' in locals(): conn.close() ```

七、系统部署与运行

开发完成后，需将其部署为服务器后台服务，确保开机自启。

1. Windows服务部署

使用NSSM（Non-Sucking Service Manager）将Python脚本转换为Windows服务。

• 下载NSSM并解压。
• 在CMD中进入NSSM目录，执行：nssm install BankArchiveService
• 在弹出的GUI界面中：
  • Path： 选择python.exe的路径（如C:\Python39\python.exe）
  • Startup directory： D:/bank_archive
  • Arguments： auto_archive.py
• 点击“Install service”。在服务管理器中启动该服务。

2. Linux后台运行

使用nohup命令在后台运行，并将输出重定向到日志文件：

```bash nohup python3 /opt/bank_archive/auto_archive.py > /opt/bank_archive/nohup.out 2>&1 & ```

若需开机自启，可将上述命令添加到/etc/rc.local文件中。

八、常见问题处理

1. 识别率低怎么办？

银行凭证多为表格线，OCR容易干扰。可以在调用OCR前对图像进行预处理，如去噪、二值化。在process_file函数的循环中加入：

```python 简单的灰度化和二值化处理 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU) result = ocr.ocr(binary, cls=True) ```

2. 文件名乱码

Windows系统默认编码GBK，而Python3默认UTF-8。若文件名包含中文且报错，需在代码头部添加：

```python import sys sys.stdout.reconfigure(encoding='utf-8') ```