OCR后修正数据集构建指南：基于shrutirij/ocr-post-correction项目

OCR后修正数据集构建指南：基于shrutirij/ocr-post-correction项目

项目概述

在文档数字化过程中，OCR（光学字符识别）技术虽然已经相当成熟，但在处理特殊字体、低质量扫描文档或濒危语言文本时，识别准确率往往不尽如人意。shrutirij/ocr-post-correction项目提出了一种解决方案：通过构建训练数据集，训练OCR后修正模型，自动提升原始OCR结果的准确性。

核心概念解析

什么是OCR后修正？

OCR后修正是指对初步OCR识别结果进行二次加工和校正的过程。传统OCR系统可能因为字体特殊、文档质量差或语言资源匮乏而产生识别错误，后修正技术通过机器学习模型自动检测并修正这些错误。

单源与多源文档

• 单源文档：仅包含单一语言的文本内容
• 多源文档：同时包含濒危语言文本及其翻译文本（如Griko语与意大利语对照）

多源文档的修正可以利用翻译文本作为额外信息源，但处理流程更为复杂。

数据集构建全流程

1. 环境准备

确保系统已安装Python 3+环境，并安装必要依赖：

pip install -r ocr_requirements.txt

若原始文档为PDF格式，还需安装poppler工具用于PDF转图像。

2. 初始OCR获取

PDF转图像

使用项目提供的脚本将PDF文档转换为单页图像：

python firstpass_ocr/pdf_to_png.py \
--pdf 输入PDF路径 \
--output_folder 输出图像目录

图像裁剪（多源文档需要）

对于多源文档，通常需要根据版面布局进行图像分割。例如双语对照的文档可采用中线分割法：

from image_slicer import slice
slice("input.png", 2)  # 将图像水平分割为两部分

复杂版面建议使用专业布局分析工具如LAREX。

调用OCR API

项目推荐使用Google Vision API获取初始OCR结果：

1. 创建Google Cloud项目并启用Vision API
2. 生成服务账号凭证JSON文件
3. 设置环境变量后运行转录脚本：

export GOOGLE_APPLICATION_CREDENTIALS=凭证.json
python firstpass_ocr/transcribe_image.py \
--image_folder 图像目录 \
--output_folder OCR输出目录

注意：Google Cloud提供每月前1000次免费调用。

3. 数据集构建关键步骤

数据划分策略

• 已校正集：约10页人工校正文本（训练用）
• 未校正集：剩余页面文本（预训练用）

文本对齐要求

所有文本文件(src1, src2, tgt)必须保持行级对齐：

• 每行代表一个句子或段落
• 对应文件行数必须相同

多源文档特殊处理

对于双语文档：

1. 保持src1(濒危语言OCR)与tgt(校正文本)对齐
2. 将src2(翻译文本OCR)与src1对齐（无需校正）
3. 可使用YASA等句子对齐工具自动化处理

数据准备脚本

运行预处理脚本生成最终数据集：

python utils/prepare_data.py \
--unannotated_src1 未校正src1目录 \
--annotated_src1 已校正src1目录 \
--annotated_tgt 已校正tgt目录 \
--output_folder 输出目录

（多源文档需额外添加src2参数）

最佳实践建议

1. 从单源文档入手：即使处理多源文档，初期也可先忽略翻译部分
2. 标注工具选择：推荐使用From The Page等专业标注平台
3. 质量控制：
   • 确保行末无多余空格
   • 统一特殊符号表示方式
   • 保持原始文本的换行结构
4. 数据增强：可对原始OCR结果加入可控噪声扩充数据

后续应用

完成数据集构建后，即可用于训练OCR后修正模型。训练好的模型能够：

• 自动校正未标注页面的OCR结果
• 处理新文档时显著提升识别准确率
• 特别适合濒危语言等低资源场景

通过这套系统，研究者可以更高效地数字化和保护那些使用特殊字体或濒危语言的珍贵文献资料。