先说结论，实际体验一般，如果是下游rag文档的元素不是特别复杂可以用一用这个端到端的多模态模型，如果版式元素丰富，还是老实进行文档解析吧。但通过pdfparser工具结合prompt结合的方式值得一看。

• 在线demo：https://olmocr.allenai.org/

• 开源权重地址：https://huggingface.co/allenai/olmOCR-7B-0225-preview

• paper：Efficient PDF Text Extraction with Vision Language Models，https://arxiv.org/pdf/2502.18443v1

• code：https://github.com/allenai/olmocr

笔者测试case：

核心问题与背景

PDF文档蕴含海量高质量文本数据，但因其复杂的视觉布局（多栏、表格、公式等）和元数据缺失，传统OCR工具难以准确提取内容。现有解决方案存在以下痛点：

• pipline系统（如Grobid）依赖多组件串联，对复杂布局泛化性差；
  笔者前期分享了很多相关技术链路《文档智能系列栏目》、《【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路》

  

• 端到端模型（如Nougat）仅依赖图像输入，忽略PDF原生元数据，成本高昂（如GPT-4o处理百万页需$6,200）；

• 数据稀缺：缺乏大规模、多样化的PDF训练数据。

OLMOCR创新点

1. DOCUMENT-ANCHORING技术

   • 多模态输入融合（通过提示词）：同时利用PDF原生元数据（文本块坐标、图像位置）和页面图像，显著减少模型幻觉。

   

   • 元数据提取：通过pypdf库解析PDF结构，提取关键元素的位置信息，动态注入模型提示（Prompt）。

   

   如：原图：

   

   通过pdfpaser得到元数据拼接提示词得到：

   

   • 兼容性：对无元数据的扫描文档仍保持高精度，仅依赖图像输入。

2. 蒸馏模型

   • 模型架构：基于Qwen2-VL-7B-Instruct微调，支持Markdown结构化输出（公式LaTeX、表格Markdown）。

   • 训练数据：构建olmOCR-mix-0225数据集（26万页PDF），涵盖学术论文、法律文件、手册等多样化来源（表1-2）。

     

实验结果

与教师模型GPT-4o的文本对齐度达87.5%，优于GPT-4o mini（83.3%）。温度（τ=0.8）下对齐度略降（85.9%），但减少生成重复。

在2,017份PDF的对比测试中，OLMOCR以ELO 1800+显著优于Marker、MinerU等工具（图6）。使用OLMOCR数据微调OLMo-2模型，在MMLU、ARC等基准上平均提升1.3%。