多模态OCR赛道依旧卷，继续看一下新的多模态文档解析模型-LightOnOCR-2-1B系列，按照之前的划分（文档智能解析方案总结进展更新（含ocr-pipline、layout+VLM+纯多模态端到端解析）），这是一个端到端的模型，这个模型开源了其两个用于训练的开放标注数据集：lightonai/LightOnOCR-mix-0126一个包含超过 1600w标注的文档页面，另一个lightonai/LightOnOCR-bbox-mix-0126包含近50w标注，包括图形和图像的边界框。

• https://huggingface.co/datasets/lightonai/LightOnOCR-mix-0126
• https://huggingface.co/datasets/lightonai/LightOnOCR-bbox-mix-0126

模型架构

如下图，模型结构和qwenvl一致，vit+patch_merger+LLM（qwen3-0.6B）组装。

case测试

https://huggingface.co/spaces/lightonai/LightOnOCR-2-1B-Demo

简单测两个case，问题依旧表现在：

• 端到端到解析能力（ocr）：表格单元格对齐、合并等问题，文字大面积重复问题

• 端到端到解析能力（ocr+定位）：定位不准，幻觉等问题。

• case1：

结果：

• case2：

结果：

往期相关

多模态文档解析的开源项目模型技术方案都在《文档智能专栏》，如：

• 再看两阶段多模态文档解析大模型-PaddleOCR-VL架构、数据、训练方法
• 如何打造一个文档解析的多模态大模型？MinerU2.5架构、数据、训练方法
• 端到端的多模态文档解析模型-DeepSeek-OCR架构、数据、训练方法
• 多模态文档解析模型新进展：腾讯开源HunyuanOCR-1B模型架构、训练配方
• 强化学习GRPO（格式奖励）在多模态文档解析中的运用方法

…

参考文献

• https://huggingface.co/lightonai/LightOnOCR-2-1B
• https://huggingface.co/spaces/lightonai/LightOnOCR-2-1B-Demo