Reader-LM:将 HTML 数据清洗为 Markdown 的模型
他们本身也有一个同样功能的 Jina Reader 的产品,不过其技术原理是首先使用无头浏览器获取 HTML,然后使用 Readability 提取主要内容,最后使用正则和 Turndown 清理并转为 MD 格式,但存在解析错误或误删的问题,并且维护大量的正则还要支持多语言非常痛苦,于是该模型应运而生。Reader-LM 在 HTML2Markdown 任务上的表现远超 gpt4o 等大模型,即
·

是 Jina AI 推出的一个开源小模型,专用于将网页 HTML 内容清洗为 Markdown 格式,提供了 1.5B 和 0.5B 两种参数。
他们本身也有一个同样功能的 Jina Reader 的产品,不过其技术原理是首先使用无头浏览器获取 HTML,然后使用 Readability 提取主要内容,最后使用正则和 Turndown 清理并转为 MD 格式,但存在解析错误或误删的问题,并且维护大量的正则还要支持多语言非常痛苦,于是该模型应运而生。
Reader-LM 在 HTML2Markdown 任务上的表现远超 gpt4o 等大模型,即使是 0.5B 版本也遥遥领先,最近也有类似的需求正好可以尝试尝试。
你可以在这里试用在线演示maxiw/HTML-to-Markdown,体感上比 markdownify 的效果要稍好一些。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)