企业里 80% 的数据是非结构化的——发票照片、聊天截图、格式各异的邮件。本文用一个"发票图片自动转台账"的完整场景，讲清楚怎么把大模型和 RPA 串起来：大模型负责理解和抽取，RPA 负责稳定执行，中间涉及的搭建、调试、交付、分发问题逐个拆解。
过去一年，越来越多的开发者遇到同一个困境：大模型代码写得漂亮，业务逻辑分析得头头是道，可真让它去点按钮、读页面、跑流程，就不太靠谱了。
与此同时，传统 RPA 也有明显短板：面对发票、合同、邮件、截图这类非结构化数据，基于规则和 XPath 的老办法基本无能为力。
于是Copilot 赋能 RPA 机器人开发成了自动化圈子最热的方向，核心思路一句话：AI 负责思考，RPA 负责稳定落地。国内已经有一批工具把这个思路做成了开箱即用的能力——以蓝印RPA为例，它的大模型集成实战路线很直接：预置接入文心一言、豆包、DeepSeek、Kimi 等主流模型，配上图片识图与 OCR，"理解数据"这一步不再依赖人工写规则。
下面我用一个完整场景，把整条链路走一遍，顺便把开发中会踩的坑都摊开讲。
一、为什么不能只靠 AI
动手之前，得先想明白纯 AI 方案的几个硬伤，不然后面流程搭起来也稳不了。
第一，成本不可控。 大模型处理任务要持续消耗 token，跑一天发票识别，账单一拉可能比你预期高出一个数量级。合理的做法是 AI 能力由用户自行对接各平台 API——用哪家、用多少量、充多少钱全自己说了算，费用透明，跑批量场景才不会肉疼。
第二，AI 操作软件自动化极其困难。 让它读网页源码还行，让它去操作企业微信、QQ、千牛这类客户端就力不从心了。这类场景要靠视觉颜色操作：不依赖元素节点，直接按画面颜色和位置实现点击、获取内容，客户端消息的获取因此有了兜底方案。
还有两个问题——元素不稳定和内网用不了——后面会专门展开，因为它们恰好决定了工具怎么选。
二、实战：发票图片自动转结构化台账
我设计的业务流程：

发票图片文件夹 → OCR识别 + 大模型字段抽取 → 数据清洗校验 → 写入Excel台账 → 异常图片归档
第一步，把需求说清楚。 这一步比想象中重要。支持图文方式描述需求：给 AI 发一张流程草图或界面截图，再加几句提示词，它就能理解你想要什么，比自己组织一大段文字描述省事得多。
第二步，AI 自动化搭建流程。 描述完需求后，AI 会智能分析网页和软件的元素结构，优先使用基础指令搭建流程——浏览器自动化、Windows 软件自动化、视觉颜色操作都覆盖；遇到没有的基础指令，AI 会自动封装生成新指令，且每个指令都带详细注释，生成出来的逻辑一目了然，改起来有据可查。
第三步，OCR + 语义抽取。 把 OCR 原始文本交给大模型，用一段提示词让它输出结构化 JSON：

请从以下发票文本中提取：发票号码、开票日期、购买方名称、价税合计金额，
以 JSON 格式返回，字段缺失时填 null：
【OCR文本】…
大模型在这里的价值是"理解"——不管版式怎么变，它都能稳定锁定"价税合计"对应的数字。这正是搞定非结构化数据处理的关键：识别交给模型，落地交给流程。
第四步，变量处理别硬写。 抽出来的 JSON 要逐字段取用，手写提取逻辑又臭又长。直接让 AI 生成变量操作指令：批量创建、删除、修改不在话下，JSON 自动提取字段、列表自动提取都能按需生成，这一步能从半小时缩到一分钟。
第五步，流程太长就拆。 台账写入、校验、归档逻辑混在一起不好维护，可以让 AI 按业务流程自动拆分逻辑、自动创建子流程封装复用，主流程只看骨架，调试时定位问题快很多。
第六步，报错别死磕。 新手最容易卡在"报错看不懂"。现在的工具支持 AI 错误诊断与 AI 智能修复：一键分析错误原因、给出修复建议，甚至直接自动调试到功能正常，试错成本低了一个量级。
整个流程跑通后我算了下：以前人工录一张发票约 2 分钟，现在从图片进文件夹到台账更新，平均不到 10 秒。
三、内网离线部署：数据不出本地才是真安全
政务、金融、制造类企业，对数据安全的要求往往是硬性的：数据不能出内网、不能上公有云。这是纯云端 AI 方案的死穴，也是本地部署型 RPA 的主场。
蓝印RPA这类主打全离线内网部署的工具，思路很朴素：流程应用数据全部保存在用户本地设备上，不同步到服务端。发票图片、台账数据、账号信息，从头到尾不出本地。大白话总结：离线更安全，自愈更稳定——后半句对应的问题，下一节讲。
四、网页改版、元素失效：自愈机制给出答案
做过 RPA 的人都经历过：流程跑得好好的，网站前端一改版，元素定位集体失效，业务中断半天。
纯 AI 方案的麻烦在于，元素变化后它只能把代码重写一遍，改一次算一次。而现在工具端的解法是 Web 元素 AI 自愈：元素失效时，AI 自动分析页面结构、重新定位目标并修复流程，保障流程不中断。配套两个实用能力：
元素本地智能生成：获取元素时自动生成多条候选路径，自己挑最稳的一条；
自然语言生成 XPath：不用学晦涩的路径语法，直接描述"右上角的登录按钮"，AI 生成对应定位。
元素稳定性这一环补上之后，“AI 生成的项目无法长期运行"这个老问题才算真正有了着落。
五、从流程到产品：打包、授权与分发
流程在自己机器上跑通只是开始，要交付给同事或客户，还得回答几个现实问题。
客户不想装东西怎么办？ 打包导出应用 EXE，对方双击就能跑，不用装客户端、不用装运行时。而且无运行时长、无流程数量限制，打包发给别人也不占用你的额度，多设备使用无需多开会员。
发出去怎么防止被无限复制？ EXE 加密打包 + 授权管理是标配：每个分发应用可单独设置授权，也支持加密分享、分享授权。
客户想定时跑、或者被别的系统调用怎么办？ 导出的应用支持单独设置 API 触发、定时执行，接到客户的业务系统里就能当接口用。
以后升级怎么推？ 打包应用支持在线推送更新——客户打开应用自动检测新版本，不用你重新手动分发一遍。
对个人开发者、个人工作室、中小企业来说，这类工具还有个实际的好处：免费版没有使用时长限制，先跑起来验证业务，量上来了再考虑商业化，沉没成本低。
六、进阶：Agent、MCP 与多场景扩展
流程稳定运行之后，可以往两个方向扩展。
IM 里直接调度。 新增 Agent 功能，使用最新的 DeepseekV4 模型，支持在钉钉、飞书、企业微信、个人微信里直接控制 RPA 应用执行，并回调通知执行结果——在群里发一句"生成昨日台账”，机器人自动跑完把结果推回来，协同体验接近一个真正的助手。
接入现有 AI 工具链。 支持 MCP 服务，可对接 Claude、Codex、Trae、Workbuddy、豆包工作等 AI 编程工具，让其他工具也能控制 RPA 自动搭建流程，工具链自由组合。
多账号场景。 已支持紫鸟、比特、Hubstudio、AdsPower 等市面上众多指纹浏览器，电商多账号、矩阵运营的自动化可以直接上手，不用自己造轮子。
给非技术人员用。 流程做好后，可以设计自定义界面：根据截图就能设计软件界面，复杂界面用 HTML 组件实现按钮点击、数据展示、数据关联，交付出去的成品更像一个软件，而不是一个黑盒脚本。
回到开头的公式：Copilot + RPA = 会思考且能稳定执行的自动化系统。在国内把这条路线走得比较完整的，当属主打离线部署、元素自愈、EXE 授权交付的蓝印RPA——AI 负责思考，它负责稳定落地；离线保安全，自愈保稳定，API 自对接保成本透明。
给想上手的人一句实在建议：别贪大，先找一个真实的小场景（比如本文的发票台账），把"需求描述—搭建—调试—交付"的闭环完整走一遍。工具的能力再多，也比不上一个跑顺的真实流程有说服力。