目录

• 1. 引言：AI 代理为什么需要“手”和“眼”
• 2. OpenClaw 是什么：重新定义“个人 AI 助理”
• 3. 总体架构：三层解耦与事件驱动
• 4. “眼睛”层：从屏幕理解到多模态感知
  • 4.1 屏幕与界面理解
  • 4.2 图片与文档理解
  • 4.3 为什么“坐标”比“像素”更重要
• 5. “手”层：工具、动作与设备控制
  • 5.1 系统级操作
  • 5.2 API 与函数调用
  • 5.3 文件与数据操作
• 6. 中枢：Agent 循环与任务编排
  • 6.1 观察—行动—反馈（Observe-Act-Reflect）
  • 6.2 任务拆解与重试
• 7. 记忆与状态管理
• 8. 7×24 常驻与安全护栏
  • 8.1 常驻运行
  • 8.2 安全护栏
• 9. 快速上手示例
• 10. 总结与展望

1. 引言：AI 代理为什么需要“手”和“眼”

过去两年，大语言模型（LLM）在“思考”能力上的进步有目共睹：它能写代码、改文档、分析数据。但一个尴尬的事实是——大多数聊天机器人只活在对话框里。你让它“帮我把这个表格整理一下”，它只能给你一段改好的 CSV 文本，最后还是得你自己复制、粘贴、打开 Excel、另存为。

真正拉开差距的，不是模型多会“想”，而是它能不能“看”和“做”：

• 眼睛（感知）：看懂屏幕内容、识别界面元素、理解图片与文档；
• 手（执行）：点击鼠标、敲击键盘、调用 API、读写文件、发送消息。

OpenClaw 就是围绕这个命题构建的开源个人 AI 助理框架。它的核心目标很直白：让 AI 像人一样操作你的数字世界，并且可以 7×24 小时常驻运行，在你睡觉的时候把活干完。

这篇文章不从营销视角讲“它多厉害”，而是拆开它的架构，看看“手”“眼”“脑”是怎么组合在一起工作的。

2. OpenClaw 是什么：重新定义“个人 AI 助理”

如果只把 OpenClaw 当成一个“聊天机器人框架”，就小看它了。它的定位更接近一个常驻的、可编程的、跨设备的 AI Agent 运行时。

你可以把它类比为一台：

• 消息网关：对接 Telegram、WhatsApp、CLI 等多种入口，你在手机上发一句“把本周工作周报草稿写好”，它就能收到指令；
• 执行引擎：把自然语言指令翻译成一连串工具调用和系统操作；
• 调度中心：支持定时任务、条件触发，让任务在后台按计划运行；
• 记忆系统：保存对话上下文、用户偏好和长期知识，越用越“懂你”。

相比传统脚本自动化（比如 RPA），OpenClaw 的关键差异在于由 LLM 决定下一步做什么。它不再需要你把每个步骤都写死，而是根据目标、环境反馈和工具清单，动态规划执行路径。这正是“Agent”和“Automation”的分界线。

3. 总体架构：三层解耦与事件驱动

OpenClaw 在整体设计上强调“单一控制平面 + 多通道接入”。从架构上看，可以抽象成三层：

• 接入层（Gateway）：负责把不同渠道的消息统一成内部事件，抹平平台差异；
• 中枢层（Agent Core）：承载对话循环、工具选择、任务编排与状态机；
• 能力层（Capabilities）：提供“眼睛”和“手”的具体实现，如屏幕感知、设备控制、API 调用。

事件总线是其中的粘合剂。一次点击、一条消息、一个定时触发，都被抽象为事件，交给中枢处理。这种设计的好处是：新增一个入口或新增一个工具，不需要改动核心逻辑，系统具备良好的可扩展性。

4. “眼睛”层：从屏幕理解到多模态感知

“眼睛”是 Agent 能自主操作的关键前提。OpenClaw 的感知能力通常由以下几部分组成：

4.1 屏幕与界面理解

当需要操作图形界面时，Agent 会先“看一眼”当前屏幕：截取画面，交给多模态模型做结构化分析。模型输出的不是一句模糊的描述，而是类似这样带坐标的结果：

{
  "screen_width": 1920,
  "screen_height": 1080,
  "elements": [
    {
      "type": "button",
      "label": "提交",
      "bbox": [830, 620, 920, 660],
      "confidence": 0.96
    },
    {
      "type": "input",
      "label": "邮箱地址",
      "bbox": [420, 310, 700, 345],
      "confidence": 0.93
    }
  ]
}

拿到坐标后，执行层才知道应该点哪里、往哪个输入框填内容。没有这一步，“手”就是瞎的，只能靠猜。

4.2 图片与文档理解

除了屏幕，日常任务还涉及大量非结构化内容：截图里的报错信息、PDF 合同、扫码支付页面。OpenClaw 通过多模态模型把这些内容转成可处理的文本或结构化数据，再进入后续推理。

4.3 为什么“坐标”比“像素”更重要

很多人误以为“看懂图片”就够了，但 Agent 真正需要的是可定位、可操作的语义元素。因此感知层的输出往往同时包含：语义标签、边界框（bbox）、置信度，以及可供下一步决策的建议动作。这是“眼睛”和“手”之间的关键接口。

5. “手”层：工具、动作与设备控制

“手”是 Agent 影响外部世界的能力。OpenClaw 将执行能力设计成一组可组合的工具（Tool）/动作（Action），大致分三类：

5.1 系统级操作

直接操作操作系统能力，比如：

• 鼠标移动、点击、双击、右键；
• 键盘输入、模拟快捷键；
• 打开窗口、截图、读取剪贴板。

这类能力让 Agent 能操控那些没有 API 的老旧软件或网页，是“手”最直观的体现。

5.2 API 与函数调用

对于有接口的服务，直接调用 API 更稳定、更安全。比如通过 REST 接口发邮件、创建工单、查询数据库。工具定义通常是声明式的：

const createIssueTool: Tool = {
  name: "create_github_issue",
  description: "在指定仓库创建一个 GitHub Issue",
  parameters: {
    type: "object",
    properties: {
      repo: { type: "string", description: "仓库名，如 owner/repo" },
      title: { type: "string" },
      body: { type: "string" }
    },
    required: ["repo", "title"]
  },
  run: async ({ repo, title, body }) => {
    // 调用 GitHub API
    return createIssue(repo, title, body);
  }
};

5.3 文件与数据操作

读写本地文件、处理表格、执行命令，是“7×24 小时替你干活”最常用的能力。Agent 可以读取目录、编辑 Markdown、运行脚本，再把结果回传给用户。

这三类能力共同构成执行层。核心原则是：能用 API 就用 API，API 覆盖不到的场景再退回系统级 GUI 操作——优先级越低，可控性和安全性越需要加强。

6. 中枢：Agent 循环与任务编排

“眼睛”和“手”只是零件，真正让它们协同工作的是中枢的 Agent 循环（Agent Loop）。一个典型的执行周期如下：

这其中有两个容易忽略但至关重要的设计：

6.1 观察—行动—反馈（Observe-Act-Reflect）

Agent 不会一次性把任务“想完再执行”，而是执行一步、观察一步、修正一步。比如“帮我在电商后台导出上月订单”，它可能：

1. 打开后台页面；
2. 截图发现需要先登录；
3. 判断是否有可用凭据；
4. 登录后找到“订单管理”；
5. 选择日期范围并点击导出；
6. 检查下载结果并汇报。

每一步的反馈都会进入下一轮决策，这才让它具备处理“计划外状况”的能力。

6.2 任务拆解与重试

复杂任务会被拆成子任务，并配置重试与兜底策略。例如文件下载失败后，Agent 可自动重试两次；仍失败则降级为“输出失败原因和建议”。这种编排让长任务不至于中途“卡死”。

7. 记忆与状态管理

一个只能记住当前对话的 Agent，很难胜任“长期助理”的角色。OpenClaw 的记忆系统通常分为三层：

• 短期记忆：当前会话的上下文，保证多轮指令连贯；
• 工作记忆：当前任务的状态，比如“第 3 步已完成，下一步待执行”；
• 长期记忆：用户偏好、常用工具、历史任务经验，通常持久化到文件或向量数据库。

长期记忆的意义在于“越用越懂你”。例如你告诉过它“以后周报都发到工作群”，下次它就不需要再问你。对个人助理而言，一致性和可预测性往往比“偶尔的高智商回答”更有价值。

8. 7×24 常驻与安全护栏

“7×24 小时替你干活”听上去美好，但落地有两个必须解决的工程问题：常驻稳定性 与 安全边界。

8.1 常驻运行

OpenClaw 被设计为可以以服务形式长期运行，支持：

• 进程守护与自动重启；
• 定时任务与 cron 表达式；
• 消息到达时的事件唤起。

比如你可以配置：

tasks:
  - name: "morning_briefing"
    schedule: "0 7 * * *"
    action: "生成今日待办并推送到 Telegram"

  - name: "watch_inbox"
    trigger: "new_email"
    filter: "重要联系人"
    action: "摘要后提醒"

这样它就不再是“你问一句它答一句”，而是主动在后台按规则工作。

8.2 安全护栏

拥有“手”的 AI 也可能“乱点乱删”，因此安全设计是所有执行层的底线：

• 权限分级：敏感操作（付款、删除文件、发送外部消息）需要用户确认；
• 沙箱隔离：文件与系统操作限制在允许的目录和命令白名单内；
• 审计日志：每次工具调用都要记录，便于回溯；
• 危险操作确认：涉及机密信息或不可逆操作时，要求用户二次授权。

只有把“手”关进笼子里，“7×24 小时替你干活”才是一件可以托付的事，而不是一场开盲盒冒险。

9. 快速上手示例

下面是一个简化版的任务编排示意，帮助理解它“从自然语言到执行”的过程：

async function handleTask(instruction: string) {
  // 1. 初始化短期记忆
  const context = new WorkingMemory();

  for (let step = 0; step < MAX_STEPS; step++) {
    // 2. 让模型根据当前状态决定下一步
    const plan = await llm.plan({
      instruction,
      tools: availableTools,
      history: context.recent(),
    });

    if (plan.done) {
      // 3. 任务完成，返回最终结果
      return plan.answer;
    }

    // 4. 调用“手”执行动作
    const result = await executeAction(plan.action, plan.arguments);

    // 5. 把观察结果写回上下文，进入下一轮
    context.add({ action: plan.action, result });
  }

  return "任务超过最大执行步数，已终止。";
}

这段伪代码虽然高度简化，但已经能体现 Agent 的核心结构：循环、规划、执行、反馈。真实系统会在此基础上加入记忆持久化、工具权限校验、并发队列和错误恢复。

10. 总结与展望

OpenClaw 代表的其实是 AI 应用形态的一次转向：从“对话式 Copilot”走向“自主式 Agent”。当模型同时拥有了理解屏幕的眼睛和执行操作的手，它就从“给你建议”进化成了“替你完成”。

这也意味着几个趋势会越来越明显：

• 多模态能力成为 Agent 的标配，尤其是屏幕理解与界面定位；
• 工具调用生态决定上限，API 覆盖越广，能自动化的事情越多；
• 安全与权限体系成为核心竞争力，而不是可有可无的附加功能；
• 常驻调度能力让 AI 从被动响应走向主动服务。

当然，我们也要保持清醒：这类系统目前仍处在“辅助执行”的阶段，“手”的稳定性、“眼”的准确率、以及长链路任务的可靠性，都还有大量优化空间。但方向已经很清晰——未来的个人助理，不会只陪你在对话框里聊天，而是真正坐在你的电脑前，帮你看、帮你点、帮你把事办成。