作者：黒漂技术佬
标签：#AI Agent #Jev #SystemOne #大模型 #RAG #智能体
简介：传统 LLM 做 Agent 高频分支判断，存在慢、贵、格式幻觉问题。Jev 作为 System One 决策模型，不做自回归文本生成，只输出带概率的结构化决策，非常适合智能体内部路由、风控、状态判断。本文讲清原理、API、落地场景、优缺点，附带 Agent 集成示例。

前言

当前 AI Agent 开发，绝大多数方案是单一大模型全包：规划、工具调用、分支判断、结果校验全部交给 LLM。
但工程落地时会遇到非常现实的痛点：

1. 大量高频、简单原子判断（是否继续执行、是否风险操作、消息分类），反复调用大模型，成本高、延迟大；

2. 必须写大量 Prompt 约束 JSON 输出，经常出现格式幻觉，额外增加解析、重试逻辑；

3. LLM 输出的置信度不可靠，模型盲目自信，低置信场景无法自动转人工复核。

Jev（TypeSafe AI 推出的 System One 模型）的思路完全反其道而行：模型不生成任何自然语言文本，只输出强类型、带概率校准的决策结果。
取自《思考，快与慢》的 System1（快思考）与 System2（慢思考）理论：

• System 2：通用大模型（Claude/GPT），负责复杂推理、长文本规划、复杂工具编排（慢思考）

• System 1：Jev，负责高频、轻量的原子判断、路由、风险校验（快思考）

适合场景：无人设备调度、机器人、视觉售货机、工单系统、RAG 检索过滤、Agent 护栏，刚好匹配无人零售 + 机器人多智能体项目。

一、Jev 核心是什么？

Jev 不是传统 LLM，无自回归 token 生成，一次前向推理并行输出多个结构化决策，代码可直接读取，不需要解析 JSON。

它只提供 3 种基础原语，所有业务判断都基于这三类：

类型	含义	输出	业务场景
Noul	布尔真假判断	0~1 概率值，代表命题成立概率	告警是否高危、是否触发安全拦截、是否需要调用工具
Choice	多选项单选	候选列表 + 每个选项概率分布	工单路由、Agent 动作分支、机器人动作选择
Score	自定义标尺打分	指定区间数值	风险等级、消息优先级、客户情绪打分

核心训练方法 RLCD（Reinforcement Learning for Calibrated Decisions，校准决策强化学习）
传统 LLM 用 RLHF，目标是人类偏好，模型倾向输出流畅好看的回答；
RLCD 目标是概率校准：模型给出 70% 置信，真实场景下正确率就接近 70%。
好处：低置信结果可以自动分流人工复核，这是 Agent 工程非常关键的能力。

官方性能数据（TypeSafe 内部测试）

• 推理速度：对比前沿 LLM，最高193 倍

• 成本：最高444 倍更低

• 计费：输入 $0.042 / 百万 token，输出免费

• 响应时延：70~500ms，典型 150ms

⚠️ 备注：基准数据来自厂商内部评估，暂无第三方独立复现，工程上线前务必做自己业务压测。

二、API 调用示例

接口结构极简，核心三要素：model、state（当前系统状态 / 上下文）、questions（并行的一组判断任务）。
同一份 state，可以一次性并行执行 Noul/Choice/Score 多类判断，延迟几乎不增加。

POST https://api.typesafe.ai/v1/system-one
{
  "model": "jev-latest",
  "state": "无人售货机：识别到用户拿取商品，摄像头画面正常，余额不足",
  "questions": {
    "is_risk": {
      "type": "noul",
      "instructions": "当前场景是否存在盗窃风险"
    },
    "action_choose": {
      "type": "choice",
      "options": ["继续结算", "弹窗提醒余额不足", "锁定柜门", "人工介入"]
    },
    "risk_score": {
      "type": "score",
      "min": 0,
      "max": 10
    }
  }
}

返回结果直接是结构化概率，不需要 JSON 解析，不存在格式幻觉。

三、Agent 架构：快慢分离，System1 + System2

推荐架构，也是 Jev 最核心的落地价值：

用户输入/设备状态
        ↓
【Jev System1】快速判断层（高频，低成本）
- 分支路由
- 安全护栏Guardrail
- 风险打分
- 检索文档过滤
- 工具调用前置校验
        ↓
如果简单决策 → 直接执行
如果低置信 / 复杂推理 → 交给【LLM System2】做深度规划

典型落地场景（和你的项目匹配）

1. AI Agent 智能体
   工具调用前校验：判断当前工具调用是否存在风险，拦截危险操作；对 Agent 下一步动作做路由。LangChain 官方已经提供 Jev 中间件集成。

2. 无人设备集群（售货机 / 机器人 / 无人车）
   设备上报传感器、视觉 YOLO 识别结果，Jev 快速判断：障碍物、商品拿取、异常行为，不需要每次都调用昂贵大模型。

3. 工单、消息、日志分类
   海量消息批量路由，优先级打分；过滤无效告警。

4. RAG 知识库
   Jev 快速判断检索片段是否和用户问题相关，替代 LLM 做 chunk 过滤，大幅降低 RAG 成本。

四、优势与局限（工程视角，客观评价）

✅ 优势

1. 消除格式幻觉：输出空间预先固定，只返回定义好的结构，不用处理 LLM 输出 JSON 错乱问题；

2. 并行多判断：一次请求并行执行多个独立判断，适合大批量状态评估；

3. 概率校准：置信度具备参考价值，低置信自动转人工，工程上非常好用；

4. 低成本低延迟，适合后端 7×24 高频自动化任务。

❌ 局限（重点！不要神化）

1. 不擅长复杂多步推理，不能做长文本生成、复杂逻辑推导；复杂任务仍然交给大模型；

2. 模型权重未开源，闭源 API，数据要上送 TypeSafe 云端；私有化部署目前不可用；

3. 全部性能指标来自厂商内部测试，业务场景必须自建评估集验证效果；

4. 只适合预定义候选集合的判断，开放式问题无法处理。

五、Java / SpringAI 集成思路（适配你的技术栈）

简要思路：Jev 作为独立决策中间件，封装成一个 DecisionService，在 Agent 循环中作为前置校验层。

// 伪代码
public class JevDecisionService {
    // 调用Jev API，输入state和questions，返回结构化决策
    public JevResult call(String state, Map<String,JevQuestion> questions){
        // http请求 typesafe api
    }
}

// Agent循环
public void agentLoop(){
    // 1. 获取设备/业务状态
    String state = getDeviceState();
    // 2. Jev快速判断
    JevResult res = jevDecisionService.call(state, questions);
    // 3. 分支：高置信简单决策直接执行；低置信进入大模型System2
    if(res.confidence > threshold){
        executeAction(res.getChoice());
    }else{
        // 交给LLM做复杂推理
        llmAgent.plan(state);
    }
}

六、落地建议

1. 不要全盘替换 LLM，定位是 Agent 的「快速判断层」，做分工，而不是替代；

2. 优先把项目里高频、简单的分支判断迁移到 Jev：如安全拦截、状态分类；

3. 建立置信度阈值策略：置信低于阈值，自动降级到大模型或者人工审核；

4. 做 A/B 测试：同一套输入，对比「纯 LLM 方案」和「Jev+LLM 快慢分离」方案，评估延迟、成本、准确率。

结尾

AI Agent 工程化，下一步不是一味追求更强的通用大模型，而是模型分工：把简单高频判断剥离出来交给专门的决策模型。
Jev 代表了 System One 模型的新方向：AI 不一定需要会说话，能稳定、低成本做判断，对自动化系统价值巨大。
在无人零售、机器人集群这类大量状态判断的场景，快慢分离架构会显著降低推理成本，同时减少幻觉问题。

（注：部分内容可能由 AI 生成）