为什么选择 RK3576 部署 DeepSeek？

电鱼智能 RK3576 是一款面向 AIoT 的中高端 SoC。在具身智能场景下，它的核心优势在于：

1. Transformer 硬件加速：RK3576 的 NPU 对 Transformer 算子（Attention机制）进行了专门优化，相比通用 GPU，推理能效比提升 5-10 倍。

2. 成本与功耗：相比动辄几千元的 Nvidia Jetson Orin 模组，RK3576 成本极低，且整机功耗仅 5W 左右，非常适合电池供电的移动机器人。

3. DeepSeek 的契合度：DeepSeek 开源了多个尺寸的模型（如 1.3B, 7B, 33B）。其中 1.3B 版本 在代码生成和逻辑推理上表现出色，且显存占用极小，完美契合 RK3576 的硬件资源。

---

部署核心：RKNN-LLM 工具链

要在 RK3576 上跑大模型，不能使用传统的 rknn-toolkit2（主要用于 YOLO 等视觉模型），而必须使用瑞芯微专为 LLM 开发的 RKNN-LLM SDK。

1. 模型选型与量化策略

RK3576 的 NPU 算力为 6TOPS，推荐配置如下：

模型版本	推荐量化精度	显存占用 (预估)	推理速度 (Token/s)	适用场景
DeepSeek-Coder-1.3B	W8A8 (权重8bit/激活8bit)	~2.5 GB	10 - 15	指令拆解、简单对话
DeepSeek-LLM-7B	W4A16 (权重4bit/激活16bit)	~5.0 GB	2 - 4	复杂逻辑推理 (速度较慢)

建议优先选择 1.3B 版本，以保证机器人交互的实时性。

---

系统架构：从“听懂”到“行动” (System Architecture)

我们将构建一个 "Text-to-Action" 的闭环系统：

1. 输入层：

   • 用户语音指令 -> 离线 ASR (RK3308 或 RK3576 CPU) -> 文本。

   • 例如：“请去厨房帮我拿一瓶可乐。”

2. 推理层 (DeepSeek on NPU)：

   • Prompt Engineering：将自然语言包裹在特定的系统提示词中，要求模型输出 JSON 格式 或 Python 代码。

   • NPU 推理：RK3576 快速生成结构化指令。

3. 执行层 (ROS2)：

   • 解析 JSON，映射为 ROS2 的 Action 或 Service 调用（如 nav2_goal, manipulator_grasp）。

---

关键技术实现 (Implementation)

1. 模型转换 (PC 端)

在高性能 PC（Ubuntu）上使用 rknn-llm 将 HuggingFace 格式模型转换为 RKNN 格式：

Python

from rknn_llm import RKNNLLM

# 1. 初始化
model = RKNNLLM()

# 2. 配置 (针对 RK3576)
model.config(target_platform='rk3576', optimization_level=3)

# 3. 加载 DeepSeek 模型 (需先转为 HuggingFace 格式)
ret = model.build(model_from_pretrained='./deepseek-coder-1.3b-instruct', 
                  quantization_type='w8a8', # 8bit 量化
                  do_quantization=True)

# 4. 导出为 .rknn 文件
model.export_rknn('./deepseek_1.3b_rk3576.rknn')

2. 具身智能 Prompt 设计

为了让 LLM 能控制机器人，我们需要设计“系统提示词（System Prompt）”，教会它如何调用机器人的能力：

Python

SYSTEM_PROMPT = """
你是一个服务机器人助手。你的能力包括：
1. move_to(location): 移动到指定地点。
2. grab_object(item): 抓取物品。
3. speak(text): 说话。

请将用户的指令转换为 JSON 格式的函数调用序列。不要输出多余的废话。

用户指令: "去厨房拿可乐"
回复:
[
    {"function": "move_to", "args": ["kitchen"]},
    {"function": "grab_object", "args": ["coke"]},
    {"function": "speak", "args": ["我拿到了"]}
]
"""

3. 板端部署推理 (C++ / Python)

在 RK3576 上运行推理引擎，并对接 ROS2：

C++

// C++ 伪代码：LLM 控制 ROS2
void llm_control_loop(std::string user_text) {
    // 1. 拼接 Prompt
    std::string full_prompt = SYSTEM_PROMPT + "用户指令: " + user_text;
    
    // 2. RKNN-LLM 推理
    std::string response = rknn_llm_run(ctx, full_prompt);
    
    // 3. 解析 JSON (使用 nlohmann/json 库)
    auto actions = json::parse(response);
    
    // 4. 执行 ROS2 动作
    for (auto& action : actions) {
        if (action["function"] == "move_to") {
            send_nav2_goal(action["args"][0]);
        }
        // ... 处理其他动作
    }
}

---

性能优化技巧

1. KV Cache 优化：具身智能通常是多轮对话。RKNN-LLM 支持 KV Cache 缓存机制，避免重复计算历史 Token，显著提升第 2 轮对话的响应速度。

2. 分词器（Tokenizer）选择：DeepSeek 有自己的 Tokenizer。确保在板端使用与之匹配的 C++ Tokenizer 实现，否则输出会乱码。

3. 内存管理：RK3576 通常配备 4GB/8GB 内存。务必关闭图形桌面（使用 Headless Linux），并增加 Swap 分区，防止模型加载时 OOM（内存溢出）。

---

常见问题 (FAQ)

1. RK3576 跑 7B 模型卡顿吗？

答：会有明显的延迟。DeepSeek-7B 在 6TOPS NPU 上，生成速度可能只有 2-3 tokens/s，像是在“打字”。对于实时性要求高的机器人，强烈推荐使用 1.3B 版本（可达 10+ tokens/s，像正常说话速度）。

2. 模型会“胡言乱语”（幻觉）吗？

答：小模型（1.3B）确实容易产生幻觉。解决办法是：

• 严格限制 Prompt：在 System Prompt 中强调“如果无法执行，请回复 NULL”。

• 后处理校验：在代码层校验 LLM 输出的 JSON 字段是否在机器人的合法指令集中（White-list）。

3. DeepSeek-Coder 适合控制机器人吗？

答：非常适合。DeepSeek-Coder 是在大量代码数据上训练的，它对**结构化语言（如 JSON、Python、Function Call）**的理解能力远超同参数量的普通聊天模型，非常适合做机器人的逻辑大脑。