专栏九:具身智能与学习方法 · 第 4 篇

八界面前有一个要放进收纳盒的玩具。它可以先调整位置,再完成操作;也可以少做一步调整,直接尝试。第一种办法慢一点,第二种办法有机会更快,也更容易失败。强化学习要回答的问题是:从现在开始这样做,后面一共能得到怎样的结果?

这句话里的“后面”和“一共”决定了强化学习为什么不能简单写成“成功加一分,失败减一分”。一个动作可能眼前得分不高,却把机器人带到更容易成功的位置;也可能眼前看起来很好,后面只剩下难以恢复的局面。本篇从一个能手算、能运行的任务模型出发,把回报、价值更新、采集截断与奖励设计连起来。

在这里插入图片描述

图 1:八界在不同动作之间做选择,比较的是各条后续分支的结果。

本文的阶段、概率和奖励都是教学设定,不是八界真实控制器或成功率。这样的简化有明确用途:先把学习目标算清楚,再讨论怎样接入连续状态、传感器和控制系统。完整实验代码和运行说明可以在普通电脑上复现,依赖只有 NumPy。

1. 先说明状态里到底有什么

把任务暂时压缩成三个非终止状态:far 表示尚未靠近操作位置,near 表示已经靠近但还需调整,ready 表示准备条件满足。另有 success 和 failed 两个终止结果。每个非终止状态都允许三种动作:按步骤推进 step、尝试捷径 shortcut、等待 wait。

这不是说八界只需要三个字符串就能控制机械臂。完整状态可能包含关节位置和速度、底盘位置、目标相对位姿、夹爪与接触状态、剩余时间等。这里保留三个阶段,只为了观察“现在的动作怎样影响后面的收益”。

一个状态表示是否够用,可以拿具体反例检查:两次记录都是 near,但一次夹爪里已经有玩具,另一次没有,后续放置结果会不同;两次相机图像很接近,但目标正沿相反方向移动,下一步也不同。把这些情况塞进同一个状态,就把原本不同的转移混在了一起。此时继续增加训练回合,未必能补救表示缺失。可以增加必要观测、保留短历史或显式估计隐状态,不能把单张图像默认等同于完整状态。

马尔可夫决策过程用转移分布描述这种关系:给定当前状态和动作,下一状态与奖励服从什么分布。Datawhale 的《Easy RL》表格型方法一章用这一表示继续推导价值更新,可以作为中文补充阅读。[1]
在这里插入图片描述

图 2:按步骤推进时,near 有 0.8 的概率进入 ready,有 0.2 的概率留在原处。

本例的 step 转移规定如下:从 far 到 near,奖励为 −1;从 near 出发,两条结果的奖励也都是 −1;从 ready 完成任务并终止,奖励为 10。等待会留在当前状态,每步奖励 −1。捷径的结果另存于脚本 MODEL:例如从 far 尝试捷径,0.65 的概率成功得 10,0.35 的概率失败得 −12。

这里 −1 是对一个决策步骤的代价设定,不是“耗时 1 秒”或“消耗 1 焦耳”。如果八界的动作持续时间不同,把每次调用都扣同样的分,会偏好调用次数少而不一定实际更快的方案。要优化真实时间,就应记录持续时间,并相应定义奖励和折扣的时间尺度。

2. 价值是后续回报的估计,不是当前奖励

约定执行动作后收到奖励 r t r_t rt​,折扣回报为:

G t = r t + γ r t + 1 + γ 2 r t + 2 + ⋯ G_t=r_t+\gamma r_{t+1}+\gamma^2r_{t+2}+\cdots Gt​=rt​+γrt+1​+γ2rt+2​+⋯

γ \gamma γ 是 0 到 1 之间的折扣因子。本例取 0.9。状态价值 V π ( s ) V^\pi(s) Vπ(s) 是从状态 s s s 开始、后面按策略 π \pi π 行动时, G t G_t Gt​ 的期望。动作价值 Q π ( s , a ) Q^\pi(s,a) Qπ(s,a) 则先固定第一步动作,再沿策略继续。

把回报拆成“现在收到的奖励”和“下一个状态开始的回报”,就得到一阶关系。对最优策略,下一步也选价值最大的动作,因此:

Q ∗ ( s , a ) = ∑ s ′ , r p ( s ′ , r ∣ s , a ) [ r + γ V ∗ ( s ′ ) ] , V ∗ ( s ) = max ⁡ a Q ∗ ( s , a ) Q^*(s,a)=\sum_{s',r}p(s',r\mid s,a) \left[r+\gamma V^*(s')\right],\qquad V^*(s)=\max_a Q^*(s,a) Q∗(s,a)=s′,r∑​p(s′,r∣s,a)[r+γV∗(s′)],V∗(s)=amax​Q∗(s,a)

真正终止之后没有任务内的后续回报,终止项的 V V V 取 0。转移概率权衡的是多个可能结果,不是拿最好的一条代替整体结果。

在这个模型中,最优动作最终都是 step。先看 ready:立即完成得 10,等待一步再完成只有 − 1 + 0.9 × 10 = 8 -1+0.9\times10=8 −1+0.9×10=8,所以 V ( r e a d y ) = 10 V(ready)=10 V(ready)=10。near 的推进可能失败并留在原处,于是:

V ( n e a r ) = 0.8 [ − 1 + 0.9 × 10 ] + 0.2 [ − 1 + 0.9 V ( n e a r ) ] = 6.2 + 0.18 V ( n e a r ) V ( n e a r ) = 6.2 / 0.82 ≈ 7.560976. \begin{aligned} V(near)&=0.8[-1+0.9\times10] +0.2[-1+0.9V(near)]\\ &=6.2+0.18V(near)\\ V(near)&=6.2/0.82\approx7.560976. \end{aligned} V(near)V(near)​=0.8[−1+0.9×10]+0.2[−1+0.9V(near)]=6.2+0.18V(near)=6.2/0.82≈7.560976.​

接着有 V ( f a r ) = − 1 + 0.9 × 7.560976 ≈ 5.804878 V(far)=-1+0.9\times7.560976\approx5.804878 V(far)=−1+0.9×7.560976≈5.804878。从 far 走捷径的期望回报只有 0.65 × 10 + 0.35 × ( − 12 ) = 2.3 0.65\times10+0.35\times(-12)=2.3 0.65×10+0.35×(−12)=2.3。按步骤推进值得做,并不是因为每一步都得正奖励,而是因为后续结果足以抵偿前面的代价。

在这里插入图片描述

图 3:动画推进的是 Bellman 更新轮数。ready 的价值先被更新,再逐步影响 near 和 far。

3. 代码里,模型求解和采样学习走的是两条路

如果转移概率已知,可以直接做价值迭代。每一轮先把旧价值带入全部动作,再对每个状态取最大值;用独立的 next_values,保证同一轮使用的是同一份旧估计。

def value_iteration(gamma=.9, potential=None, tolerance=1e-12):
    if not 0 <= gamma < 1:
        raise ValueError('this discounted solver requires 0 <= gamma < 1')
    values = np.zeros(5)
    history = [values.copy()]
    for _ in range(10000):
        q = action_values(values, gamma, potential)
        next_values = np.r_[q.max(axis=1), 0., 0.]
        history.append(next_values.copy())
        delta = np.max(np.abs(next_values - values))
        values = next_values
        if delta < tolerance:
            return values, action_values(values, gamma, potential), np.array(history)
    raise RuntimeError('value iteration failed to converge')

这段价值迭代实现返回三个对象:每个状态的价值、每个动作的价值以及各轮历史。终止状态放在数组最后两项,始终为 0。action_values() 负责逐条计算概率加权结果,不能只拿 argmax 索引去查某一条转移。

但真实机器人一般没有一张已经测准的转移表。Q-learning 用交互采样得到的 ( s , a , r , s ′ ) (s,a,r,s') (s,a,r,s′) 更新表格:

Q ( s , a ) ← Q ( s , a ) + α [ r + γ max ⁡ b Q ( s ′ , b ) − Q ( s , a ) ] . Q(s,a)\leftarrow Q(s,a)+\alpha \left[r+\gamma\max_b Q(s',b)-Q(s,a)\right]. Q(s,a)←Q(s,a)+α[r+γbmax​Q(s′,b)−Q(s,a)].

方括号里是“这次看到的奖励加后继估计”与“原来估计”的差。 α \alpha α 决定每次往新目标移动多少。这个目标里已经包含旧估计,因此叫自举;它不是完整轨迹结束后算出来的真实总回报。[1]

脚本中的 q_learning() 固定随机种子 19,跑 40000 回合,以 0.25 的概率随机选动作,其余时候选当前最大 Q;每一对状态动作的学习率随自身访问次数按 N − 0.65 N^{-0.65} N−0.65 衰减。三处最终贪心选择都为 step,但最大 Q 数值误差仍约为 0.639。随机转移、有限采样和访问次数不均都还在起作用,不能因为选对了动作就写成“价值已经精确收敛”。

在这里插入图片描述

图 4:实线来自已知模型的求解,叉号来自固定种子的采样学习;动作排序一致,数值仍有差别。

本例之所以同时保留两种实现,就是让读者有一把核对尺。只有采样学习曲线时,回报上升可能来自探索变化、环境变化或评估噪声;这里先用已知模型算出答案,再观察采样算法距答案还有多远。把它迁移到八界时,已知模型这一条件通常不成立,需要另设独立评估任务,不能拿训练回报充当实机验证。

4. 折扣因子和控制周期会一起改变目标

γ \gamma γ 越小,较晚的收益折扣越重。把本例从 0.9 改成 0.2,起点最优动作就变为 shortcut:为了等待多步后的完成收益而付出代价,已经不如眼前的捷径期望值。

在这里插入图片描述

图 5:相同奖励和转移,在不同折扣下会得到不同策略。

还有一个容易漏掉的尺度问题。每步保留 0.99 的权重,在 10 Hz 下,一秒后的权重是 0.99 10 ≈ 0.904 0.99^{10}\approx0.904 0.9910≈0.904;改成 50 Hz 仍用 0.99,一秒后就只剩 0.99 50 ≈ 0.605 0.99^{50}\approx0.605 0.9950≈0.605。如果希望表达相同的按时间衰减,可先定义 γ ( Δ t ) = exp ⁡ ( − λ Δ t ) \gamma(\Delta t)=\exp(-\lambda\Delta t) γ(Δt)=exp(−λΔt),或令新周期的折扣满足 γ 2 = γ 1 Δ t 2 / Δ t 1 \gamma_2=\gamma_1^{\Delta t_2/\Delta t_1} γ2​=γ1Δt2​/Δt1​​。

因此,八界策略从慢速任务选择改成高频关节目标输出时,不能只把循环频率调高,把奖励和折扣原样搬过去。动作单位、一次动作持续多久、每步奖励按时间还是按事件计算,都要一并确认。对于持续时间可变的宏动作,还需要按实际持续时间处理后续折扣;本篇的等步长 MDP 没有覆盖这种情况。

5. 日志停止了,未来价值也要清零吗

采集器为了限制单回合长度,在第 80 步结束记录,不等于八界任务在第 80 步已经成功或失败。两者混用,会把最后一个状态的未来价值凭空删掉。Gymnasium 明确区分任务内终止 terminated 与外部截断 truncated,并指出持续任务的截断仍需要自举。[2]

def td_target(reward, next_value, gamma, terminated):
    """An external sampling time limit does not zero a continuing MDP value."""
    return reward + gamma * (0. if terminated else next_value)

若当前奖励是 1,下个状态估值是 5, γ = 0.9 \gamma=0.9 γ=0.9:真正终止的目标是 1,外部截断的目标是 5.5。这不是小的实现差异,而是对“任务还会不会继续”的不同定义。

在这里插入图片描述

图 6:终止去掉后续回报,外部截断保留持续任务的后续估计。

这里也不能走到另一个极端,认为“任何超时都应该保留未来价值”。如果任务本来就规定必须在截止时间内完成,时间到是任务定义的一部分,那么它可以是真正终止;剩余时间也应进入状态,否则同一画面在还剩 10 秒和只剩 0.1 秒时,最优动作不同却被混在一起。数据文件应保留停止原因,训练时再据任务定义决定如何计算目标。

6. 奖励投机,通常先暴露了目标写错

假设为了鼓励八界靠近玩具,只要处于目标附近,每步就奖励 0.3;真正收纳完成后,终止并奖励 2。仍取 γ = 0.9 \gamma=0.9 γ=0.9,一直等在附近的回报是:

0.3 + 0.9 × 0.3 + 0.9 2 × 0.3 + ⋯ = 0.3 1 − 0.9 = 3. 0.3+0.9\times0.3+0.9^2\times0.3+\cdots =\frac{0.3}{1-0.9}=3. 0.3+0.9×0.3+0.92×0.3+⋯=1−0.90.3​=3.

3 大于 2。对这个奖励函数,停在附近比完成任务更合算。策略没有“误解”你没有写进去的愿望,它在优化给定的分数。把完成奖调大可能修复当前例子,却未必消除其他可重复获利的循环。

在这里插入图片描述

图 7:等待回报会超过立即完成的 2,并趋近于 3。

因此,奖励设计应先找反例:重复靠近和远离是否能刷分;夹爪开合是否重复计“抓到”;任务超时后是否还在累计正分;传感器漏检是否让碰撞惩罚消失。八界的“玩具已经入盒”应由对应的结果证据定义,不能用某个动作请求返回成功代替。若奖励本身来自识别器,也要单独检查它被遮挡、误判或时序错配时会怎样打分。

7. 想给中间引导,可以从势函数看起

一种有明确数学条件的做法,是在原奖励上增加:

F ( s , s ′ ) = γ Φ ( s ′ ) − Φ ( s ) . F(s,s')=\gamma\Phi(s')-\Phi(s). F(s,s′)=γΦ(s′)−Φ(s).

Φ \Phi Φ 是人为选择的状态势函数。它可以表达“离准备完成还有多远”的粗略偏好,但其形式必须与折扣一致。沿一条长度为 T T T 的轨迹展开,新增的折扣总和会相消:

∑ t = 0 T − 1 γ t F ( s t , s t + 1 ) = − Φ ( s 0 ) + γ T Φ ( s T ) . \sum_{t=0}^{T-1}\gamma^tF(s_t,s_{t+1}) =-\Phi(s_0)+\gamma^T\Phi(s_T). t=0∑T−1​γtF(st​,st+1​)=−Φ(s0​)+γTΦ(sT​).

在本例这种到终点即停止累计的有限回合中,我们设置终止势函数为 0;对于有界势函数、 γ < 1 \gamma<1 γ<1 的无限折扣情形,末项在极限下消失。于是同一起点的不同完整轨迹都只多出同一个常数,不会因此改变策略排序。这是势函数奖励塑形的关键依据。[3]

本例取 far/near/ready 的势函数为 −2、−1、−0.3,两个终止状态都为 0。求解结果从 [5.804878, 7.560976, 10] 变成 [7.804878, 8.560976, 10.3],恰好每项减去对应的 Φ ( s ) \Phi(s) Φ(s),而最优动作仍为 step。
在这里插入图片描述

图 8:数值原点改变了,同一状态内的动作排序保留下来。

这项结论有边界:漏掉公式中的 γ \gamma γ、在回合终点留下随结果不同的势函数、改变环境后沿用错误的终止处理,都可能破坏相消。脚本因此直接拒绝非零终止势函数。它也没有宣称“只要使用势函数,训练就一定更快”;最优策略不变与有限预算下学得快,是两个不同的问题。

8. 把实验放回八界的学习链路

读本篇示例时,可以先看 MODEL 搞清一次决策的含义,再看 action_values() 和 value_iteration() 核对手算值,最后读 q_learning(),理解为什么训练依靠采样、结果却需要独立检查。脚本的 9 组实验还覆盖折扣改变策略、终止与截断、刷分反例、势函数回报相消以及终止势函数拒绝。

迁移到八界任务时,先明确策略管的是底盘接近、机械臂目标还是任务级选择,再定义状态、动作时间尺度和完成证据。奖励优化不会代替底层限位、碰撞检查或停止确认;这些执行条件仍有各自的检查入口。等目标和边界明确,再选择函数逼近和探索方式,才知道训练出的策略究竟在解决什么。

本专栏第 3 篇用明确模型比较有限时域内的动作序列。本篇通过奖励和价值函数衡量后续结果,并在构造环境中反复采样。如果八界只有一批历史记录,不能继续试错,普通的 Q 更新会遇到新的问题:它可能偏爱数据从未见过的动作。本专栏第 5 篇接着把这个问题算出来。

参考链接

  1. Datawhale《Easy RL》第 3 章:表格型方法,中文概念与备份公式
  2. Gymnasium:Handling Time Limits,终止与外部截断的自举规则
  3. Ng、Harada、Russell:Policy Invariance under Reward Transformations,势函数塑形的原始论文
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐