本文主要针对了解数值优化、但主要集中在调库，不理解算法原理的读者。（比如日常工作是定义一个带约束的优化问题进行求解，求解过程则全部交给优化器。）
本系列讲解了等式/不等式约束、罚函数、对数障碍，拉格朗日乘子法，约束最优性方程，KKT条件，对偶变量等概念，并以casadi和ipopt为例，讲解它如何把不等式约束转为等式约束并进行求解的过程。因此，如果想深入了解，可以阅读本文。
但是，读者需要能留出至少数个小时来阅读本文，否则心急的情况下确实是很难很快理解消化本文的内容。

本系列内容分为两章：
第一节就是本章：
约束优化基础：从简单问题到拉格朗日乘子与 KKT 条件
包含机器人案例引言及第 1—7 节：牛顿法回顾、消元、平方罚函数、对数障碍、乘子与互补条件。

第二节另开一章：
【机器人感知运控笔记四】理解 IPOPT：原始—对偶内点法与二阶信息
包含第 8—14 节：松弛变量、最优性方程、联合牛顿步骤、障碍参数更新、Hessian 接口与导数检查。

如果读完觉得不错，欢迎关注我的专栏：
机器人感知运控笔记-微鉴道长的专栏

引言：三个机器人优化问题

机器人执行任务时，往往有许多可以选择的关节姿态、运动轨迹或接触力。优化模型用目标函数评价这些选择，同时用约束表达关节限位、避障和力学平衡等要求。下面三个例子展示了这种写法。

末端定位：选择一个接近目标、满足避障要求的关节姿态。

设关节向量为 $q$，正运动学给出的末端位置为 $p(q)$，期望位置为 $p_{\mathrm{goal}}$，参考关节姿态为 $q_{\mathrm{ref}}$。一个只考虑末端位置的逆运动学模型可以写成：

$$\begin{array}{rl}\underset{q}{\min }& \Vert p(q)-p_{\mathrm{goal}}{\Vert }^2+\alpha \Vert q-q_{\mathrm{ref}}{\Vert }^2\\ \text{s.t.}& q_{\min }\le q\le q_{\max },\\ & d_j(q)\ge d_{\min },j=1,\dots ,m.\end{array}$$

这里 $\Vert \cdot \Vert$ 表示欧氏范数，$\alpha >0$ 调节保持参考姿态的权重；$d_j(q)$ 表示第 $j$ 对几何体的间距，$d_{\min }$ 是要求保留的安全距离。求解器在满足关节限位和距离约束的姿态中，权衡末端位置误差与参考姿态偏差。

离散轨迹优化：连接起终点，并减少相邻采样点的关节变化。

把轨迹表示为 $N+1$ 个关节向量 $q_0,\dots ,q_N$。固定起终点，优化中间采样点：

$$\begin{array}{rl}\underset{q_0,\dots ,q_N}{\min }& \sum _{k=0}^{N-1}\Vert q_{k+1}-q_k{\Vert }^2\\ \text{s.t.}& q_0=q_{\mathrm{start}},q_N=q_{\mathrm{goal}},\\ & q_{\min }\le q_k\le q_{\max },k=0,\dots ,N,\\ & d_j(q_k)\ge d_{\min },j=1,\dots ,m,k=0,\dots ,N.\end{array}$$

这个模型同时包含等式约束和不等式约束。目标函数把相邻采样点联系起来，距离约束要求每个采样姿态避开障碍；采样点之间的连续运动还需要结合插值方式检查碰撞。

接触力分配：在满足平衡与摩擦要求的条件下分配支撑力。

固定机器人姿态和接触位置，考虑水平地面上的 $r$ 个接触点。第 $i$ 个接触力为 $f_i=(f_{ix},f_{iy},f_{iz})$，把它们堆叠为向量 $F$。矩阵 $A$ 把接触力转换为机器人受到的合力与合力矩，$w$ 表示平衡重力及其他外力所需的合力与合力矩：

$$\begin{array}{rl}\underset{F}{\min }& \frac{1}{2}\sum _{i=1}^r\Vert f_i{\Vert }^2\\ \text{s.t.}& AF=w,\\ & f_{iz}\ge 0,i=1,\dots ,r,\\ & \sqrt{f_{ix}^2+f_{iy}^2}\le {\eta }_i{f}_{iz},i=1,\dots ,r.\end{array}$$

${\eta }_i$ 是第 $i$ 个接触点的摩擦系数。等式保证整体力学平衡，不等式限制接触力的方向和摩擦范围，平方和目标从可行的力分配中选择一个解。

这些问题都要求求解器在改善目标的同时处理约束。只沿目标梯度下降，可能碰到障碍或破坏平衡；到达约束边界时，目标梯度也可能仍然指向可行域外。接下来从一个一维问题开始，逐步理解约束最优点应满足什么条件，以及求解器怎样利用这些条件计算结果。

1. 一个带边界的最小化问题

我们希望选择一个数，让它尽量接近 2，同时要求它不大于 1：

$$\underset{x}{\min }f(x)=(x-2{)}^2,x\le 1.$$

这里有三个基本概念：

• 决策变量：我们能够调整的量，本例为 $x$。
• 目标函数：衡量结果优劣的量，本例为 $(x-2{)}^2$，越小越好。
• 可行域：满足全部约束的点构成的集合，本例为 $(-\infty ,1]$。

暂时去掉约束，最优点是 $x=2$，目标值为 0。加入约束后，最优点变为 $x^{\ast }=1$，目标值为 1。我们可以画图直接得到这个答案；数值算法需要通过函数值、导数和约束值逐步寻找它。

这两个答案可以作为后续计算的参照：无约束时应得到 2，加入边界后应得到 1。约束决定可接受的范围，目标决定其中哪些点更好。后面出现的辅助变量和算法参数，都围绕这个原问题组织求解。

2. 无约束牛顿法的记号与后续连接

本节简要回顾已熟悉的无约束更新，统一后文的记号。需要保留的联系是：牛顿法可以通过线性化方程来计算修正量。第 9 节会把这个做法用于约束最优性方程。

2.1 斜率与梯度下降

对于 $f(x)=(x-2{)}^2$，导数与梯度下降更新为：

$$f^{\prime }(x)=2(x-2),x_{k+1}=x_k-{\alpha }_k{f}^{\prime }(x_k).$$

$k$ 是迭代编号，${\alpha }_k>0$ 是步长系数。例如从 $x_0=0$ 出发，导数为 $-4$；取 ${\alpha }_k=0.1$，第一次更新到 $x_1=0.4$。后文仍用 $\alpha$ 表示一次迭代采用多大的步长。

2.2 局部二次近似与牛顿方向

牛顿法利用局部二次模型确定方向。设本次建议位移为 $d$，在当前位置展开：

$$f(x_k+d)\approx f(x_k)+f^{\prime }(x_k)d+\frac{1}{2}{f}^{\prime \prime }(x_k)d^2.$$

对右侧关于 $d$ 求导，并令它等于零：

$$f^{\prime }(x_k)+f^{\prime \prime }(x_k)d=0,d=-\frac{f^{\prime }(x_k)}{f^{\prime \prime }(x_k)}.$$

在本例中 $f^{\prime \prime }(x)=2$，从 $x_0=0$ 得到 $d=2$，采用完整位移就到达 $x_1=2$。这个例子恰好是二次函数，局部模型与原函数完全一致。

从求解方程的角度看，这一步用 $f^{\prime }(x_k)+f^{\prime \prime }(x_k)d$ 近似新位置的导数，再选择 $d$ 让这个近似值等于零。后面处理约束方程时，也会用到这种线性近似。

一般函数的局部模型只在附近准确。实际求解器还要选择步长，检查新点的改进情况。

2.3 从一维二阶导数到 Hessian 矩阵

实际问题往往需要同时调整多个变量。我们仍然可以构造局部二次模型，只是需要记录各变量的变化及其相互影响。当 $x$ 是一个向量，一阶导数变成梯度，二阶导数组成 Hessian 矩阵：

$$\nabla f(x)=\left[\begin{array}{c}\partial f/\partial x_1\\ ⋮\\ \partial f/\partial x_n\end{array}\right],H_f(x)={\left[\frac{{\partial }^{2}f}{\partial x_i\partial x_j}\right]}_{i,j=1}^n.$$

对角项描述各方向的弯曲程度；非对角项描述不同变量之间的耦合。例如：

$$f(x,y)=x^2+xy+2y^2,H_f=\left[\begin{array}{cc}2& 1\\ 1& 4\end{array}\right].$$

多变量牛顿方向通过一个线性方程组计算：

$$H_f(x_k)d=-\nabla f(x_k),x_{k+1}=x_k+{\alpha }_{k}d.$$

工程实现通常直接求解线性方程组。Hessian 不定、接近奇异时，算法还需要正则化或其他方向修正。后面引入约束以后，仍会计算牛顿方向，但参与方程的量还会包含约束及其乘子。

3. 用变量代换处理等式约束

前面的计算只考虑目标函数，得到的点可能违反约束。要继续使用无约束优化方法，一种做法是先利用约束改写变量，让改写后的变量天然满足它。下面用一个等式约束说明这个过程：

$$\underset{x,y}{\min }(x-2{)}^2+y^2,x+y=1.$$

等式给出了 $y=1-x$。代入目标函数，得到只含一个变量的无约束问题：

$$\underset{x}{\min }(x-2{)}^2+(1-x{)}^2.$$

它的导数是 $4x-6$，因此 $x^{\ast }=1.5$，$y^{\ast }=-0.5$。约束已经通过变量表达式得到满足。

这说明：当约束能够方便地消元时，我们可以直接减少决策变量。 大型问题中的非线性等式往往难以显式求解，消元也可能破坏矩阵稀疏结构，所以通用求解器还需要其他处理方法。

4. 用越界代价构造罚函数

消元利用了变量之间能够显式表达的关系。处理约束时，还可以保留原有变量，把违反约束的程度计入目标。回到贯穿全篇的问题：

$$\underset{x}{\min }(x-2{)}^2,x\le 1.$$

超出边界的程度可以写为 $\max (0,x-1)$。给它增加平方惩罚，得到定义在整个实数轴上的无约束问题：

$$\underset{x}{\min }{F}_{\rho }(x)=(x-2{)}^2+\rho [\max (0,x-1){]}^2,\rho >0.$$

$\rho$ 是罚系数。它越大，越界的代价越高。对本例，最优点位于 $x>1$ 这一段，令导数为零：

$$2(x-2)+2\rho (x-1)=0,x_{\rho }=1+\frac{1}{1+\rho }.$$

罚系数 $\rho$	最优点 $x_{\rho }$	越界量 $x_{\rho }-1$
1	1.500000	0.500000
10	1.090909	0.090909
100	1.009901	0.009901
1000	1.000999	0.000999

当 $\rho \to \infty$ 时，解从边界外侧逐渐接近 1。有限的平方罚系数通常会保留约束误差；不同方向的曲率尺度也可能随罚系数增大而相差悬殊，增加数值求解难度。

本例中的罚函数允许解落在边界外侧，再通过增大罚系数缩小越界量。接下来考虑另一种构造：把求解范围放在边界内部，让目标函数在靠近边界时迅速增大。

5. 用对数障碍从可行域内部逼近最优点

我们希望变换后的问题在 $x<1$ 内有最优点，同时能够通过调整一个参数，让这个点逐渐接近原问题的解 $x=1$。为此，先从“到边界还有多少距离”构造一个附加目标项。

5.1 边界余量与对数代价

对于 $x<1$，到边界的余量为 $1-x>0$。对数函数有一个适合这里的性质：正数趋于零时，它的对数趋于负无穷。取负号后，就得到一个靠近边界时不断增大的代价。用正系数 $\mu$ 调节它的影响，得到：

$$\underset{x<1}{\min }{F}_{\mu }(x)=(x-2{)}^2-\mu \log (1-x),\mu >0.$$

当 $x\to 1^{-}$ 时，$\log (1-x)\to -\infty$，因此障碍项趋于正无穷。这个性质使固定 $\mu$ 下的最优点留在可行域内部。

$\mu$ 叫作障碍参数。较大的 $\mu$ 让边界附近的代价影响更强；较小的 $\mu$ 让最优点能够更接近原问题的边界解。

“转成无约束”在这里有一个具体含义：我们把不等式写进了目标函数，同时保留了 $x<1$ 的开放定义域。算法仍要选择合法步长，确保对数可以计算。

5.2 障碍参数与最优点的位置

固定一个 $\mu$，就确定了一个新的目标函数，也确定了一个障碍子问题。我们可以求出它的最优点，再比较不同 $\mu$ 下的位置。先对目标求一阶导数：

$$F_{\mu }^{\prime }(x)=2(x-2)+\frac{\mu }{1-x}.$$

令它等于零，并选取满足 $x<1$ 的根：

$$x_{\mu }=\frac{3-\sqrt{1+2\mu }}{2}.$$

障碍参数 $\mu$	最优点 $x_{\mu }$	边界余量 $1-x_{\mu }$
1	0.633975	0.366025
0.1	0.952277	0.047723
0.01	0.995025	0.004975
0.001	0.999500	0.000500

当 $\mu \downarrow 0$ 时，解从边界内侧接近 $x^{\ast }=1$。把这些子问题的最优点连起来，就得到这个例子的中心路径。它描述不同 $\mu$ 对应的理想子问题解；实际迭代中的点通常还带有求解误差，可以偏离这条路径。

5.3 减小 μ 后，解的位置与附近斜率的变化

第 5.2 节已经说明：减小 $\mu$，可以让障碍子问题的解更接近原问题的边界解。本节补充一个与数值求解有关的现象：$\mu$ 减小后，在各自的最优点附近，斜率随位置变化得更快。

这个变化与下一步的求解直接相关。牛顿法需要根据当前位置的斜率，估计移动多远才能使斜率接近零。如果斜率随位置变化得很快，一小段位移就可能使它明显改变；计算位移时就需要计入这种变化速度。二阶导数正是描述这个变化速度的量。

先直接比较两个障碍子问题。它们都来自同一个原问题，边界都是 $x=1$，区别只有 $\mu$ 的取值。下面的数值使用第 5.2 节的解析解计算：

障碍参数 $\mu$	子问题的最优点 $x_{\mu }$	到边界的距离	最优点处的二阶导数
0.01	0.995025	约 0.004975	约 406
0.001	0.999500	约 0.000500	约 4006

表中的两列变化分别说明了两件事：

• 到边界的距离约缩小了 10 倍，子问题的解更接近原问题的解。
• 二阶导数约增大了 10 倍。在各自最优点附近，发生足够小的相同位移时，后一个问题的斜率变化约为前一个的 10 倍。

这两个最优点处的一阶导数都等于零。表中的二阶导数描述的是离开该点后，斜率变化得有多快。本节使用“曲率”来指这一局部变化特征。

表中的二阶导数由下面的公式计算：

$$F_{\mu }^{\prime \prime }(x_{\mu })=2+\frac{\mu }{(1-x_{\mu }{)}^2}.$$

每一行都代入该行的 $\mu$ 和最优点 $x_{\mu }$。随着 $\mu$ 减小，分子变小，最优点到边界距离的平方也变小；在本例中，分母减小得更快，所以这个比值增大。

接下来的第 5.4 节把二阶导数代入牛顿公式，计算一次实际位移；第 5.5 节再介绍多个障碍子问题之间的求解安排。

5.4 二阶导数与牛顿位移

前面计算了曲线在最优点附近的形状。求解过程中，这些二阶信息会参与确定每次迭代的位移。回到第 2 节的一维牛顿公式，在当前点 $x_k$ 求出一阶导数和二阶导数后，计算：

$$d_k=-\frac{F_{\mu }^{\prime }(x_k)}{F_{\mu }^{\prime \prime }(x_k)},x_{k+1}=x_k+{\alpha }_k{d}_k.$$

$d_k$ 是局部二次模型给出的建议位移，${\alpha }_k$ 是随后选择的步长系数。在本例中，二阶导数始终为正。一阶导数的符号决定向左还是向右移动，二阶导数参与确定建议位移的大小。在相同一阶导数下，较大的正二阶导数会给出较小的建议位移。

例如，固定 $\mu =0.01$，取一个尚未到达最优点的当前位置 $x_k=0.995$：

$$\begin{array}{rl}{F}_{\mu }^{\prime }(x_k)& =2(0.995-2)+\frac{0.01}{1-0.995}=-0.01,\\ F_{\mu }^{\prime \prime }(x_k)& =2+\frac{0.01}{(1-0.995{)}^2}=402.\end{array}$$

牛顿公式把这两个数用于计算位移：

$$d_k=-\frac{-0.01}{402}\approx \mathrm{0.00002488.}$$

若取 ${\alpha }_k=1$，新位置为 $x_{k+1}\approx 0.99502488$，已经很接近第 5.2 节算出的最优点 $x_{\mu }\approx 0.99502475$。实际求解器还会检查新位置的定义域和改进情况，再决定是否接受这个步长。

前面的解析解帮助我们分析最优点附近的曲率。实际牛顿迭代在当前点 $x_k$ 计算导数，计算位移时无需预先知道 $x_{\mu }$。多变量问题沿用同样的思路，用 Hessian 矩阵参与计算各变量的修正量。

5.5 逐步求解一系列障碍子问题

现在可以同时看到减小 $\mu$ 的两个影响：子问题的解更接近原问题的边界解，解附近的曲率也变得更大。实际多变量问题中，靠近边界和远离边界的方向可能具有很不相同的曲率尺度，局部数值计算会更加困难。

一种求解安排是先选择一个正的 $\mu$，求出当前子问题的近似解，再减小 $\mu$，用前一次的结果作为新子问题的初值。这样可以利用已经找到的位置，逐渐接近原问题的解。具体何时更新 $\mu$、更新到多大，将在第 10 节讨论。

这里需要区分两个量：$\mu$ 控制障碍子问题，步长 ${\alpha }_k$ 控制一次迭代移动多远。 后面的 mu_strategy 管理前者。

6. 多个等式与不等式的统一写法

前面的例子只包含一条约束。实际模型通常包含多个变量、多个等式和多个不等式。把同类约束收集成向量，就可以沿用刚才的处理方法。一般约束优化写为：

$$\underset{x}{\min }f(x),h(x)=0,g(x)\le 0.$$

$h$ 收集等式约束，$g$ 收集不等式约束，各分量分别对应一条约束。前面比较了三种组织求解的方式，它们各自对应一种改写思路：

处理方式	变换结果	需要注意的条件
消元	把等式代入目标，减少变量	需要易于构造的变量表达式
平方罚函数	把约束误差加入目标	有限罚系数通常保留误差
对数障碍	把不等式写入目标，保留开放定义域	等式仍需另外处理

用平方罚函数同时处理两类约束，可以得到无约束问题：

$$\underset{x}{\min }f(x)+\rho \sum _j{h}_j(x{)}^2+\rho \sum _i[\max (0,g_i(x)){]}^2.$$

每个等式用其误差 $h_j(x)$ 的平方计罚，每个不等式只对正的越界部分计罚。

一般的障碍问题是：

$$\underset{x}{\min }f(x)-\mu \sum _i\log [-g_i(x)],h(x)=0,g_i(x)<0.$$

这个障碍问题仍然保留等式约束 $h(x)=0$。IPOPT 采用的内点法会继续处理这些等式，并组织变量与乘子的联合更新。

接下来先明确求解希望达到的状态：怎样用方程描述“目标在约束允许的范围内已经达到局部最优”。第 7 节讨论这些条件，第 8 节再把条件与障碍子问题联系起来。

7. 约束最优点与拉格朗日乘子

前面介绍了处理约束的方法。接下来要明确算法希望找到怎样的位置：一个点既要满足约束，也要满足目标函数在这些约束下的最优性要求。本章仍用已知答案的一维例子，从目标与约束的作用出发，逐步写出这些要求。

本章会引入一个辅助未知量 $\lambda$。它用来表达目标梯度与约束梯度的关系，求解器会把它与变量 $x$ 一起求出。原目标函数决定结果的好坏，原约束决定哪些结果可以接受；$\lambda$ 参与描述解应满足的最优性条件。

7.1 边界最优点与非零目标导数

回到贯穿全篇的问题：

$$\underset{x}{\min }f(x)=(x-2{)}^2,g(x)=x-1\le 0.$$

目标函数希望 $x$ 接近 2，约束要求 $x\le 1$。因此，原问题的最优点是 $x=1$。在这个点，目标导数为：

$$f^{\prime }(1)=2(1-2)=-2.$$

这个负导数说明，继续向右移动仍然可以降低目标值。但右侧的位置已经超出可行域；向左移动虽然可行，目标值又会增大。因此，$x=1$ 已经是约束下的最优点，目标导数仍然可以不为零。

第 2 节用 $f^{\prime }(x)=0$ 描述无约束问题的内部最优点。这里需要扩展这个条件，把目标导数和约束排除的移动方向一并考虑。

7.2 用 λ 表达目标与约束的梯度关系

约束函数 $g(x)=x-1$ 的导数为 $g^{\prime }(x)=1$。它说明，向右移动会使 $g$ 增大；在 $g=0$ 的边界上，这个方向会违反约束。

在最优点处，目标与约束的导数分别为 $-2$ 和 $1$。我们可以引入一个系数 $\lambda$，把它们的关系写成：

$$f^{\prime }(x)+\lambda g^{\prime }(x)=0.$$

这个系数称为拉格朗日乘子。代入 $x=1$，得到：

$$-2+\lambda \times 1=0⟹\lambda =2.$$

这里的 $\lambda =2$ 表达了目标导数与约束导数在该点的平衡关系。这样，我们就能够描述一个“目标导数仍不为零，但移动已经受到约束限制”的最优点。后面会把这个关系称为梯度平衡条件。

求解时，$\lambda$ 是与 $x$ 一起确定的未知量。采用本讲义的 $g\le 0$ 写法，不等式乘子要求满足 $\lambda \ge 0$。如果暂时固定 $x=1$，当前 $\lambda =1$ 就需要增大到 2；当前 $\lambda =3$ 就需要减小到 2。实际迭代会同时调整 $x$ 和 $\lambda$。

因此，$\lambda$ 可以随求解过程变化。它调整的是辅助方程中约束梯度的系数；原来的 $f(x)$ 和 $g(x)\le 0$ 保持不变，最终结果仍需满足原约束。

7.3 KKT 条件：同时检查变量与乘子

梯度平衡只表达了导数之间的关系。候选点还需要位于可行域内，乘子也需要与约束是否到达边界相对应。

当一条不等式还留有严格余量时，足够小的局部移动仍能满足它，它暂时没有限制局部方向。到达边界后，这条约束才可能参与限制进一步改善目标的方向。互补条件把这一区别写成乘子与约束值的关系。把这些要求合在一起，就得到本例的 KKT 条件：

$$\begin{array}{rl}2(x-2)+\lambda & =0,\\ x-1& \le 0,\\ \lambda & \ge 0,\\ \lambda (x-1)& =0.\end{array}$$

前两行分别要求梯度平衡和约束可行，第三行规定不等式乘子的符号。第四行称为互补条件，需要分两种情况理解：

约束状态	互补条件对 λ 的要求
$g(x)<0$，还留有余量	$g(x)$ 不为零，因此必须有 $\lambda =0$
$g(x)=0$，恰好位于边界	$\lambda \times 0=0$ 自动成立，$\lambda$ 可以为零或正数，具体值还要满足梯度平衡

这里用到的只是乘积为零的规则：至少一个因子为零。因为 $g\le 0$ 包含 $g=0$，所以互补条件允许边界上的乘子为正。

可以用一个具体的候选点看清互补条件的作用。取 $x=0.8$，此时 $g(x)=-0.2$，到边界还剩 $0.2$ 的余量。如果给这条约束配上乘子 $\lambda =2.4$，梯度平衡式恰好成立：

$$f^{\prime }(0.8)+\lambda g^{\prime }(0.8)=-2.4+2.4\times 1=0.$$

虽然梯度平衡式为零，$x=0.8$ 仍然可以改善。 向右移动到 $x=0.9$，仍满足 $x\le 1$，目标值也从 $f(0.8)=1.44$ 降到了 $f(0.9)=1.21$。这条约束还有余量，尚未阻止这次改善目标的移动。

互补条件会排除 $x=0.8,\lambda =2.4$ 这组取值，因为：

$$\lambda g(x)=2.4\times (-0.2)=-0.48\ne 0.$$

在原问题的 KKT 条件中，$g(0.8)<0$ 要求对应的乘子为零。代入 $\lambda =0$ 后，梯度平衡式的左边等于 $-2.4$，就能看出当前位置还没有满足最优性条件。这个例子说明，需要同时检查梯度平衡和互补条件，才能排除这种仍有改善空间的候选点。

现在用这些条件求解本例：

• 若 $x<1$，互补条件给出 $\lambda =0$。梯度平衡随之要求 $2(x-2)=0$，即 $x=2$，与 $x<1$ 矛盾。这一区域没有满足全部 KKT 条件的点。
• 若 $x=1$，互补条件成立，梯度平衡给出 $\lambda =2$。这一组取值满足全部条件。

因此，本例得到 $x=1$、$\lambda =2$。也可以直接验证它的最优性：对任意可行的 $x\le 1$，都有 $(x-2{)}^2\ge 1=f(1)$。

7.4 拉格朗日函数把梯度关系组织在一起

前面写出的梯度平衡式包含 $f$ 和 $g$ 的导数。把这两个函数按相同的系数组合起来，定义拉格朗日函数：

$$L(x,\lambda )=f(x)+\lambda g(x).$$

对 $x$ 求偏导，正好得到：

$$\frac{\partial L}{\partial x}=f^{\prime }(x)+\lambda g^{\prime }(x).$$

于是，梯度平衡可以简写为 $\partial L/\partial x=0$。引入 $L$，就能把目标与约束的导数组织到同一个表达式里，便于后续求导和计算迭代方向。

这个写法容易引出一个误解：把 $x$ 和 $\lambda$ 都当成用来不断降低 $L$ 的变量。我们用具体数值检查这种做法。固定 $x=0$ 时，$f(0)=4$、$g(0)=-1$，所以：

$$L(0,\lambda )=4-\lambda .$$

只要增大 $\lambda$，$L$ 就会一直下降，甚至趋于负无穷。然而 $x$ 没有改变，原始目标仍然等于 4。

KKT 条件会排除这组取值。固定 $x=0$ 时，互补条件要求 $-\lambda =0$，所以 $\lambda$ 只能取 0；再检查梯度平衡，却得到 $-4+0\ne 0$。这说明固定在 $x=0$，无论怎样调整乘子都无法同时满足 KKT 条件，变量 $x$ 也需要改变。

在满足 KKT 条件的点上，互补条件使 $\lambda g(x)=0$，于是 $L(x,\lambda )=f(x)$。求解时要共同检查可行性、梯度平衡和互补条件，仅观察 $L$ 的数值下降无法判断是否得到原问题的解。

7.5 多个变量与多条约束的统一写法

前面的例子只有一个变量和一条不等式。推广到第 6 节的一般问题时，$x$ 收集所有变量，$h(x)$ 收集等式约束，$g(x)$ 收集不等式约束：

$$\underset{x}{\min }f(x),h(x)=0,g(x)\le 0.$$

本讲义把原始等式 $h_j(x)=0$ 的乘子记为 ${\nu }_j$，把原始不等式 $g_i(x)\le 0$ 的乘子记为 ${\lambda }_i$。这些字母用于区分约束的来源。等式本身不给乘子施加符号限制；采用这里的 $g_i\le 0$ 写法，不等式乘子要求非负。把各条约束的贡献相加，得到：

$$L(x,\nu ,\lambda )=f(x)+{\nu }^{T}h(x)+{\lambda }^{T}g(x).$$

在适当的光滑性和约束正则条件下，局部最优点满足以下 KKT 条件：

$$\begin{array}{rl}{\nabla }_{x}L(x,\nu ,\lambda )& =0,\\ h(x)& =0,g(x)\le 0,\\ \lambda & \ge 0,\\ {\lambda }_i{g}_i(x)& =0\text{for every }i.\end{array}$$

它们仍然分别表达梯度平衡、约束可行性、乘子符号和互补关系。满足这些条件时，等式项和各个互补项都为零，所以仍有 $L=f$。

本章的一维例子可以通过 KKT 条件和直接代入确定全局最优解。对于一般非凸问题，满足 KKT 条件的点还可能是局部极大点或鞍点，需要结合二阶信息等进一步判断最优性。

7.6 原始变量、对偶变量与手工权重

到这里，我们已经引入两类未知量。$x$ 表示原模型要寻找的结果，称为原始变量；$\lambda ,\nu$ 分别对应不等式和等式的拉格朗日乘子，在这里也称为对偶变量。后面出现“乘子”和“对偶变量”时，指的是同一类量。

“对偶”这个名称来自数学对偶理论：乘子可以作为另一个优化问题的变量，用于研究原问题最优值的界。IPOPT 的原始—对偶方法通过同一组最优性方程联合更新 $x$ 与乘子；使用者通常只需提供原模型、初值和求解选项。

乘子还可以帮助理解约束对最优结果的影响。仍看一维例子，把边界暂时写为 $x\le b$。当 $b$ 在 1 附近时，最优点为 $x=b$，最优目标值随边界变化为：

$$V(b)=(b-2{)}^2,V^{\prime }(1)=-2=-{\lambda }^{\ast }.$$

如果把边界从 1 放宽到 1.01，最优目标值由 1 降到 $0.9801$，降低约 $0.02$，与 ${\lambda }^{\ast }\times 0.01=0.02$ 相符。本例的乘子因此同时表达了梯度平衡，以及最优目标值对边界小幅变化的敏感程度。

在建模时，手工权重决定目标函数怎样评价结果；乘子则由求解过程结合约束条件求出。例如，改变目标中某个误差项的权重，会改变 $f$；更新 $\lambda$ 会改变最优性方程中约束梯度的系数，原来的 $f$ 和约束要求保持不变。

7.7 从最优性条件进入数值求解

本章说明了变量与乘子在候选最优点应满足的关系。$x$ 描述实际的解，$\lambda$ 和 $\nu$ 描述各约束梯度如何参与平衡。求解器需要把这些未知量一起确定下来。

第 7 章给出求解希望达到的条件，第 8 章开始介绍逼近这些条件的计算形式。 在迭代中，当前位置和乘子通常还不能同时满足全部条件。后面的算法需要计算这些条件的误差，据此求出修正方向，并检查更新后的结果。

接下来，第 8 章会把 KKT 条件与第 5 节的障碍参数 $\mu$ 连接起来：先建立固定 $\mu$ 时的变量与乘子方程，再为后续的迭代计算和 $\mu$ 更新作准备。

下一章内容：
【机器人感知运控笔记四】理解 IPOPT：原始—对偶内点法与二阶信息

如果感兴趣，欢迎留言讨论。