局部函数和嵌套函数

函数可以作为局部函数或嵌套函数存在于其他文件中。使用局部函数或嵌套函数可以减少保存的不同文件的数量。使用嵌套函数还允许您访问额外的参数，如嵌套函数中所示。

例如，假设您要在非线性约束中所述的 ellipseparabola.m 约束条件下对函数文件中所述的 myObjective.m 目标函数进行最小化。您不必编写两个文件 myObjective.m 和 ellipseparabola.m，而只需编写一个将这两个函数作为局部函数包含在其中的文件：

function [x fval] = callObjConstr(x0,options)
% Using a local function for just one file

if nargin < 2
    options = optimoptions('fmincon','Algorithm','interior-point');
end

[x fval] = fmincon(@myObjective,x0,[],[],[],[],[],[], ...
    @ellipseparabola,options);

function f = myObjective(xin)
f = 3*(xin(1)-xin(2))^4 + 4*(xin(1)+xin(3))^2/(1+sum(xin.^2)) ...
    + cosh(xin(1)-1) + tanh(xin(2)+xin(3));

function [c,ceq] = ellipseparabola(x)
c(1) = (x(1)^2)/9 + (x(2)^2)/4 - 1;
c(2) = x(1)^2 - x(2) - 1;
ceq = [];

从点 [1;1;1] 开始求解有约束最小化问题：

[x fval] = callObjConstr(ones(3,1))

Local minimum found that satisfies the constraints.

Optimization completed because the objective function is 
non-decreasing in feasible directions, to within the default 
value of the function tolerance, and constraints are satisfied 
to within the default value of the constraint tolerance.

x =
    1.1835
    0.8345
   -1.6439

fval =
    0.5383

为求解器提供导数

对于 fmincon 和 fminunc，您可以在目标函数中包含梯度。一般情况下，当包含梯度时，求解器更稳健，速度也会有所提升。请参阅包含导数的好处。要同时包括二阶导数（Hessian 矩阵），请参阅包含 Hessian 矩阵。

下表显示哪些算法可以使用梯度和 Hessian 矩阵。

如何包含梯度

例如，假设有以下 Rosenbrock 函数

在使用优化实时编辑器任务或求解器的有约束非线性问题中对该函数进行了说明和绘图。f(x) 的梯度为

rosentwo 是条件化函数，可返回求解器所需的任何内容：

function [f,g] = rosentwo(x)
% Calculate objective f
f = 100*(x(2) - x(1)^2)^2 + (1-x(1))^2;

if nargout > 1 % gradient required
    g = [-400*(x(2)-x(1)^2)*x(1)-2*(1-x(1));
        200*(x(2)-x(1)^2)];
    
end

nargout 检查调用函数指定的参数个数。请参阅查找函数参数的数量。

为无约束优化设计的 fminunc 求解器允许您最小化 Rosenbrock 函数。通过设置 options 让 fminunc 使用梯度和 Hessian 矩阵：

options = optimoptions(@fminunc,'Algorithm','trust-region',...
    'SpecifyObjectiveGradient',true);

从 [-1;2] 开始运行 fminunc：

[x fval] = fminunc(@rosentwo,[-1;2],options)
Local minimum found.

Optimization completed because the size of the gradient
is less than the default value of the function tolerance.

x =
    1.0000
    1.0000

fval =
  1.9886e-17

如果您有 Symbolic Math Toolbox™ 许可证，您可以自动计算梯度和 Hessian 矩阵，如Calculate Gradients and Hessians Using Symbolic Math Toolbox中所述。

包含 Hessian 矩阵

您可以使用 fmincon 'trust-region-reflective' 和 'interior-point' 算法以及 fminunc 'trust-region' 算法来包含二阶导数。根据信息的类型和算法，可通过几种方法来包括 Hessian 矩阵信息。

您还必须包含梯度（将 SpecifyObjectiveGradient 设置为 true，如果适用，还必须将 SpecifyConstraintGradient 设置为 true）以便包含 Hessian 矩阵。

• 适用于 fminunc 信赖域或 fmincon 信赖域反射算法的 Hessian 矩阵

• 适用于 fmincon 内点算法的 Hessian 矩阵

• Hessian 矩阵乘法函数

适用于 fminunc 信赖域或 fmincon 信赖域反射算法的 Hessian 矩阵.  这些算法要么没有约束，要么只有边界或线性等式约束。因此，Hessian 矩阵是由目标函数的二阶导数组成的矩阵。

包含 Hessian 矩阵作为目标函数的第三个输出。例如，Rosenbrock 函数的 Hessian 矩阵 H(x) 如下（请参阅如何包含梯度）

在目标中包含此 Hessian 矩阵：

function [f, g, H] = rosenboth(x)
% Calculate objective f
f = 100*(x(2) - x(1)^2)^2 + (1-x(1))^2;

if nargout > 1 % gradient required
    g = [-400*(x(2)-x(1)^2)*x(1)-2*(1-x(1));
        200*(x(2)-x(1)^2)];
    
    if nargout > 2 % Hessian required
        H = [1200*x(1)^2-400*x(2)+2, -400*x(1);
            -400*x(1), 200];  
    end

end

将 HessianFcn 设置为 'objective'。例如，

options = optimoptions('fminunc','Algorithm','trust-region',...
    'SpecifyObjectiveGradient',true,'HessianFcn','objective');

适用于 fmincon 内点算法的 Hessian 矩阵.  该 Hessian 矩阵是拉格朗日函数的 Hessian 矩阵，其中 L(x,λ) 是

g 和 h 是向量函数，分别表示所有不等式和等式约束（指有界、线性和非线性约束），因此最小化问题的公式为

有关详细信息，请参阅受约束的最优性理论。拉格朗日方程的 Hessian 矩阵公式为

要包含 Hessian 矩阵，请用以下语法编写函数

hessian = hessianfcn(x,lambda)

hessian 是 n×n 矩阵（稀疏或稠密），其中 n 是变量的数目。如果 hessian 很大并且非零项相对较少，请将 hessian 表示为稀疏矩阵，以节省运行时间和内存。lambda 是具有与非线性约束相关联的拉格朗日乘数向量的结构体：

lambda.ineqnonlin
lambda.eqnonlin

fmincon 计算结构体 lambda，并将其传递给您的 Hessian 函数。hessianfcn 必须计算公式 1 中的总和。通过设置以下选项表明您提供了 Hessian 函数：

options = optimoptions('fmincon','Algorithm','interior-point',...
    'SpecifyObjectiveGradient',true,'SpecifyConstraintGradient',true,...
    'HessianFcn',@hessianfcn);

例如，要针对 Rosenbrock 函数包含 Hessian 矩阵（约束为单位圆盘 $$x_1^2+x_2^2\le 1$$），请注意约束函数 $$g(x)=x_1^2+x_2^2-1\le 0$$ 具有梯度和二阶导数矩阵

将 Hessian 函数写成

function Hout = hessianfcn(x,lambda)
% Hessian of objective
H = [1200*x(1)^2-400*x(2)+2, -400*x(1);
            -400*x(1), 200];
% Hessian of nonlinear inequality constraint
Hg = 2*eye(2);
Hout = H + lambda.ineqnonlin*Hg;

将 hessianfcn 保存到 MATLAB 路径。为了完成此示例，包含梯度的约束函数为

function [c,ceq,gc,gceq] = unitdisk2(x)
c = x(1)^2 + x(2)^2 - 1;
ceq = [ ];

if nargout > 2
    gc = [2*x(1);2*x(2)];
    gceq = [];
end

求解包括梯度和 Hessian 矩阵的问题。

fun = @rosenboth;
nonlcon = @unitdisk2;
x0 = [-1;2];
options = optimoptions('fmincon','Algorithm','interior-point',...
    'SpecifyObjectiveGradient',true,'SpecifyConstraintGradient',true,...
    'HessianFcn',@hessianfcn);
[x,fval,exitflag,output] = fmincon(fun,x0,[],[],[],[],[],[],@unitdisk2,options);

有关使用内点 Hessian 矩阵的其他示例，请参阅使用解析 Hessian 函数的 fmincon 内点算法和 Calculate Gradients and Hessians Using Symbolic Math Toolbox。

Hessian 矩阵乘法函数.  fmincon interior-point 和 trust-region-reflective 算法都允许您提供 Hessian 矩阵乘法函数，而无需提供完整的 Hessian 函数。此函数给出 Hessian 矩阵乘以向量的乘积结果，而不直接计算 Hessian 矩阵。这可以节省内存。SubproblemAlgorithm 选项必须为 'cg'，Hessian 矩阵乘法函数才能发挥作用；这是 trust-region-reflective 的默认值。

这两种算法的语法不同。

包含导数的好处

如果您不提供梯度，求解器会通过有限差分来估计梯度。如果提供梯度，则求解器不需要执行这种有限差分估计，从而可以节省时间且结果更准确，但对于复杂导数来说，有限差分估计可能更快。此外，求解器使用逼近的 Hessian 矩阵，它可能与真实的 Hessian 矩阵相差甚远。提供 Hessian 矩阵可以用更少的迭代次数来生成解。有关示例，请参阅Calculate Gradients and Hessians Using Symbolic Math Toolbox 的末尾部分。

对于约束问题，提供梯度还有另一个优势。求解器可以到达一个点 x，这说明 x 是可行点，但对于此处的 x，x 附近的有限差分总是导致不可行点。进一步假设在不可行点处的目标函数返回复数输出、Inf、NaN 或错误。在这种情况下，求解器可能会失败或过早停止。提供梯度可允许求解器继续。要获得此优势，您可能还需要包括非线性约束函数的梯度，并将 SpecifyConstraintGradient 选项设置为 true。请参阅非线性约束。

为内点 fmincon 选择输入 Hessian 矩阵逼近方法

fmincon interior-point 算法提供了许多选项用来选择输入 Hessian 矩阵逼近方法。有关语法详细信息，请参阅作为输入的黑塞矩阵。以下是选项以及对其相对特征的估计。

请使用默认的 'bfgs' Hessian 矩阵，除非您

'lbfgs' 只有中等效率的原因是需要进行双倍计算。它采用计算成本相对高昂的 Sherman-Morrison 更新。由于 'lbfgs' 有内存使用限制，得到的迭代步可能不够准确。

'fin-diff-grads' 和 HessianMultiplyFcn 只有中等效率的原因是它们使用共轭梯度法。它们能准确估计目标函数的 Hessian 矩阵，但它们不生成最准确的迭代步。有关详细信息，请参阅fmincon 内点算法，及其关于求解公式 38 的 LDL 方法和共轭梯度法的讨论。