Issuu on Google+

第六章

应用案例

在第一章、第四章和第五章中我们已经给出线性锥规划的部分应用问 题, 本章进一步提供一些应用问题, 以加深对线性锥规划理论的了解. 第一 节基于不同范数的选择, 给出描述线性方程组近似解的不同目标和模型, 其 涉及到线性规划、二阶锥规划和半定规划. 第二节根据投资管理问题中有 关风险和效益的不同目标要求, 建立相应的模型并写成等价的二阶锥规划 模型, 继而在收益系数不确定的的情况下, 讨论了投资管理的鲁棒优化模 型. 第三节主要讨论单变量的多项式优化问题, 给出了半定规划的求解方 案. 第四节在鲁棒优化的考量下, 分别建立了线性规划和凸二次约束二次规 划的二阶锥和半定规划模型. 第五节指出协正矩阵的判别不是一个可计算 的问题, 但可以采用非负二次函数锥规划的逼近方法近似求解, 并给出求解 方法和示例. 我们这一章的主要工作是将原有的优化问题转化成等价的线性锥规划 模型, 然后交予公开的计算软件计算. 至于问题理论上是否可解, 本章并没 有全部回答. 实际应用中, 应该根据数据的具体情况, 通过第四章和第五章 的理论结果给出问题可解的结论, 再进行计算. 有关可计算线性锥规划一些 公开算法和使用, 请参考第七章.

第一节 线性方程组的近似解 线性方程组的近似解 (approximating solution of linear equations)定义 为: 给定 A ∈ M(m, n) 和 b ∈ Rm , 求使得 Ax = b 尽可能满足的近似解. 问题的提出源于实际问题的需要, 假设我们已知一个问题的因果关系 服从线性函数关系, 但对其系数只能通过大量数据估计出, 比如统计学中的 231


第一节 线性方程组的近似解

第六章

应用案例

线性回归模型中的回归系数, 物理学中的弹簧的拉力与变化长度的胡克定 律 (Hooke’s law)中的胡克系数等问题. A 和 b 中的参数通常有这样的背景, m 为数据的样本量, n 为待确定变量个数, A 的系数通过实际数据处理而形 成, b 为输出的测出值. 由于需要经过大量的数据而确定待定系数, 常常会 出现 m 远远大于 n 的情形, 这时 Ax = b 变成了超定的方程组. 因此, 我们 希望求解尽量满足 Ax = b 规律的近似解. 如对胡克定律, 我们发现弹簧的 拉力 F 与变化长度 l 有如下关系 F = −kl, 其中 k 称为胡克常数, 是需要 确定的一个常数. 通常通过多次的物理实验得到多个 (l, F ) 数据对而最后 确定 k. 在 数 据 处 理 过 程 中, 根 据 不 同 的 需 要 可 以 给 出 不 同 目 标 函 数 使 得 Ax = b 尽可能满足. 最为直观的是 l1 范数 (l1 norm)模型, 实用中较为常见 的是最小二乘方法 (least square method), 根据实际的需求又产生了 l∞ 范 数 (l∞ norm)和对数近似 (logarithm approximation)等不同的近似解模型. 下面将逐一介绍.

l1 范数模型 l1 范数的基本模型为 min ∥Ax − b∥1

(6.1)

x∈Rn

其中 A ∈ M(m, n) 和 b ∈ Rm 为给定的常数, 定义 ∥y∥1 = Rm .

∑m i=1

| yi |, y ∈

这个模型最为直观, 偏差的大小 ∥Ax − b∥1 与 b 都采用同一个量纲, 但 ∥Ax − b∥1 对于 x 是一个非光滑函数. 从优化的角度来看 (6.1) 等价如下模 型 ∑m min i=1 ti ∑ s.t. −ti ≤ nj=1 aij xj − bi ≤ ti , i = 1, 2, . . . , m n T m x ∈ R , (t1 , t2 , . . . , tm ) ∈ R+ ,

(6.2)

其中 A = (aij ), b = (b1 , b2 , . . . , bm )T . 这是一个线性规划模型, 据此处理了 ∥Ax − b∥1 对于 x 非光滑的问题, 同时也说明本问题可计算. 232


第六章

应用案例

第一节

线性方程组的近似解

l2 范数模型 l2 范数的基本模型为 min ∥Ax − b∥2 ,

x∈Rn

其中定义 ∥y∥2 =

√∑m i=1

(6.3)

yi2 , y ∈ Rm .

上述模型常称为最小二乘模型, 由二阶锥的定义, 可知其等价于如下的 优化模型 min t( s.t.

Ax − b t

) ∈ Lm+1

(6.4)

x ∈ Rn , t ∈ R. 这是一个具有 (4.5) 形式的二阶锥规划不等式约束模型. 更深一个层次 的应用研究需要知道上述模型是否可解. 利用第四章的结果, 其对偶问题为 max bT y s.t. AT y = 0 s(= 1) y ∈ Lm+1 . s (

) ( ) y 0 明显可以看出 = ∈ int(Lm+1 ). 由原问题 (6.4) 可行解集 s 1 非空及对偶模型的定义得知, 上述对偶问题有上界. 综上并由定理4.8得知 (6.4) 可解, 并且原始对偶问题有强对偶性. 非常直观, 当 A 的行向量满秩 时, AT y = 0 有唯一的解 y = 0, 其目标值为 bT y = 0. 由强对偶性得到原问 题的最小二乘解为精确解. 这与线性代数理论完全吻合.

l∞ 范数模型 l∞ 范数的基本模型为 min ∥Ax − b∥∞

x∈Rn

233

(6.5)


第一节 线性方程组的近似解

第六章

应用案例

其中定义 ∥y∥∞ = max1≤i≤m | yi |, y ∈ Rm . 其等价线性规划模型如下: min t ∑ s.t. −t ≤ nj=1 aij xj − bi ≤ t, i = 1, 2, . . . , m x ∈ Rn , t ∈ R+ .

(6.6)

∑ 比较 l1 和 l∞ 范数模型, 前者认为每一组数据的偏差 | nj=1 aij xj − bi | ∑ 的受关注的程度相同, 因此要求总体和 m i=1 ti 最小. 而后者则要求 |

n ∑

aij xj − bi |, i = 1, 2, . . . , m

j=1

中最大的偏差最小, 更关注个体的绝对偏差的控制.

对数范数模型 将 b = (b1 , b2 , . . . , bm )T 的分量按非递减顺序排列并画出这 m 个点的 图, 当发现 b 的取值范围过大且数值呈现指数函数的图形时, 我们可以采用 ∑ 预处理的方法而考虑 log bi 和 log( nj=1 aij xj ) 的偏差作为评价的指标, 此 ∑ 时要求数据满足 bi > 0 和 nj=1 aij xj > 0. 对数范数模型为 n ∑ minn max | log( aij xj ) − log bi | .

x∈R 1≤i≤m

(6.7)

j=1

上述模型是依据 l∞ 范数的逻辑而建立, 可以写成如下等价的模型 min t

∑n

aij xj

≤ j=1bi ≤ t, i = 1, 2, . . . , m n x ∈ R , t ∈ R++ . 1 t

s.t.

(6.8)

进一步可写成下列半定规划等价模型 min t   s.t. 

t−

∑n j=1

aij xj

bi

0 0 n x ∈ R , t ∈ R+ .

∑n

0

0

aij xj bi

j=1

1

234

 3 1  ∈ S+ , i = 1, 2, . . . , m t

(6.9)


第六章

应用案例

第一节

线性方程组的近似解

如果想进一步从理论上研究上述半定规划问题的可解性, 则第四章的 半定规划理论可以提供充分条件. 先将其写成形如 (4.11) 的半定规划不等 式形式为 min t ∑n 3m s.t. j=1 Aj xj + A0 t − D ∈ S+ x ∈ Rn , t ∈ R+ , 其中

       Aj =      

a

− b1j1 0 0 ... 0 0 0 

      A0 =              −D =      

0

0 a1j 0 b1 0 0 ... ... 0 0 0 0 0 0

... 0 ... 0 ... 0 ... ... a . . . − bmj m ... 0 ... 0

 0 0  0 0   0 0    ... ... ,  0 0   amj  0  bm 0 0

1 0 0 0 0 0 0 0 1 ... ... ... 0 0 0 0 0 0 0 0 0

 ... 0 0 0  ... 0 0 0   ... 0 0 0    ... ... ... ... ,  ... 1 0 0   ... 0 0 0   ... 0 0 1

0 0 0 0 0 1 0 1 0 ... ... ... 0 0 0 0 0 0 0 0 0

 ... 0 0 0  ... 0 0 0   ... 0 0 0    ... ... ... ... .  ... 0 0 0   ... 0 0 1   ... 0 1 0

注意上式与 (4.11) 形式的微小差别, 按 (4.11) 要求, 需要满足 x ∈ Rn+ . 在 目前的条件下, 观察导出 (4.12) 的共轭对偶过程, 得到对偶问题中 xi 变量 对应的约束由不等式号变成等号, 即为 235


第二节 投资管理问题

第六章

应用案例

max D • Y s.t. Aj • Y = 0, j = 1, 2, . . . , n A0 • Y ≤ 1 Y ∈ S+3m . 3m 明显, 可以选充分小的 ϵ > 0 使得 Y¯ = ϵI ∈ S++ 且 A0 • Y¯ < 1. 在原 问题假设可行解集非空的假设下, 由定理3.22得知 (6.9) 模型可解.

根据以上讨论得知, 要分析一个线性锥规划问题是否可解, 我们可利用 对偶模型和共轭对偶理论给出可解性的充分条件. 针对每一个具体的计算 实例, 该例的可解性需要具体模型具体分析. 为了突显问题的建模过程, 在 以下应用问题的介绍中我们会省略模型是否可解这一部分的分析, 读者可 以根据需要自行补足.

第二节

投资管理问题

面对着投资市场上成千上万的投资机会以及瞬息万变的投资环境, 投资者最关心的问题自然是投资收益率的高低及投资风险的大小, 这就 产生了投资管理 (portfolio management)问题. 早在 1952 年, Harry M. Markowitz[35] 将数理统计方法引入了资产组合选择的研究中, 第一次给出 了风险和收益的量化定义. 其基本假定是(i)所有投资者都是风险规避 的;(ii)所有投资者处于同一单期投资期;(iii)投资者根据收益率的均 值和方差选择投资组合, 使其在给定风险水平下期望收益率最高, 或者在给 定的期望收益率水平下风险最小. 假定投资者有 n 种投资选择, 投资的期望收益率为 b ∈ Rn++ . 假设每两 种投资产品之间的期望收益率相关, 则组合投资的期望收益率存在一个半 正定协方差矩阵 V . 若投资者对每种产品的投资百分比为 x ∈ Rn+ , 第一类 模型可以归结为:在满足一定的收益条件下最小投资风险, 模型如下: min xT V x s.t. bT x ≥ µ eT x = 1 x ∈ Rn+ , 236

(6.10)


第六章

应用案例

第二节 投资管理问题

其中, e = (1, 1, . . . , 1)T , µ 为给定的收益下界. 以 xT V x 最小为目标, 表示 投资的产品间相关性越小, 风险就越小. 由于 V 是一个半正定矩阵, 因此上述模型为一个凸二次规划问题. 当 变形为 min t s.t. xT V x ≤ t bT x ≥ µ eT x = 1 x ∈ Rn+ , t ∈ R, 由第四章第二节二阶锥可表示函数的二次凸函数的结论, 可知其等价于如 下一个二阶锥规划问题 min t   s.t. 

Bx 1−t 2 1+t 2

   ∈ Ln+2 (6.11)

bT x ≥ µ eT x = 1 x ∈ Rn+ , t ∈ R, 其中 V = B T B, B ∈ M(n, n). 实际上根据 V 的秩, 可以进一步将 (6.11) 的第一个约束精细为   Bx  1−t  r+2  2 ∈L , 1+t 2

其中 r = rank(V ), V = B T B, B ∈ M(r, n). 另一个情景是将最大风险控制在 ν 以下的最大化收益投资问题 max bT x s.t. xT V x ≤ ν eT x = 1 x ∈ Rn+ . 237

(6.12)


第二节 投资管理问题

第六章

应用案例

可以写成如下的等价模型 max bT x   Bx   ∈ Ln+2 s.t.  1−ν 2  1+ν 2

(6.13)

eT x = 1 x ∈ Rn+ . 当然, 我们还关心在满足一定收益的条件下,单位收益风险最小的第 三类模型 T

min xbTVxx s.t. bT x ≥ µ eT x = 1 x ∈ Rn+ .

(6.14)

由第四章第二节二阶锥可表示函数的分式函数结论, (6.14) 可等价地写 成下列二阶锥规划模型 min t   s.t. 

Bx t−s 2 t+s 2

   ∈ Ln+2

bT x − s = 0 eT x = 1 s≥µ x ∈ Rn+ , s, t ∈ R.

(6.15)

注意到前面假设投资期望收益率 b 为确定常数, 我们可以考虑在另 一类较为实际的环境中, b 为一个不确定的收益率, 但落在 B = {b0 + ∑p j | ∥w∥2 ≤ 1} 区域中变化. 上述区域中, b0 ∈ Rn 为常数, 表示收 j=1 wj v 益率的中间点;p 为引起收益率不确定的主因素个数;v j 表示第 j 个主因 素的变化的规范化向量且 {v j , j = 1, 2, . . . , p} 线性无关. B 的几何直观是 p 维仿射空间的一个以 b0 为中心点, {v j , j = 1, 2, . . . , p} 为轴方向和轴长度 ∥v j ∥2 的椭球. 在以上的不确定环境下, 可以考虑一个最低收益不低于 µ 的 238


第六章

应用案例

第二节 投资管理问题

鲁棒投资管理 (robust portfolio management)问题 min xT V x s.t. minb∈B bT x ≥ µ eT x = 1 x ∈ Rn+ ,

(6.16)

其中 V 和 e 的定义与 (6.10) 中相同. 注意 (6.16) 中 p ∑

min b x ≥ µ ⇔ (b ) x + min T

0 T

∥w∥2 ≤1

b∈B

wj (v j )T x ≥ µ.

j=1

( )T 将 w 看成变量且要求 ∥w∥2 ≤ 1, 则知其在方向 − (v 1 )T x, (v 2 )T x, . . . , (v p )T x 且长度为 1 的点取得最小值. 记 Q = (v 1 , v 2 , . . . , v p ), 则 min

∥w∥2 ≤1

p ∑

wj (v j )T x = −

xT QQT x.

j=1

因此可知 min bT x ≥ µ ⇔

b∈B

xT QQT x ≤ (b0 )T x − µ.

根据与 (6.10) 化成二阶锥规划模型 (6.11) 相同的原理, (6.16) 等价于 如下的一个二阶锥规划问题 min t   s.t.  ( s.t.

Bx 1−t 2 1+t 2

   ∈ Ln+2

QT x (b0 )T x − µ

)

(6.17) ∈ Lp+1

eT x = 1 x ∈ Rn+ . 到此, 我们发现投资管理中一定收益条件下的风险最小化、风险控制 下的收益最大化、单位收益风险最小化和鲁棒投资优化管理等四类模型都 可化成了二阶锥规划模型, 并都是可计算问题. 239


第三节 单变量多项式优化

第三节

第六章

应用案例

单变量多项式优化

单变量 x 的 n 阶多项式可表示为 p(x) = an xn + an−1 xn−1 + · · · + a1 x + a0 , 其中, ai ∈ R, i = 0, 1, 2, . . . , n. 明显看出, 当 n 为奇数且 an ̸= 0 时, p(x) 在 R 无上下界. 当 n 为偶数且 an ̸= 0 时, p(x) 依据 an 的符号, 有下界或上 界. 下面仅考虑当 n 为偶数且 an > 0 时的情形, 此时 p(x) 有下界. 考虑下 列的优化问题 min p(x) s.t. x ∈ R,

(6.18)

其中 p(x) = x2n + a2n−1 x2n−1 + · · · + a1 x + a0 . 上述模型可等价写成 max t s.t. p(x) ≥ t, ∀x ∈ R t ∈ R.

(6.19)

这是一种半无限规划模型的描述. 如果我们能够求解到 (6.18) 问题的最小值, 记成 r0 , 则有 p(x) − r0 ≥ 0, ∀x ∈ R. 此时, 可用一些常见的迭代方法, 如 Newton 迭代方法 (参考 [23]), 去求解 p(x) − r0 = 0 的解. ∑ 当 p(x) = ri=1 qi (x)2 时, 其中 qi (x) 为多项式, r ≥ 1 为整数, 则称 p(x) 可以表示成多项式的平方和 (sum of squares). 明显可以看出, 当 p(x) 可以表示成多项式的平方和时, 则有 p(x) 为偶数阶多项式且 p(x) ≥ 0 对 ∀x ∈ R 成立, 此时其为一个非负多项式 (nonnegative polynomial). 反之, 当 p(x) 为一个 n 阶非负多项式时, 可知 n 为偶数且 an > 0. 进一步, 由 p(x) 为 R 上的连续函数, 当 x 趋于 ±∞ 时 p(x) 趋于正无 穷. 因此, p(x) 的最小值可达并记可达点为 x0 和最小值为 r0 ≥ 0. 此 时, 由代数学基本定理得到 p(x) − r0 = q(x)(x − x0 )n0 ≥ 0 对 ∀x ∈ R 成 立, 其中 q(x0 ) ̸= 0. 由此推出, n0 ≥ 2 为偶数且 q(x) 为非负多项式. 注 意到当 q(x) 为二阶非负多项式时, 一定可以写成多项式平方和的形式. 再由归纳法假设任意一个阶数不超过 n − 1 的非负多项式可以写成多项 240


第六章

应用案例

第三节 单变量多项式优化

∑ 式平方和形式, 可记 q(x) = ri=1 qi (x)2 , 则 p(x) = q(x)(x − x0 )n0 + r0 = ∑r √ n0 /2 2 ) + ( r0 )2 , 即得到 p(x) 为多项式平方和. i=1 (qi (x)(x − x0 ) 总结上面的讨论, p(x) 为非负多项式的充分必要条件是其可以表示成 ∑ 多项式平方和形式. 当 2n 阶多项式 p(x) 写成平方和形式 ri=1 qi (x)2 时, 记 )T ( (q1 (x), q2 (x), . . . , qr (x))T = P 1, x, x2 , . . . , xn , 其中 P 为一个 n + 1 阶矩阵, 则有 ∑ p(x) = ri=1 qi (x)2 = (q1 (x), q2 (x), . . . , qr (x)) (q1 (x), q2 (x), . . . , qr (x))T = (1, x, x2 , . . . , xn )P T P (1, x, x2 , . . . , xn )T = (1, x, x2 , . . . , xn )X(1, x, x2 , . . . , xn )T , 此处 X = P T P 为一个 n + 1 阶的半正定矩阵. 反之, 任何一个上述形式的 多项式一定为非负多项式. 模型 (6.19) 中, 约束要求 p(x) − t = x2n + a2n−1 x2n−1 + · · · + a1 x + a0 − t 为非负多项式. 因此, 其模型等价为 max t s.t. x11 + t ∑

xij

= a0 = a2n−k , k = 1, 2, . . . , 2n − 1

i+j=2(n+1)−k

(6.20)

xn+1,n+1 =1 n+1 X = (xij ) ∈ S+ , t ∈ R. 上式是一个半定规划模型, 因此求解问题 (6.18) 的最小值就等价于线 性锥规划中的半定规划求解. 记上述问题的最优目标值为 t0 , 可再通过其它 的一些计算方法求非负多项式 p(x) − t0 的根. 上述单变量多项式的优化求解方法带来了对多变量的多项式最���化问 题求解的尝试. 一个多变量非负多项式能否写成平方和形式, 这是 David Hilbert(1862-1943)1900 年提出 23 个问题中的第 17 个. 1927 年匈牙利科 学家 Emil Artin(1898-1962) 给出一个否定的回答. 理论上的结果告知, 一 个多变量非负多项式虽不一定能写成多项式平方和形式, 但对给定的任何 非 0 精度, 可以通过一个多项式平方和逼近. 这也就给多项式优化的求解带 来了一丝光明. 2001 年, 文 [31] 采用平方和逼近多项式并用半定规划求解 的方法给出系统的求解多项式优化的计算方法. 当时也引起学术界的关注, 但计算效率的不理想又使得这方面的研究暂时告一段落. 241


第四节 鲁棒优化

第六章

应用案例

第四节 鲁棒优化 考虑如下线性规划问题

min cT x s.t. Ax ≥ b x ∈ Rn+ , 其中系数 c ∈ Rn , A ∈ M(m, n) 和 b ∈ Rm 为常数, 但因种种不确定因素我 们假设这些系数在某个范围内取值. 在第四章第二节已经建立了一个鲁棒 线性规划模型, 其基本原理就是求解决策变量使得约束对系数在不确定范 围内所有可能的变化情形下继续满足, 而使目标达到最小值, 这实际上是参 数最坏情形下的一个最优过程. 一般可以将鲁棒优化 (robust optimization)模型写成

min f (x) s.t. gi (x, ui ) ≤ 0, ∀ui ∈ Ui , i = 1, . . . , m x ∈ Rn ,

(6.21)

其中 f (x) 和 {gi (x, ui ), i = 1, 2, . . . , m} 为实函数, {Ui , i = 1, . . . , m} 为不 确定系数的变化范围. 需要特别注意, 模型中目标函数 f (x) 与不确定参数无关. 观察第四章 第二节建立的鲁棒线性规划模型可以发现, 目标函数中系数可以具有不确 定性, 不妨记 (6.21) 中目标函数写成 g(x, u0 ), u0 ∈ U0 , 但通过一个变形, 上 述模型可等价为一个目标函数与不确定系数无关的鲁棒优化模型:

min t s.t. g(x, u0 ) ≤ t, u0 ∈ U0 gi (x, ui ) ≤ 0, ∀ui ∈ Ui , i = 1, . . . , m x ∈ Rn , t ∈ R. 242


第六章

应用案例

第四节 鲁棒优化

鲁棒线性规划 (6.21) 问题中一类简单的模型为鲁棒线性规划问题, 其目标和约束函数 为决策变量的线性函数, 而系数具有不确定性. 此时模型如下: min cT x s.t. aTi x ≤ 1, 2, . . . , m { bi , i = } ∑ i ai ∈ vi0 + pj=1 uj vij | ∥u∥2 ≤ 1 , i = 1, 2, . . . , m

(6.22)

x ∈ Rn+ , 其中 pi 为造成第 i 个约束系数不确定的因素个数, {vij ∈ Rn , j = 0, 1, 2, . . . , pi } 为给定向量组, vi0 为第 i 个约束系数的中位值, {vij , j = 1, 2, . . . , pi } 为可变 化的度量, 一般要求它们线性无关, {uj , j = 1, 2, . . . , pi } 为不确定因素的变 化范围. 根据沿梯度方向上升速度最快的原则, 对任意 x ∈ Rn+ , 有 maxai ∈{v0 +∑pi i

j=1

uj vij | ∥u∥2 ≤1}

aTi x = =

max (vi0 )T x +

∥u∥2 ≤1 (vi0 )T x

∑pi j=1

uj (vij )T x

+ ∥((vi1 )T x, . . . , (vipi )T x)T ∥2 .

在系数的不确定变化范围内, 鲁棒优化要求约束继续满足, 故知 ∑i aTi x ≤ bi , ∀ai ∈ {vi0 + pj=1 uj vij | ∥u∥2 ≤ 1} ⇔ ∥((vi1 )T x, . . . , (vipi )T x)T ∥2 ≤ bi − (vi0 )T x. 于是 (6.22) 等价为如下的二阶锥规划模型 min cT x   s.t.   

(vi1 )T x .. .

(vipi )T x bi − (vi0 )T x x ∈ Rn+ .

    ∈ Lpi +1 , i = 1, . . . , m  

243


第四节 鲁棒优化

第六章

应用案例

鲁棒凸二次约束二次规划 考虑如下的鲁棒凸二次约束二次规划问题 min dT x s.t. 12 xT ATi Ai x +{fiT x + ci ≤ 0, i = 1, 2, . . . , m, } ∑pi j j j 0 0 0 (Ai , fi , ci ) ∈ (Ai , fi , ci ) + j=1 uj (Ai , fi , ci ) | ∥u∥2 ≤ 1 , x ∈ Rn , 其中 d ∈ Rn 为给定系数, pi 为影响第 i 个约束中系数变化的因素个数;对 i = 1, 2, . . . , m, Ai ∈ M(q, n), fi ∈ Rn 和 ci ∈ R 为不确定系数;对给定 j = 0, 1, 2, . . . , pi , Aji ∈ M(q, n), fij ∈ Rn 和 cji ∈ R 为给定常数. 上述模型中, 假设 m 个约束间的系数不确定性是相互独立的, 即第 i 个约束中的系数单独变化, 只与中位值 (A0i , fi0 , c0i ) 和各个方向的最大量 {(Aji , fij , cji ), j = 1, 2, . . . , pi } 有关. 这些数据可以通过实验或其他的方法估 计得到. 就第 i 个约束而言, 记 Ui (x) = (A0i x, A1i x, . . . , Api i x) 和    Vi (x) =   

2c0i + 2(fi0 )T x c1i + (fi1 )T x · · · cpi i + (fipi )T x 0 c1i + (fi1 )T x .. ... . cpi i + (fipi )T x

   ,  

0

则对任意 ∥u∥2 ≤ 1, 有 + fiT x + ci ≤ 0 ( ) ( )T ( ) 1 1 1 1 1 1 ⇔ 2 UiT (x)Ui (x) +2 Vi (x) ≤0 u u u u ( )T ( ) [ ] 1 1 ⇔ 21 UiT (x)Ui (x) + Vi (x) ≤0 u u 1 T T x A Ax 2 ( i )i T

⇔ −UiT (x)Ui (x) − Vi (x) ∈ DG , 其中 G = {u ∈ Rpi | ∥u∥2 ≤ 1} 且 DG 正是第四章第四节定义的非负二次函 数锥. 244


第六章

应用案例

第五节 协正锥的判定

由第五章第一节椭球约束情形的定理5.2得到 −UiT (x)Ui (x) − Vi (x) ∈ DG

(

) −1 0 ∈ S+n+1 0 I 

⇔ ∃λi ≥ 0 使得 − UiT (x)Ui (x) − Vi (x) + λi ( )  −1 0 UiT (x)   −Vi (x) + λi 2n+1 ⇔ ∃λi ≥ 0 使得  0 I  ∈ S+ . Ui (x) I 据此, 我们得到鲁棒凸二次约束二次规划的一个半定规划模型 min dT x 

(

 −Vi (x) + λi s.t.  Ui (x) n x ∈ R , λ ∈ Rm +.

−1 0 0 I

第五节

)

 UiT (x)  2n+1  ∈ S+ , i = 1, 2, . . . , m I

协正锥的判定

协正锥 (copositive cone)定义为 { } Cn = M ∈ S n | xT M x ≥ 0, ∀x ∈ Rn+ . 不难验证, S+n+1 ⊆ Cn+1 ⊆ DRn+ . 因此, 通过协正锥可以描述更多的优化问题, 具体应用可以参考综述性文献 [4, 5, 9]. 判断一个矩阵不是协正矩阵为 NP 完全 [37], 因此, 与协正锥有关的优化问题近似求解也就成为一个研究方向. 本节将借鉴第五章非负二次函数锥规划问题的理论和近似计算方法, 通过 近似计算判断一个矩阵是否为协正. 本节主要内容是文 [8] 工作的总结. 明显可见, 当一个矩阵 M ∈ S n 是协正的, 则下列优化问题目标值非 负. vc = min s.t.

xT M x { } x ∈ F = x ∈ Rn | eT x = 1, x ≥ 0 .

(6.23)

反之, 当上述优化问题非负, 则由 F 为有界闭集, 得知其最小值可达 且 x M x ≥ 0, ∀x ∈ F . 对任何 y ∈ Rn+ , 当 y = 0 时, 明显有 y T M y = 0, 否 T

245


第五节 协正锥的判定

第六章

应用案例

∑ ∑ 则可记 y = ( ni=1 yi ) ∑ny yi = ( ni=1 yi )z, 其中 z ∈ F. 由此得到 y T M y = i=1 ∑ ( ni=1 yi )2 z T M z ≥ 0. 综上可知, M 为协正矩阵的充要条件为优化问题 (6.23) 目标值非负. 优化问题 (6.23) 可看成一个二次规划问题, 本节的主要工作是采用非 负二次函数锥规划的理论, 通过近似计算的方法给出判定协正矩阵的算法. 算法的主要框架类似第五章第三节的近似算法, 详细的推导过程和算法构 造的想法可参考 [8]. 应用非负二次函数锥规划的理论并考虑冗余约束 eT x = 1, 我们得到与 (6.23) 目标值相同的非负二次函数锥规划及其对偶模型, 分别如下: max σ ( s.t.

−σ 0 0 M

)

( +µ

−2 eT e 0

) ∈ DF

(6.24)

σ, µ ∈ R 和 min H0 • Y s.t. y(11 = 1 ) −2 eT •Y =0 e 0 ( 其中 H0 =

0 0 0 M

(6.25)

Y = (yij ) ∈ DF∗ ,

)

∈ S n+1 .

将 eT x = 1 的冗余约束加入到模型中考虑, 并用 s 个椭球 { } n 1 T T n Gi = x ∈ R | x Bi x + bi x + di ≤ 0, Bi ∈ S++ , i = 1, 2, . . . , s, 2 覆盖 F, 其中 Gi ̸= ∅. 由第五章第三节的定理5.20和定理5.21分别得到如下 可计算线性锥规划及其对偶模型 max σ ( s.t.

−σ 0 0 M + λi

)

( +µ

(

2di bTi bi Bi

−2 eT e 0 )

µ ∈ R, σ ∈ R, λ ∈ Rs+ 246

)

∈ S+n+1 , i = 1, 2, ..., s

(6.26)


第六章

应用案例

第五节 协正锥的判定

和 min H0 • Y s.t. y(11 = 1 ) T 2 −e •Y =0 −e 0

(6.27)

Y 2 + · · · + Ys ( = Y1 + Y) 2di bTi • Yi ≤ 0, Yi ∈ S+n+1 , i = 1, 2, . . . , s. bi Bi 定理 6.1 若对 i = 1, 2, . . . , s 的每一个椭球 Gi = {x ∈ Rn | 12 xT Bi x + bTi x + n di ≤ 0, Bi ∈ S++ } 都存在一点 x¯i ∈ Rn 满足 eT x¯i = 1 且 21 (¯ xi )T Bi x¯i + bTi x¯i + di < 0, 则 (6.26) 和 (6.27) 的对偶间隙为零且都可解. 证明:采用共轭对偶的理论来证明本定理. 令变换 Y = Y1 ( + Y2 + · · · + ) Ys

2di bTi • Yi , i = 1, 2, . . . , s bi Bi ) ( 1 0 = y11 = •Y 0 0 ( ) 2 −eT = •Y −e 0

ui = − us+1 us+2

(6.28)

us+3 = H0 • Y, { } U = (Y, u) ∈ S n+1 × Rs+3 | ui ≥ 0, i = 1, 2, . . . , s; us+1 = 1; us+2 = 0 , 和 { } K = (Y, u) ∈ S n+1 × Rs+3 | 满足 (6.28) 的关系且Yi ∈ S+n+1 , i = 1, 2, . . . , s . 不难验证, K 为一个锥, 且 (6.27) 可等价表示为 min us+3 ∩ s.t. (Y, u) ∈ U K. 再求共轭函数 h(Z, v) = max {Y • Z + uT v − us+3 } < +∞, (Y,u)∈U

247

(6.29)


第五节 协正锥的判定

第六章

应用案例

得到 { } V = (Z, v) ∈ S n+1 × Rs+3 | Z = 0, vi ≤ 0, i = 1, 2, . . . , s; vs+3 = 1 和 V 上定义的共轭函数 h(Z, v) = vs+1 . 更进一步推出 K 的对偶锥为  ( ) ( ) T  2d b 1 0  i i n+1  × Rs+3 | Z − vi + vs+1   (Z, v) ∈ S b B 0 0 i i ∗ ) ( K = T  2 −e   + vs+2 + H0 vs+3 ∈ S+n+1 , i = 1, 2, . . . , s   −e 0

          

.

整理后可得到 (6.27) 的对偶模型 (6.26). 由于 x¯i 是椭球 Gi 的内点, 所以存在 Gi 内的 n + 1 个仿射线性无 ∑n+1 关的点 {¯ xij , j = 1, . . . , n + 1} 使得 x¯i = ¯ ij x¯ij , 其中 α ¯ ij > 0 对 j=1 α ∑n+1 j = 1, . . . , n + 1 成立且 j=1 α ¯ ij = 1. 对 i = 1, . . . , s, 考虑矩阵 1∑ α ¯ ij Y¯i = s j=1 n+1

(

1 x¯ij

)(

1 x¯ij

)T .

) 2 −eT • Y¯i = 0 对 i = 1, . . . , s 成 立. 由 {¯ xij , j = 容易验证 −e 0 n+1 对 1, ..., n + 1} 为仿射线性无关得到 rank(Y¯i ) = n + 1, 进而得知 Y¯i ∈ S++ ∑ s ¯ ¯ ¯ i = 1, . . . , s 成立. 令 Y = i=1 Yi , u¯ 由 {Yi , i = 1, 2, . . . , s} 带入到 (6.28) 计算得到, 则知 (Y¯ , u¯) 为 U 的相对内点, 再按定理2.16得知 (Y¯ , u¯) 为 K 的 (

相对内点. n+1 对 (6.26) 中的任意矩阵 M 和 µ 和对角占优的性质, ¯, 由于 Bi ∈ S++ ¯ 故存在充分大 λi > 0 和充分小 σ ¯ ∈ R 使得 ( ) ( ) T −¯ σ 0 2 −e S¯ = +µ ¯ 0 M −e 0

满足

( ¯i S¯ + λ

ci (bi )T bi Bi

) n+1 , i = 1, . . . , s. ∈ S++

∩ 由此证明 V K∗ ̸= ∅, 所以 (6.27) 和 (6.26) 都存在可行解. 再根据定 理3.22可得到强对偶和可解性的结论.  对 (6.27) 的最优解 Y ∗ = Y1∗ + · · · + Ys∗ , 记 I(Y ∗ ) = {i | Yi∗ ̸= 0}. 248


第六章

应用案例

第五节 协正锥的判定

推论 6.2 记 Y ∗ = Y1∗ + · · · + Ys∗ 为 (6.27) 的最优解, 当 Yi∗ ̸= 0 时, 则可分 解成 )T ( )( ni ∑ 1 1 Yi∗ = αij , ij x xij j=1 其中 ni ∈ {1, 2, ..., n + 1}, αij > 0, xij ∈ Gi . 进一步, Y ∗ 可分解成 ( )( )T ni ∑ ∑ 1 1 , Y∗ = αij ij ij x x ∗ i∈I(Y ) j=1 ∑

其中

i∈I(Y ∗ )

∑ni j=1

(6.30)

αij = 1 且 αij > 0, i ∈ I(Y ∗ ), j = 1, 2, . . . , ni .

上述推论为定理5.24的直接应用. 对于分解 (6.30), 我们称 x∗ = argmin{xij :i∈I(Y ∗ ); j=1,2,...,ni } ((xij )T M xij ) 为最敏感点. 记 t 为最敏感点 x∗ 对应的指标, t ∈ {1, 2, ..., s}, 则椭球 Gt 称 为最敏感椭球. 定理 6.3 假设 Y ∗ 为 (6.27) 的最优解且 x∗ 为分解的最敏感点, 则有 u∗ = (x∗ )T M x∗ ≤ vc .

(6.31)

若 u∗ ≥ 0, 则矩阵 M 是协正阵. 若 x∗ ∈ Rn+ 且 u∗ < 0, 则 M 不是协正阵. ( )( )T 1 1 特别当 x∗ ∈ F 时, 则 是 (6.25) 的最优解及 x∗ 是 (6.23) x∗ x∗ 的最优解. 证明:由 F 为有界闭集可得知 (6.23) 的 vc 有界. 更因为 ∑ ∑ i vc ≥ i∈I(Y ∗ ) nj=1 αij (xij )T M xij ∑ ∑ i ≥ i∈I(Y ∗ ) nj=1 αij (x∗ )T M x∗ = (x∗ )T M x∗ , 所以 (6.31) 成立. 由定理4.31可得知 (6.23)、(6.24) 和 (6.25) 具有相同的目标值. 又因 ∪ G = si=1 Gi 为 F 的覆盖, (6.27) 提供 vc 的一个下界, 所以当 u∗ ≥ 0 时可 得到 vc ≥ u∗ ≥ 0. 此时, 由协正阵的讨论得知 M 为协正矩阵. 249


第五节 协正锥的判定

第六章

应用案例

若 x∗ ∈ Rn+ 且 u∗ < 0, 则有 x¯ = x∗ /∥x∗ ∥1 ∈ F 且 x¯T M x¯ < 0. 这表明 M 不是协正矩阵. ( )( )T 1 1 若 x∗ ∈ F , 则知 Y ∗ = 是 (6.25) 的可行解, 且 x∗ x∗ (

1 x∗

)(

1 x∗

)T • H0 = (x∗ )T M x∗ ≤ vc .

因此, Y ∗ 是 (6.25) 的最优解且 x∗ 是 (6.23) 的最优解.  上述定理表明, 当 u∗ ≥ 0 或 x∗ ∈ Rn+ 时, 我们可以直接确定矩阵 M 是 否协正. 当 u∗ < 0 且 x∗ ∈ / Rn+ 时, 我们只能给出 (6.23) 的一个下界, 但无 法确定 M 是否协正. 这种情况下, 我们只能认为目前可行解集 F 的覆盖 ∪ G = si=1 Gi 还不够精细. 下一步的任务就是将最敏感点所在的椭球继续细 分. 依据这样思路得到一个自适应的算法. 由于计算的精度要求和迭代的 时间限制, 可能会重复出现 u∗ < 0 且 x∗ ∈ / Rn+ 的情形. 因此, 我们再给出如下的定义. 对给定的精度 ϵ > 0 和矩阵 M ∈ S n , 如 果 u∗ = (x∗ )T M x∗ ≥ −ϵ, 则称 M 是 ϵ 协正. 从计算的角度来看, 当这种情 形出现时, 我们还是无法判断 M 是否为协正矩阵, 因此遇到这样的情形时, 我们就视同无法判别. 协正矩阵判定的自适应算法框架如下: 协正矩阵判断算法 ∑n 2 1 1 初始化: 设 G = {x ∈ Rn | i=1 (2xi − 1) ≤ n}, T = T1 = [u , v ], 其中 u1i = 0, vi1 = 1, i = 1, 2, . . . , n. 给定 ϵ > 0 为允许偏差, 记 l 为目标值 的最好下界和 s 为最好上界. 步骤 1: 计算 (6.27), 设最优解为 Y ∗ = Y1∗ + · · · + Yk∗ 且记最优目标值为 vrc . 更新 l = max{l, vrc }. 当 l ≥ −ϵ 时, 就知 M 是 ϵ 协正, 算法停止. 步骤 2: 按推论6.2分解 Y ∗ 并求得最敏感点 x∗ 和最敏感椭球 Gt = {x ∈ Rn | ∑n (2xi −vit −uti )2 ≤ n}(椭球 Gt 与矩形 Tt = [ut , v t ] 一一对应). 当 i=1 (vit −uti )2 x∗ ∈ Rn+ 时, 算法停止, M 是否为协正矩阵由 u∗ 的符号确定 (参见定 理6.3). 250


第六章

应用案例

第五节 协正锥的判定

步骤 3: 考虑 Tt = [ut , v t ] 的细分 Tt1 = [ut1 , v t1 ] 和 Tt2 = [ut2 , v t2 ], 对应 Gt 的 细分椭球 Ft1 和 Ft2 , 进行覆盖椭球集合 G 的更新. 具体更新方法及 椭球与区间的对应关系稍后讨论. 步骤 4: 将 x∗ 中 的 负 分 量 都 设 置 为 0 而 得 到 一 点 x˜ ∈ Rn+ . 计 算 s = min{s, x˜T M x˜}. 当 s < 0 时, 则 M 不是协正矩阵, 算法停止. 否 则转回步骤 1. 由于 (6.23) 的可行解集合包含在 [0, 1]n 矩形内, 我们以矩形的划分对 可行解区域分化. 对给定的每一个矩形 Tt = [ut , v t ], 都一一对应一个椭球 ∑ (2x −vt −ut )2 Gt = {x ∈ Rn | ni=1 (vi t −ui t )2i ≤ n}. i

i

当最敏感点 x 落在最敏感椭球 Gt 中时, 对应矩形 Tt = [ut , v t ]. 当 x∗ ∈ Rn+ 时, 由步骤 2 知算法已停止. 否则按 x∗ 坐标分量最负的坐标轴方 向 id = argmin{i=1,...,n} {xi } 分割, 对 Tt 分割成如下两个矩形 Tt1 = [ut1 , v t1 ] 和 Tt2 = [ut2 , v t2 ], 其中 ut1 = ut 和 v t2 = v t ;且当 i ̸= id 时, vit1 = vit 和 t t t2 t1 t ut2 i = ui ;vid = uid = (uid + vid )/2. 故可得到两个椭球 Gt1 和 Gt2 , 分别为 { Gt1 =

x ∈ Rn |

n ∑ (2xi − v t1 − ut1 )2 i

i=1

i

2 (vit1 − ut1 i )

} ≤n ,

和 { Gt2 =

x ∈ Rn |

n ∑ (2xi − v t2 − ut2 )2 i

i=1

i

2 (vit2 − ut2 i )

} ≤n .

上述算法自始至终需要保持每个矩形中都包含 F 的内点. 因此, 需要 逐对判别 eT ut1 < 1, eT v t1 > 1, 和 eT ut2 < 1, eT v t2 > 1. 上述两组不等式最多只有一组成立. 删除满足条件组对应的椭球. 将 Gt 从 G 中删除并增加不满足条件的矩形对应的椭球到 G 中. 如此新得到的 G 最 多增加一个椭球. 上述算法的计算效果可由以下定理总结. 251


第五节 协正锥的判定

第六章

应用案例

定理 6.4 对任意给定的 ϵ > 0, 上述算法有限步终止. 若算法在步骤 1 停 止, 则 M 是一个 ϵ 协正矩阵. 若算法在步骤 2 停止, 则 M 的协正性由 (6.27) 的最优目标值决定. 若最优目标值为非负数, 则 M 是协正的;若最 优目标值为负数, 则 M 是非协正的. 若算法在步骤 4 停止, 则 M 是非协 正的. 详细证明请参见 [8]. 文 [8] 将上述算法在 Intel Core 2 CPU 2.13Ghz 2G memory 个人计算机以 MATLAB 7.9.0 编程, 调用 SeDuMi 1.3 求解半 定规划 (6.27), 部分实验结果节选如下. 例 6.1 对 5 × 5 矩阵     M =   

15 −10 10 10 0 −10 15 −10 10 10 10 −10 15 −10 10 10 10 −10 15 −10 0 10 10 −10 15

    .   

设定 ϵ = 0.001, 算法经 7 个循环迭代 ( 约 0.8432 秒 ) 得到下界 l = 0.5273, 所以 M 是协正矩阵.

例 6.2 在文献 [53] 中, 对 n = 3, 4, 5, 6, 7, 8, 9, 10 的每一个矩阵阶数, 各 产生 1000 个随机矩阵, 其中矩阵的对角元素为 1, 对角线以外的元素为 [−1, 1] 均匀分布. 在我们的数值实验中, 我们扩充到 n = 20, 40, 60 并按 [53] 的规则产生 100 随机矩阵. 表 6.1 为计算结果, 其中“# of unsolved” 表示无法得到协正性的结果, “CPU”表示 CPU 计算时间, 单位为秒. “avg.iter.” 表示我们算法的平均循环次数. 数值结果显示, [53] 中有一些矩 阵无法判别协正性, 但我们的算法可以全部判别所有算例.

以上数值实验表明, 非负二次函数锥规划的椭球覆盖近似算法是一种 可行的方法, 为复杂问题的研究提供了一种有效可行的计算方法. 从上述算 法描述中可以得到这样的直观结论:(6.27) 中对应的椭球约束数 s 随循环 的增加, 每次至多增加一个, 因此计算量的增加还是可以接受的. 252


第六章

应用案例

第六节 小结

# of unsolved CPU time (sec.) Avg.iter. 矩阵阶 本书算法 [53] 本书算法 [53] 本书算法 3 0 0 0.0508 0.1 1.1650 4 0 0 0.1060 0.7 1.5670 5 0 0 0.3266 3.2 2.1960 6 0 0 1.2321 19.1 3.0140 7 0 0 3.1489 96.4 3.4600 8 0 8 1.8644 398.7 2.7710 9 0 6 2.0343 351.2 2.0040 10 0 2 0.8344 363.5 1.4200 20 0 0.5465 1.9500 40 0 4.2022 1.0000 60 0 101.7502 1.0000 表 6.1: 数值结果

第六节 小结 为了更进一步地了解线性锥规划的理论和模型, 本章按线性规划、二 阶锥规划、半定规划和非负二次函数锥规划的分类顺序选择了一些简单应 用案例. 由于我们缺少对线性锥规划应用问题的系统整理, 所选择应用案例 较为单薄且多偏向理论应用, 有待改进之处仍然很多. 我们试图通过本章所罗列的几个应用实例说明应用中需要注意的问题. 第一, 模型的建立. 由于多项式时间可解的线性锥规划仅有线性规划、 二阶锥规划和半定规划, 受限于此, 我们想方设法地将实际问题建立成这些 模型之一. 即使无法写成这些模型, 也得通过松弛或约束的方法化成这些模 型求解;或化成一系列这些模型近似求解. 第二, 注意线性锥规划理论的应用. 本书笔墨繁多地给出了各种线性锥 规划模型的强对偶性质和最优解可达的条件等共轭对偶理论结果. 在实际 应用中, 很多人忽略了这些结论. 认为一旦将模型写出, 余下的工作就交给 软件计算了. 我们特别在本章前两节的两个案例介绍中, 利用对偶模型给出 最优解可达的条件. 需要强调的是:共轭对偶理论不仅仅在线性锥规划理 论分析中非常实用, 同时, 可以给出优化问题最优解可达等结论. 这可避免 盲目依赖软件求解而不了解软件计算得到的解是否可用的危险. 最后, 对难解问题的处理. 我们以非负二次函数锥规划为例. 非负二次 253


第六节 小结

第六章

应用案例

函数锥规划模型涵盖了更多的应用问题, 由于其模型自身的难度, 我们无法 给出多项式时间计算最优解的算法, 但是近似算法是一个非常有效可行的 处理方法. 本书中所有近似算法的研究都处在一个起步阶段, 还有相当大的可研 究空间. 如何设计好的近似算法将是我们下一阶段研究的一个重点.

254


LCP CH6