发布时间 : 星期日 文章优化设计-2更新完毕开始阅读7f7ffcdcdd88d0d233d46ad8
（3） 矩阵的2范数
A2?[?max(ATA)][1 2 3 4]
12T
其中，?max表示矩阵AA的最大特征值。2.2 方向导数与梯度
1 方向导数
首先回顾偏导数的概念，对二元函数，有
(0)(0)?ff(x1(0)??x1,x2)?f(x1(0),x2)|x(0)?lim
?x1?0?x1?x1(0)(0)f(x1(0),x2??x2)?f(x1(0),x2)?f|x(0)?lim
?x2?0?x2?x2根据图2.1，二元函数的方向导数定义为
(0)(0)f(x1(0)??x1,x2??x2)?f(x1(0),x2)?f|x(0)?lim??0?d?(0)(0)f(x1(0)??x1,x2)?f(x1(0),x2)?x1?lim???0?x1??lim?f(x(0)1??x1,x(0)2??0??x2)?f(x?x2(0)1??x1,x)?x2?(0)2 （2.3）
??f?f|x(0)cos?1?|(0)cos?2?x1?x2x1
式中，cosα和cosα
2
分别为d方向与坐标轴x1，x2方向之间夹角的余弦；
??(?x)2?(?y)2。
x2 x(1) d x(0) ρ α2 Δx2 α1 Δx1 0 x1 图2.1 函数的方向导数
n元函数f（x1,x2,…,xn）在点x(0)=[x1(0) x2(0) … xn(0)]T处沿d方向的方向导数为
?f|x(0)??dn?f?f?f|x(0)cos?1?|x(0)cos?2?...?|x(0)cos?n?x1?x2?xn???f|x(0)cos?i?xi?1i （2.4）
2 梯度
（1）二元函数的梯度 根据式（2.3），称向量
?f(x(0))?[?f?x1?fT](0)?x2x??f???x???1? ??f????x2??x(0)为二元函数f（x1,x2）在点x(0)处的梯度。
（2）多元函数的梯度
多元函数f（x1,x2,…,xn）在点x(0)处的梯度为
?f(x(0))?[?f?x1?f?x2...?fT](0) ?xnx?cos?1??cos??2?设d??
?????cos?n??为d方向的单位向量，则沿d的方向导数为
?f|x(0)??f(x(0))Td??f(x(0))cos(?f,d) ?d其中，?f(x(0))代表梯度向量?f(x(0))的范数；cos(?f,d)表示梯度向量与d方向夹角的
余弦。在x(0)处函数沿各方向的方向导数是不同的，它随变化，即随cos(?f,d)所取方向的不同而变化。其最大值发生在cos(?f,d)取值为1时，也就是当d方向和梯度方向重合时其值最大。可见，梯度方向是函数值变化最快的方向，而梯度的范数就是函数变化率的最大值。
例2.1 求目标函数f(x)=x12+x1x2 x(0)=[1 2]T处的梯度。 d a1=30°, a2=60°方向导数 解：
?f?2x1?x2|(1,2)?4,?x1f(x)在x(0)点处的梯度为
?f?x1|(1,2)?1 ?x2??f???x??4?(0)?f(x)??1????
??f??1????x2??x(0)f(x)在x(0)点处梯度的模为
?f(x(0))?42?12?17
2.3 函数的泰勒级数展开
一元函数f(x)的泰勒级数展开，设f(x)在开区间（a，b）内具有直到（n+1）阶的导数，x0
是区间（a，b）内一点，x是以x0为中心的某个领域内的点，则f(x)在x0处的泰勒级数展开为
f(x)?f(x0)?f?(x0)f??(x0)(x?x0)?(x?x0)2?0(?x2) 1!2!1f??(x0)(?x)2 2取级数的前3项近似目标函数，则f(x)可近似表示为
f(x)?f(x0)?f?(x0)?x?对于n元函数f(x)=f(x1,x2,…,xn)，设f(x)在x(0)点的某一领域内存在连续偏导数，则在这个领域内函数f(x)可展开成泰勒级数。即
f(x)?f(x(0))??f?f(0)|x(0)(x1?x1(0))?|x(0)(x2?x2)?...?x1?x2?1??2f?2f?2f(0)2(0)(0)(0)??2|x(0)(x1?x1)?|x(0)(x1?x1)(x2?x2)?|x(0)(x1?x1(0))(x3?x3)???2??x1?x1?x2?x1?x3?1?3f?3f(0)3(0)(0)?[3|x(0)(x1?x1)?|x(0)(x1?x1(0))(x2?x2)(x3?x3)3?x1?x1?x2?x3?3f(0)(0)?|x(0)(x1?x1(0))(x2?x2)(x4?x4)??]???x1?x2?x4
如果忽略二阶以上的各阶小量，则函数可近似表述为
1f(x)?f(x(0))?[?f(x(0))]T(x?x(0))?(x?x(0))TG(x(0))(x?x(0)) （2.5）
2其中，x?[x1x2?xn]T （2.6）
?f(x(0))?[?f?x1?f?x2??fT]x(0) （2.7） ?xn??2f??x2?21??fG(x(0))??2f(x(0))???x2?x1???2??f??x?x?n1?2f?x1?x2?2f2?x2??2f?xn?x2?2f???x1?xn???2f???x2?xn? （2.8）
????2f??2??xn?x(0)
G(x(0))称为f(x)在点x(0)处的Hessian（黑塞）矩阵。 对二元函数，式2.5表示为
f(x1x2)?f(x1(0)(0)x2)??f?f(0)|x(0)(x1?x1(0))?|x(0)(x2?x2)?x1?x21??2f?2f?2f(0)2(0)(0)(0)2???2|x(0)(x1?x1)?2|x(0)(x1?x1)(x2?x2)?2|x(0)(x2?x2)?2??x1?x1?x2?x2?以向量形式表示二元函数f(x)在点x(0)处展开成泰勒二次多项式为
??f?f1??2f?2f?2f2f(x)?f(x)?dx1?dx2??2(dx1)?2dx1dx2?2(dx2)2?
?x1?x22??x1?x1?x2?x2?(0)用矩阵形式表示则为
??ff(x)?f(x(0))????x1(0)?f??dx1?1?dx??2?dx1?x2???2???2f??x2dx2??21??f??x?x?21?2f??dx1??x1?x2??? (2.9) ?2f??dx?2?2??x2?其中，dxi?xi?xi,i?1,2. 根据二元函数的梯度定义，
??f?f(x(0))????x1故式2.9可改写成
?f??,?x2?x(0)T??2f??x22(0)?f(x)??21??f??x?x?21T?2f??x1?x2?? 2?f?2??x2?x(0)f(x)?f(x(0))??f(x(0))x1?x1(0)?函数f(x)在点x(0)处的梯度?f(x重要依据。
(0)????1?x?x?21(0)T1??2f(x(0))x1?x1(0)
??)和Hessian矩阵是计算函数极值以及判断极值点性质的
2.4 无约束优化问题的极值条件
函数的极值点（如极小值点）定义为：对函数定义域内任意一点x(0)，若总存在