2022年2022年矩阵函数求导 .pdf

矩阵函数求导符号说明?d/dx (y) 是一个向量，其第(i) 个元素是dy(i)/dx ?d/dx (y) 是一个向量，其第(i) 个元素是dy/dx(i) ?d/dx (yT) 是一个矩阵，其第(i,j) 个元素是 dy(j)/dx(i) ?d/dx (Y) 是一个矩阵，其第(i,j) 个元素是 dy(i,j)/dx ?d/dX (y) 是一个矩阵，其第(i,j) 个元素是 dy/dx(i,j) 注意 Hermitian 转置不能应用，因为复共轭不可解析，x,y 是向量，X，Y 是矩阵，x,y 是标量。在下面的表达中 A, B, C 是不依赖于 X 的矩阵， a,b 是不依赖于 x 的向量，线性积?d/dx (AYB ) =A * d/dx (Y) * B o d/dx (Ay) =A * d/dx (y) ?d/dx (xTA) = A o d/dx (xT) =I o d/dx (xTa) = d/dx (aTx) = a ?d/dX (aTXb) = abT o d/dX (aTXa) = d/dX (aTXTa) = aaT ?d/dX (aTXTb) = baT ?d/dx (YZ ) = Y * d/dx (Z) + d/dx (Y) * Z 二次积?d/dx (Ax+b)TC(Dx+e) = ATC(Dx+e) + DTCT(Ax+b) o d/dx (xTCx) = (C+CT)x C: symmetric: d/dx (xTCx) = 2Cx d/dx (xTx) = 2x o d/dx (Ax+b)T (Dx+e) = AT (Dx+e) + DT (Ax+b) d/dx (Ax+b)T (Ax+b) = 2AT (Ax+b) o C: symmetric: d/dx (Ax+b)TC(Ax+b) = 2ATC(Ax+b) ?d/dX (aTXTXb) = X(abT + baT) o d/dX (aTXTXa) = 2XaaT ?d/dX (aTXTCXb ) = CTXabT + CXbaT o d/dX (aTXTCXa ) = (C + CT)XaaT 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 3 页 - - - - - - - - - o C:Symmetric d/dX (aTXTCXa) = 2CXaaT ?d/dX (Xa+b)TC(Xa+b) ) = (C+CT)(Xa+b)aT 三次积?d/dx (xTAxxT) = (A+AT)xxT+xTAxI 逆?d/dx (Y-1) = -Y-1d/dx (Y)Y-1 迹Note: matrix dimensions must result in an n*n argument for tr(). ?d/dX (tr(X) ) = I ?d/dX (tr(Xk) =k(Xk-1)T ?d/dX (tr(AXk) = SUMr=0:k -1(XrAXk-r-1)T ?d/dX (tr(AX-1B) = -(X-1BAX-1)T o d/dX (tr(AX-1) =d/dX (tr(X-1A) = -X-TATX-T ?d/dX (tr(ATXBT) = d/dX (tr(BXTA) = AB o d/dX (tr(XAT) = d/dX (tr(ATX) ) =d/dX (tr(XTA) = d/dX (tr(AXT) = A ?d/dX (tr(AXBXT) = ATXBT + AXB o d/dX (tr(XAXT) = X(A+AT) o d/dX (tr(XTAX) ) = XT(A+AT) o d/dX (tr(AXTX) = (A+AT)X ?d/dX (tr(AXBX) ) = ATXTBT + BTXTAT ?C:symmetric d/dX (tr(XTCX)-1A) = d/dX (tr(A (XTCX)-1) = -(CX(XTCX)-1)(A+AT)(XTCX)-1 ?B,C: symmetric d/dX (tr(XTCX)-1(XTBX) ) = d/dX (tr( (XTBX)(XTCX)-1) = -2(CX(XTCX)-1)XTBX(XTCX)-1 + 2BX(XTCX)-1 ?行列式?d/dX (det(X) = d/dX (det(XT) = det(X)*X-T o d/dX (det(AXB) ) = det(AXB)*X-T 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 3 页 - - - - - - - - - o d/dX (ln(det(AXB) ) = X-T ?d/dX (det(Xk) = k*det(Xk)*X-T o d/dX (ln(det(Xk) = kX-T ?Real d/dX (det(XTCX) ) = det(XTCX)*(C+CT)X(XTCX)-1 o C: Real,Symmetric d/dX (det(XTCX) ) = 2det(XTCX)* CX(XTCX)-1 ?C: Real,Symmetricc d/dX (ln(det(XTCX) ) = 2CX(XTCX)-1 Jacobian 如果y 是x 的函数，则 dyT/dx 是y 关于x 的Jacobian 矩阵。其行列式 | dyT/dx| 是表示了 dy 和dx 的超体积比值 . Jacobian 行列式出现在变元积分中 : Integral(f(y)dy)=Integral(f(y(x) |dyT/ dx| dx). Hessian 矩阵如果f 是x 的函数，则对称矩阵 d2f/dx2 = d/dxT(df/dx)就是f(x) 的Hessian 矩阵。 满足df/dx = 0 的x 的值，当 Hessian 是正定、负定、不定时，就是相应的最小值、最大值、或者是鞍点。?d2/dx2 (aTx) = 0 ?d2/dx2 (Ax+b)TC(Dx+e) = ATCD + DTCTA o d2/dx2 (xTCx) = C+CT d2/dx2 (xTx) = 2I o d2/dx2 (Ax+b)T (Dx+e) = ATD + DTA d2/dx2 (Ax+b)T (Ax+b) = 2ATA o C: symmetric: d2/dx2 (Ax+b)TC(Ax+b) = 2ATCA名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 3 页 - - - - - - - - -