㈠ 机器学习——梯度下降与海森矩阵
机器学习中，梯度下降是优化算法的核心，尤其在深度学习领域。然而，当面临病态曲率（pathological curvature）问题时，梯度下降的效率会大大降低，无论是对于鞍点还是局部极值点。病态曲率表现为海森矩阵（Hessian matrix）的condition number较大，这将导致梯度下降收敛速度显着减慢。
鞍点是函数图像中一个特殊点，位于局部最优解与局部极小值之间，使得梯度为零但并非全局最优。在梯度下降过程中，如果遇到鞍点，仅仅依赖一阶梯度无法判断下一步的最优路径，需要通过二阶导数分析来确定。
当矩阵可对角化时，即表示该矩阵能分解为一个可逆矩阵与一个对角矩阵的乘积，对角矩阵的主对角线元素即为该矩阵的特征值，列向量为特征向量。这样的对角化过程对于方阵特别有用，但一般矩阵的对角化则通过奇异值分解实现。
海森矩阵描述了函数的曲率信息，对于多变量函数而言，其二阶偏导数构成了Hessian矩阵。该矩阵为对称实数矩阵，可对角化。根据实数对称矩阵的性质，存在一组标准正交基，这组基对应的矩阵为对角矩阵，其对角线元素即为特征值。
在优化算法中，condition number衡量了矩阵的可逆性，对于Hessian矩阵而言，其condition number反映了函数曲率的剧烈变化程度。在使用线性搜索确定学习率的梯度下降法中，参数点的移动方向不仅与梯度相关，还受到海森矩阵的影响。较大的condition number意味着函数在某些方向上变化缓慢，在其他方向上变化迅速，这可能导致梯度下降法在某些方向上进展缓慢，而在另一些方向上快速移动，从而影响收敛效率。
为了解决这个问题，可以采用更高阶的优化方法，如牛顿法。牛顿法利用了二阶梯度信息（即Hessian矩阵）来更好地估计函数的形状，从而在更小的步长下达到更快的收敛速度。通过调整学习率与曲率的关系，牛顿法能够在曲率较大的方向上减小步长，而曲率较小的方向上增大步长，从而实现更高效的梯度下降。
总结来说，通过理解优化理论、掌握矩阵对角化与奇异值分解、分析Hessian矩阵的性质以及应用更高阶的优化方法（如牛顿法），我们可以克服梯度下降在病态曲率问题中的局限，提升机器学习模型的优化效率。