求解病態系統常用的演算法

『壹』 【求助】有限元隱式求解與顯式求解的區別。

當前時刻的位慎態移只與前一時刻的加速度和位移有關，這就意味著當前時刻的位移求解無需迭代過程。另外，只要將運動方程中的質量矩陣和阻尼矩陣對角化，前一時刻的加速度求解無需解聯立方程組，從而使問題大大簡化，這就是所謂的顯式求解法。顯式求解法的優點是它即沒有收斂性問題，也不需求解聯立方程組，其缺點是時間步長受到數值積分穩定性的限制，不能超過系統的臨界時間步長。由於沖壓成型過程具有很強的非線性，從解的精度考慮，時間步長也不能太李慶大，這就在很大程度上彌補了顯式求解法的缺陷。 在80年代中期以前顯式演算法主要用於高速碰撞的模擬計算，效果很好。自80年代後期被越來越廣泛地用於沖壓成型過程的模擬，目前在這方面的應用效果已超過隱式演算法。顯式演算法在沖壓成型過程的模擬中獲得成功應哪孝握用的關鍵，在於它不像隱式演算法那樣有解的收斂性問題。

『貳』 二次規劃問題和常見求解框架

二次規劃問題（QP）是優化領域中一類非線性規劃問題的特例，其目標函數為二次型且約束為線性型。具體形式如下：

[公式]

其中，矩陣是對稱的，向量和為線性約束。二次規劃問題在統計學習、圖像處理等領域有廣泛應用，如LASSO回歸、半二次分裂演算法等。

LASSO回歸是一種在回歸分析中引入[LASSO懲罰項]，以限制模型系數的稀疏性，從而防止過擬合。相較於嶺回歸，LASSO對異常值的魯棒性更強。其優化問題形式為：

[公式]

其中，向量是系數，矩陣是數據矩陣，為懲罰項權重。

等價的二次規劃形式為：

[公式]

半二次分裂演算法（HQS）是一種用於解決優化問題的迭代方法，特別適用於將原問題中的正則項通過變數替換和增廣拉格朗日法（ALM）轉換為更易於求解的形式。在圖像復原中，目標函數通常包含數據保真項和懲罰項，懲罰項通常與去噪有關。引入輔助變數後，可以將懲罰項從原問題中分離出來，分別求解保真項和懲罰項。

近端梯度下降（PGD）是一種解決包含不可微部分的優化問題的演算法。它適用於解決形式如[公式]的問題，其中[公式]是連續可導的凸函數，而[公式]是連續的凸函數，可能不可微。通過近端運算元（proximal operator）定義為：

[公式]

其中，[公式]是將原函數在某點的泰勒展開的近似。近端運算元對於不同的范數具有閉式解，例如：

[公式]時，[公式]

[公式]時，[公式]，即硬閾值函數

[公式]時，[公式]，即軟閾值函數

加速迭代收縮閾值演算法（FISTA）是近端梯度下降演算法的加速版本，將收斂速度從[公式]提高至[公式]。FISTA通過Nesterov加速技術實現，簡化計算同時大幅提高收斂速度。

兩步迭代收縮閾值演算法（TwIST）是一種改進的近端梯度下降方法，它依賴於前兩次迭代的結果，而非僅依賴前一次迭代，從而在求解病態問題時具有更快的收斂速度。

廣義交替投影演算法（GAP）解決優化問題，如[公式]。通過交替更新變數求解。其迭代公式為：

[公式]

交替方向乘子法（ADMM）是一種用於解決分解式優化問題的方法，其演算法流程為：

[公式]

運算元分裂二次規劃求解演算法（OSQP）提供了解二次規劃問題的高效演算法，其迭代步驟包括向量加減、數乘和向集合投影等操作。

軟閾值運算元和硬閾值運算元是優化演算法中常見的運算元，分別用於LASSO回歸和類似場景。軟閾值運算元通過線性調整以保持稀疏性，而硬閾值運算元則直接截斷數值。

Lipschitz連續性定義了函數的局部變化幅度不能超過特定常數。Lipschitz連續梯度和Hessian的概念在此基礎上擴展，限制了函數的導數和二階導數的局部變化。

Nesterov加速技術是一種用於加速梯度下降演算法收斂速度的技術，其關鍵在於利用預測點的梯度，而非僅使用當前點的梯度。

以上內容詳細介紹了優化演算法中的一些核心概念和方法，包括二次規劃、LASSO回歸、半二次分裂演算法、近端梯度下降、FISTA、TwIST、GAP、ADMM、OSQP等。這些演算法在不同領域如統計學習、圖像處理、機器學習中發揮著關鍵作用，提供高效解決優化問題的途徑。

『叄』 什麼是tikhonov正則化方法

定義：正則化(regularization)，是指在線性代數理論中，不適定問題通常是由一組線性代數方程定義的，而且這組方程組通常來源於有著很大的條件數的不適定反問題。大條件數意味著舍入誤差或其它誤差會嚴重地影響問題的結果。
另外給出一個解釋性定義：對於線性方程Ax=b，當解x不存在或者解不唯一時，就是所謂的病態問題(ill-posed problem). 但是在很多時候，我們需要對病態問題求解，那怎麼做？
對於解不存在的情況，解決辦法是增加一些條件找一個近似解；對於解不唯一的情況，解決辦法是增加一些限制縮小解的范圍。這種通過增加條件或限制要求求解病態問題的方法就是正則化方法。
正則化的英文是regularization，即規則化，調整。通過一些調整或者其他辦法，使病態問題也能得到唯一解。在這個調整的過程中，使用的技術就是正則化技術，所用的方法就是正則化方法。

求解線性方程的標准方法是最小二乘法，即求解min叫做吉洪諾夫矩陣