協同訓練演算法

『壹』 半監督學習的起源和發展歷程

SSL的研究歷史可以追溯到20世紀70年代，這一時期，出現了自訓練(Self-Training)、直推學習(Transctive Learning)、生成式模型(Generative Model)等學習方法。
90年代，新的理論的出現，以及自然語言處理、文本分類和計算機視覺中的新應用的發展，促進了SSL的發展，出現了協同訓練(Co-Training)和轉導支持向量機(Transctive Support Vector Machine，TSVM)等新方法。Merz等人在1992年提出了SSL這個術語，並首次將SSL用於分類問題。接著Shahshahani和Landgrebe展開了對SSL的研究。協同訓練方法由Blum和Mitchell提出，基於不同的視圖訓練出兩個不同的學習機，提高了訓練樣本的置信度。Vapnik和Sterin提出了TSVM，用於估計類標簽的線性預測函數。為了求解TSVM，Joachims提出了SVM方法，Bie和Cristianini將TSVM放鬆為半定規劃問題從而進行求解。許多研究學者廣泛研究將期望最大演算法(Expectation Maximum，EM)與高斯混合模型(Gaussian Mixture Model，GMM)相結合的生成式SSL方法。Blum等人提出了最小割法(Mincut)，首次將圖論應用於解決SSL問題。Zhu等人提出的調和函數法(Harmonic Function)將預測函數從離散形式擴展到連續形式。由Belkin等人提出的流形正則化法(Manifold Regularization)將流形學習的思想用於SSL場景。Klein等人提出首個用於聚類的半監督距離度量學習方法，學習一種距離度量。

『貳』 機器學習（十三）------半監督學習

在數據科學的廣闊領域中，機器學習猶如一座燈塔，引領我們探索未知的深度。其中，監督學習就像指南針，通過標記樣本精準地指引分類與回歸的方向；無監督學習則如探索者，通過聚類演算法揭示隱藏的數據結構。而今天，我們將深入探討半監督學習，它是監督與無監督學習的巧妙結合，利用分布信息挖掘未標記樣本的價值。

半監督學習分為兩大陣營：分類純半監督學習（開放世界），它假設數據中存在未知類別，而直推學習（封閉世界）則認為數據集中所有樣本都有明確的類別標簽。這兩種方法在處理信息的完整性上有所不同，但都旨在提升模型的性能。

生成式方法，如高斯混合模型，是半監督學習的瑰寶。通過潛在模型如高斯混合分布，利用EM演算法來挖掘數據背後的深層次結構。後驗概率的推導與類標樣本與無類標樣本的似然函數，是理解這一方法的關鍵。EM演算法的E步和M步，猶如偵探尋找線索和重構真相，一步步揭示模型參數的奧秘。

實戰演練：SVM與圖半監督學習
在SVM的半監督版本中，我們尋找的是最大間隔超平面，S3VM和TSVM則是針對不同策略的創新，S3VM著重於避開低密度區域，TSVM的核心則在於標記信息的傳播。圖半監督學習中，樣本和相關性通過節點與邊緊密相連，能量函數的構建則是這里的藝術與科學融合。

最後，讓我們聚焦在監督信息的類型上：必連和勿連，前者象徵著樣本間的同一簇關系，後者則暗示了不同簇的界限。在實際應用的半監督K-Means中，兩類演算法各有其策略：一種是在約束關系的引導下調整樣本劃分，另一種則是利用少量標記樣本來確定簇的中心，確保聚類的穩定性。

『叄』 ECCV'24開源 | 加速73%！在線建圖 & 軌跡預測雙重SOTA！

理解道路幾何形狀是自動駕駛汽車（AV）技術棧的關鍵組成部分。雖然高清（HD）地圖可以很容易地提供此類信息，但它們存在高標注和維護成本的問題。因此，許多最新研究提出了從感測器數據中在線估計高清地圖的方法。最近的大多數方法都將多攝像頭觀測編碼為中間表示（例如，鳥瞰圖（BEV）網格），並通過解碼器生成矢量地圖元素。雖然這種架構性能良好，但它消除了中間表示中編碼的大量信息，從而阻止了下游任務（如行為預測）利用這些信息。在本文中，我們提出了展示在線地圖估計方法的豐富內部特徵的方法，並展示了它們如何使在線地圖繪制與軌跡預測更緊密地集成。在此過程中，我們發現直接訪問內部BEV特徵可使在現實世界nuScenes數據集上的推理速度提高多達73%，預測准確性提高多達29%。

在線地圖估計方法主要是在解碼矢量化地圖元素之前，將多相機觀測值編碼到規范的邊界元方程特徵網格中。在這項工作中，我們建議通過直接訪問在線地圖估計方法的豐富BEV特徵，將在線地圖與下游任務深度集成。

鳥瞰圖特徵可視化。除了估計的地圖及其不確定性之外，我們還在圖4至圖6中為每個測試場景可視化了相應的鳥瞰圖特徵。這些可視化圖像首先通過主成分分析（PCA）將每個鳥瞰圖網格單元的維數減少到一個單一值，然後進行歸一化至[0, 255]，從而創建灰度圖像。生成的鳥瞰圖特徵圖像構成了我們方法圖表的背景。

將BEV特徵納入行為預測的三種不同策略。左：局部區域關注編碼代理映射交互；中間：用BEV特徵增強車道頂點；右：用時間BEV特徵替換代理軌跡。

預測精度的提升。如表1所示，對於幾乎所有的映射/預測模型組合，引入BEV（鳥瞰圖）特徵可顯著提高預測精度，不僅與基線模型相比，而且與不確定性增強的方法相比也是如此。MR（錯過率）和minFDE（終點位置誤差的最小值）的改進最大（高達25%以上），這表明潛在的BEV特徵特別有助於長時域預測性能。終點預測精度對於軌跡預測尤為重要，因為它直接影響後續規劃精度。

值得注意的是，雖然MapTR的表現不如其後繼者（MapTRv2）或時間增強的StreamMapNet，但其BEV特徵為下游性能帶來了最大的改進，產生的預測精度優於與MapTRv2（無中心線）的組合。這一結果表明，MapTR的解碼器可能引入了不必要的雜訊，從而阻礙了其生成精確地圖元素的能力。因此，通過利用MapTR早期階段的信息，HiVT和DenseTNT在預測性能上均取得了顯著提升，這強調了通過中間BEV表示實現映射與預測之間更深層集成的益處。

推理加速。在圖3中，我們將我們集成方法相對於HiVT解耦基線實現的GPU推理加速進行了比較。對於這兩種方法，運行時均從輸入RGB圖像的處理開始，到最終軌跡的輸出結束。可以看出，由於消除了耗時的地圖解碼階段，我們的方法顯著提高了推理時間。具體來說，我們的集成方法比單獨的MapTR和HiVT快42%-73%，比單獨的MapTRv2和HiVT快35%-62%，比單獨的StreamMapNet和HiVT快8%-15%。與不確定性集成方法相比，也獲得了相同的改進，這再次證明了我們方法的優勢。

此外，基線映射和預測模型的整體推理時間隨地圖元素數量和場景中代理數量的增加而增加。相比之下，我們的集成方法對地圖元素數量的敏感度要低得多，這在圖3中得到了體現，即隨著地圖元素數量的增加，我們方法的運行時改進更大。這是因為每個代理的補丁都會關注到其他所有BEV（鳥瞰圖）補丁。因此，即使地圖元素數量很高，BEV補丁的數量也是固定的，通過消除需要通過HiVT編碼器處理地圖元素的需要，顯著減少了推理時間。

在本文中，我們提出了三種不同的策略，以在諸如行為預測等下游任務中利用在線地圖估計模型中的中間鳥瞰圖（BEV）特徵。我們系統地評估了不同BEV編碼策略的優勢，並展示了如何在下遊行為預測中結合BEV特徵，從而實現性能和運行時間的顯著提升。特別是，當直接從中間BEV特徵進行操作時，各種在線地圖和預測方法的組合可以實現高達73%的更快推理時間，並在各種評估指標上產生高達29%的更准確預測。

我們工作的局限性和潛在負面影響與其使用黑盒特徵代替矢量化地圖估計有關。雖然這帶來了性能和運行時間的提升，但可能會使理解行為預測演算法為何做出特定預測變得復雜（與顯式編碼地圖元素相比）。為此，未來令人興奮的研究方向包括進一步探索映射模型的BEV特徵空間、在運行時解釋BEV特徵的策略（替代昂貴的解碼過程），以及協同訓練策略，以將行為預測任務的信息反饋給上游地圖估計模型（理想情況下，這將同時提升映射和預測性能，推動端到端自動駕駛堆棧的開發）。

對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~

推薦閱讀

1、基於NeRF/Gaussian的全新SLAM演算法

2、移動機器人規劃控制入門與實踐：基於Navigation2

3、自動駕駛的未來：BEV與Occupancy網路全景解析與實戰

4、面向三維視覺的Python從入門到實戰

5、工業深度學習異常缺陷檢測實戰

6、[第二期]基於面結構光三維重建高階班實戰

7、一張圖片，如何重建出人臉的3D模型？

8、國內首個Halcon深度學習項目實戰系統教程

9、零基礎入門ROS-SLAM小車模擬與實踐[理論+模擬+實戰]

『肆』 聯邦GNN綜述與經典演算法介紹

聯邦學習和GNN是AI領域的熱點。聯邦學習允許多方安全合規地聯合訓練模型，無需泄露原始數據。GNN在處理非歐數據結構時表現優越，不僅考慮節點特徵還考慮節點間的連接關系和強度。結合GNN與聯邦學習，可充分利用各參與方的數據，安全訓練有強勁表現的模型。

聯邦GNN是GNN與聯邦學習的結合體。這類方法根據圖數據分布規則分為四類：inter-graph FL、horizontal intra-graph FL、vertical intra-graph FL和graph-structured FL。它們應用於多種場景，如生物工程、反洗錢等。

聯邦GNN演算法，如FedGNN，通過中心伺服器和客戶端協同訓練，實現用戶隱私保護。客戶端在本地進行模型和embedding的優化，然後上傳梯度給中心伺服器，進行聚合後回傳給客戶端更新模型。演算法中包含隱私保護模塊，如偽交互物品采樣和LDP保護，確保數據安全。

VFGNN則關注數據孤島問題，通過多方計算生成初始節點embedding，並在保證隱私的前提下進行本地和全局embedding的生成。此演算法確保數據安全的同時，提升模型性能。

聯邦GNN領域近年來發展迅速，已有多個開源項目如FedGraphNN，為實際應用提供了支持。研究者提出了多種演算法，以解決不同場景下的隱私保護和數據共享問題。