协同训练算法

‘壹’ 半监督学习的起源和发展历程

SSL的研究历史可以追溯到20世纪70年代，这一时期，出现了自训练(Self-Training)、直推学习(Transctive Learning)、生成式模型(Generative Model)等学习方法。
90年代，新的理论的出现，以及自然语言处理、文本分类和计算机视觉中的新应用的发展，促进了SSL的发展，出现了协同训练(Co-Training)和转导支持向量机(Transctive Support Vector Machine，TSVM)等新方法。Merz等人在1992年提出了SSL这个术语，并首次将SSL用于分类问题。接着Shahshahani和Landgrebe展开了对SSL的研究。协同训练方法由Blum和Mitchell提出，基于不同的视图训练出两个不同的学习机，提高了训练样本的置信度。Vapnik和Sterin提出了TSVM，用于估计类标签的线性预测函数。为了求解TSVM，Joachims提出了SVM方法，Bie和Cristianini将TSVM放松为半定规划问题从而进行求解。许多研究学者广泛研究将期望最大算法(Expectation Maximum，EM)与高斯混合模型(Gaussian Mixture Model，GMM)相结合的生成式SSL方法。Blum等人提出了最小割法(Mincut)，首次将图论应用于解决SSL问题。Zhu等人提出的调和函数法(Harmonic Function)将预测函数从离散形式扩展到连续形式。由Belkin等人提出的流形正则化法(Manifold Regularization)将流形学习的思想用于SSL场景。Klein等人提出首个用于聚类的半监督距离度量学习方法，学习一种距离度量。

‘贰’ 机器学习（十三）------半监督学习

在数据科学的广阔领域中，机器学习犹如一座灯塔，引领我们探索未知的深度。其中，监督学习就像指南针，通过标记样本精准地指引分类与回归的方向；无监督学习则如探索者，通过聚类算法揭示隐藏的数据结构。而今天，我们将深入探讨半监督学习，它是监督与无监督学习的巧妙结合，利用分布信息挖掘未标记样本的价值。

半监督学习分为两大阵营：分类纯半监督学习（开放世界），它假设数据中存在未知类别，而直推学习（封闭世界）则认为数据集中所有样本都有明确的类别标签。这两种方法在处理信息的完整性上有所不同，但都旨在提升模型的性能。

生成式方法，如高斯混合模型，是半监督学习的瑰宝。通过潜在模型如高斯混合分布，利用EM算法来挖掘数据背后的深层次结构。后验概率的推导与类标样本与无类标样本的似然函数，是理解这一方法的关键。EM算法的E步和M步，犹如侦探寻找线索和重构真相，一步步揭示模型参数的奥秘。

实战演练：SVM与图半监督学习
在SVM的半监督版本中，我们寻找的是最大间隔超平面，S3VM和TSVM则是针对不同策略的创新，S3VM着重于避开低密度区域，TSVM的核心则在于标记信息的传播。图半监督学习中，样本和相关性通过节点与边紧密相连，能量函数的构建则是这里的艺术与科学融合。

最后，让我们聚焦在监督信息的类型上：必连和勿连，前者象征着样本间的同一簇关系，后者则暗示了不同簇的界限。在实际应用的半监督K-Means中，两类算法各有其策略：一种是在约束关系的引导下调整样本划分，另一种则是利用少量标记样本来确定簇的中心，确保聚类的稳定性。

‘叁’ ECCV'24开源 | 加速73%！在线建图 & 轨迹预测双重SOTA！

理解道路几何形状是自动驾驶汽车（AV）技术栈的关键组成部分。虽然高清（HD）地图可以很容易地提供此类信息，但它们存在高标注和维护成本的问题。因此，许多最新研究提出了从传感器数据中在线估计高清地图的方法。最近的大多数方法都将多摄像头观测编码为中间表示（例如，鸟瞰图（BEV）网格），并通过解码器生成矢量地图元素。虽然这种架构性能良好，但它消除了中间表示中编码的大量信息，从而阻止了下游任务（如行为预测）利用这些信息。在本文中，我们提出了展示在线地图估计方法的丰富内部特征的方法，并展示了它们如何使在线地图绘制与轨迹预测更紧密地集成。在此过程中，我们发现直接访问内部BEV特征可使在现实世界nuScenes数据集上的推理速度提高多达73%，预测准确性提高多达29%。

在线地图估计方法主要是在解码矢量化地图元素之前，将多相机观测值编码到规范的边界元方程特征网格中。在这项工作中，我们建议通过直接访问在线地图估计方法的丰富BEV特征，将在线地图与下游任务深度集成。

鸟瞰图特征可视化。除了估计的地图及其不确定性之外，我们还在图4至图6中为每个测试场景可视化了相应的鸟瞰图特征。这些可视化图像首先通过主成分分析（PCA）将每个鸟瞰图网格单元的维数减少到一个单一值，然后进行归一化至[0, 255]，从而创建灰度图像。生成的鸟瞰图特征图像构成了我们方法图表的背景。

将BEV特征纳入行为预测的三种不同策略。左：局部区域关注编码代理映射交互；中间：用BEV特征增强车道顶点；右：用时间BEV特征替换代理轨迹。

预测精度的提升。如表1所示，对于几乎所有的映射/预测模型组合，引入BEV（鸟瞰图）特征可显着提高预测精度，不仅与基线模型相比，而且与不确定性增强的方法相比也是如此。MR（错过率）和minFDE（终点位置误差的最小值）的改进最大（高达25%以上），这表明潜在的BEV特征特别有助于长时域预测性能。终点预测精度对于轨迹预测尤为重要，因为它直接影响后续规划精度。

值得注意的是，虽然MapTR的表现不如其后继者（MapTRv2）或时间增强的StreamMapNet，但其BEV特征为下游性能带来了最大的改进，产生的预测精度优于与MapTRv2（无中心线）的组合。这一结果表明，MapTR的解码器可能引入了不必要的噪声，从而阻碍了其生成精确地图元素的能力。因此，通过利用MapTR早期阶段的信息，HiVT和DenseTNT在预测性能上均取得了显着提升，这强调了通过中间BEV表示实现映射与预测之间更深层集成的益处。

推理加速。在图3中，我们将我们集成方法相对于HiVT解耦基线实现的GPU推理加速进行了比较。对于这两种方法，运行时均从输入RGB图像的处理开始，到最终轨迹的输出结束。可以看出，由于消除了耗时的地图解码阶段，我们的方法显着提高了推理时间。具体来说，我们的集成方法比单独的MapTR和HiVT快42%-73%，比单独的MapTRv2和HiVT快35%-62%，比单独的StreamMapNet和HiVT快8%-15%。与不确定性集成方法相比，也获得了相同的改进，这再次证明了我们方法的优势。

此外，基线映射和预测模型的整体推理时间随地图元素数量和场景中代理数量的增加而增加。相比之下，我们的集成方法对地图元素数量的敏感度要低得多，这在图3中得到了体现，即随着地图元素数量的增加，我们方法的运行时改进更大。这是因为每个代理的补丁都会关注到其他所有BEV（鸟瞰图）补丁。因此，即使地图元素数量很高，BEV补丁的数量也是固定的，通过消除需要通过HiVT编码器处理地图元素的需要，显着减少了推理时间。

在本文中，我们提出了三种不同的策略，以在诸如行为预测等下游任务中利用在线地图估计模型中的中间鸟瞰图（BEV）特征。我们系统地评估了不同BEV编码策略的优势，并展示了如何在下游行为预测中结合BEV特征，从而实现性能和运行时间的显着提升。特别是，当直接从中间BEV特征进行操作时，各种在线地图和预测方法的组合可以实现高达73%的更快推理时间，并在各种评估指标上产生高达29%的更准确预测。

我们工作的局限性和潜在负面影响与其使用黑盒特征代替矢量化地图估计有关。虽然这带来了性能和运行时间的提升，但可能会使理解行为预测算法为何做出特定预测变得复杂（与显式编码地图元素相比）。为此，未来令人兴奋的研究方向包括进一步探索映射模型的BEV特征空间、在运行时解释BEV特征的策略（替代昂贵的解码过程），以及协同训练策略，以将行为预测任务的信息反馈给上游地图估计模型（理想情况下，这将同时提升映射和预测性能，推动端到端自动驾驶堆栈的开发）。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

推荐阅读

1、基于NeRF/Gaussian的全新SLAM算法

2、移动机器人规划控制入门与实践：基于Navigation2

3、自动驾驶的未来：BEV与Occupancy网络全景解析与实战

4、面向三维视觉的Python从入门到实战

5、工业深度学习异常缺陷检测实战

6、[第二期]基于面结构光三维重建高阶班实战

7、一张图片，如何重建出人脸的3D模型？

8、国内首个Halcon深度学习项目实战系统教程

9、零基础入门ROS-SLAM小车仿真与实践[理论+仿真+实战]

‘肆’ 联邦GNN综述与经典算法介绍

联邦学习和GNN是AI领域的热点。联邦学习允许多方安全合规地联合训练模型，无需泄露原始数据。GNN在处理非欧数据结构时表现优越，不仅考虑节点特征还考虑节点间的连接关系和强度。结合GNN与联邦学习，可充分利用各参与方的数据，安全训练有强劲表现的模型。

联邦GNN是GNN与联邦学习的结合体。这类方法根据图数据分布规则分为四类：inter-graph FL、horizontal intra-graph FL、vertical intra-graph FL和graph-structured FL。它们应用于多种场景，如生物工程、反洗钱等。

联邦GNN算法，如FedGNN，通过中心服务器和客户端协同训练，实现用户隐私保护。客户端在本地进行模型和embedding的优化，然后上传梯度给中心服务器，进行聚合后回传给客户端更新模型。算法中包含隐私保护模块，如伪交互物品采样和LDP保护，确保数据安全。

VFGNN则关注数据孤岛问题，通过多方计算生成初始节点embedding，并在保证隐私的前提下进行本地和全局embedding的生成。此算法确保数据安全的同时，提升模型性能。

联邦GNN领域近年来发展迅速，已有多个开源项目如FedGraphNN，为实际应用提供了支持。研究者提出了多种算法，以解决不同场景下的隐私保护和数据共享问题。