FedOVA: An Efficient Federated Learning Approach for Non-IID Data with One-vs-All Training

我们的起点是利用梯度和曲率信息找到一个'更好'的下降方向，从而显著加速收敛速度。在此基础上，为了解决非独立同分布问题，我们提出了一个简单而优雅的训练方案，即FedOVA（联邦One-vs-All），通过将多分类任务分解成多个二分类任务，可以有效地处理FEEL中的非独立同分布数据。具体来说，我们的洞见是通过引入One-vs-All [17]训练方案，在客户端将联邦多分类分类任务分解为多个二分类任务。特别是，本文的主要贡献如下：