PyTorch设置随机数种子使结果可复现

Centos7 上 GitLab 详细安装步骤

  返回  

正类标签的联邦学习(Federated Learning with Only Positive Labels)

2021/7/20 15:46:53 浏览:

Federated Learning with Only Positive Labels

论文传送:https://arxiv.org/pdf/2004.10342.pdf

以下是个人理解,欢迎批评指正!

论文概括:

本文主要针对的是一种横向联邦non-iid场景下的极端问题(即每方仅持有一类标签)进行讨论。按照传统联邦学习架构,通过SGD迭代后将会导致变成一个单一分类器,特别是针对嵌入分类器,这将导致结果输出为单一的点。因此,本文提出FedAwS,一种仅使用正标签进行训练的通用框架。

分类模型:

将分类模型重定义为:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r0C8dAX1-1626766580694)(https://www.zhihu.com/equation?tex=f%28x%29+%3D+Wg_%7B%5Ctheta%7D%28x%29)]

其中 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ynpEtWcI-1626766580696)(https://www.zhihu.com/equation?tex=g_%5Ctheta%3A%5Cchi%5Cto%7B%5Cmathcal%7BR%7D%7D%5Ed%2CW%5Cin%7B%5Cmathcal%7BR%7D%7D%5E%7BC%5Ctimes+d%7D)] ,重定义后的分类模型将输入数据通过 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J3WW2NTA-1626766580697)(https://www.zhihu.com/equation?tex=g_%5Ctheta%28x%29)] 将高维特征映射到d维,后通过embedding矩阵将低维特征计算其在C分类结果。由此该分类模型由参数 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bTd5JRcC-1626766580697)(https://www.zhihu.com/equation?tex=%5C%7BW%2C%5Ctheta%5C%7D)] 定义。

本地模型更新方式(梯度下降):

img

全局模型参数更新方式(同横向联邦):

img

损失函数定义:包括正项和负项的区分

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VYmKnUQk-1626766580699)(/Users/chenxiaolin/Library/Application Support/typora-user-images/image-20210720152040480.png)]

目标是为了:

1)使得嵌入向量和正类嵌入向量足够接近

2)使得嵌入向量和负类嵌入向量足够远离

为了保证类向量间不同嵌入向量的距离,我们引入几何正则项:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cDzWavBn-1626766580700)(/Users/chenxiaolin/Library/Application Support/typora-user-images/image-20210720152904949.png)]

算法

设定有C个参与者参与,第i个参与者拥有第i类的数据集。便于理解直接就算法流程图讲解,见下图。

img

该算法中值得注意的点有两点:

每个Client仅负责embedding矩阵W中的某一个行向量 ,可以从第13行看出。
关于embedding矩阵 W的更新是在Server端进行梯度下降的更新。

实验结果:

## [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hDk9Fzie-1626766580704)(/Users/chenxiaolin/Library/Application Support/typora-user-images/image-20210720153149758.png)]

个人理解:该论文针对极端条件下的嵌入多任务联邦学习分类做了一定改进,侧重理论分析部分,但是在实际应用中,几乎不存在这样的场景,实际意义不大,理论意义更多一些。

联系我们

如果您对我们的服务有兴趣,请及时和我们联系!

服务热线:18288888888
座机:18288888888
传真:
邮箱:888888@qq.com
地址:郑州市文化路红专路93号