深入理解联邦学习——纵向联邦学习

von Neumann

已于 2023-09-25 19:46:18 修改

阅读量1.9k

点赞数 2

分类专栏：深入理解联邦学习文章标签：人工智能联邦学习隐私机器学习深度学习

于 2023-09-07 20:31:45 首次发布

本文链接：https://blog.csdn.net/hy592070616/article/details/132699917

版权

7 篇文章

订阅专栏

假设进行联邦学习的数据提供方为 $A$ 和 $B$ ，第三方为 $C$ ，则纵向联邦学习步骤如下：

纵向联邦学习

我们以岭回归为例说明纵向联邦学习的训练过程。假设存在数据集 $\{x_i^A\}(i\in D_A)$ 和数据集 $\{x_i^B, y_i^B\}(i\in D_B)$ ，其中 $B$ 为拥有类标的数据拥有方，我们以线性回归为例说明纵向联邦学习的训练过程：

$A$ 和 $B$ 分别初始化模型参数 $\Theta_A$ 和 $\Theta_B$ ，则目标函数为： $\min_{\Theta_A, \Theta_B}\sum_i(\Theta_Ax_i^A+\Theta_Bx_i^B-y_i)^2+\frac{\lambda}{2}(||\Theta_A||^2+||\Theta_B||^2)$
令 $u_i^A=\Theta_Ax_i^A$ 和 $u_i^B=\Theta_Bx_i^B$ ，则对原目标函数同态加密后（ $[[\cdot]]$ 表示同态加密）可表示为： $\begin{aligned}[[L]] &= [[\sum_i(u_i^A+u_i^B-y_i)^2+\frac{\lambda}{2}(||\Theta_A||^2+||\Theta_B||^2)]]\\&=[[\sum_i(u_i^A)^2+\frac{\lambda}{2}||\Theta_A||^2]]+[[\sum_i((u_i^B-y_i)^2)+\frac{\lambda}{2}||\Theta_B||^2]]+2\sum_i([[u_i^A]](u_i^B-y_i))\end{aligned}$
我们令： $\begin{aligned}[[L_A]]&=[[\sum_i(u_i^A)^2+\frac{\lambda}{2}||\Theta_A||^2]] \\ [[L_B]]&=[[\sum_i((u_i^B-y_i)^2)+\frac{\lambda}{2}||\Theta_B||^2]] \\ [[L_{AB}&=2\sum_i([[u_i^A]](u_i^B-y_i))]] \\ [[d_i]]&=[[u_i^A]]+[[u_i^B-y_i]]\end{aligned}$ 则 $L]]=[[L_A]]+[[L_B]]+[[L_{AB}]]$
计算梯度： $\begin{aligned}[[\frac{\partial L}{\partial\Theta_A}]]&=\sum_i[[d_i]]x_i^A+[[\lambda\Theta_A]]\\ [[\frac{\partial L}{\partial\Theta_B}]]&=\sum_i[[d_i]]x_i^B+[[\lambda\Theta_B]]\end{aligned}$

针对数据提供方为 $A$ 和 $B$ 以及第三方为 $C$ ，纵向联邦学习的训练步骤如下：

$\qquad\quad$	数据提供方为 $A$	数据提供方为 $B$	第三方为 $C$
步骤 $1$	初始化参数 $\Theta_A$	初始化参数 $\Theta_B$	创建加密秘钥对，并将公钥发送给数据提供方为 $A$ 和 $B$
步骤 $2$	计算 $u_I^A]]$ 和 $L_A]]$ 并发送给数据提供方 $B$	计算 $u_I^B]]$ 、 $d_i]]$ 和 $[[L]]$ ，并将 $d_i]]$ 发送给数据提供方 $A$ ，将 $[[L]]$ 发送给第三方 $C$
步骤 $3$	初始化掩码 $R_A$ ，计算 $[[\frac{\partial L}{\partial\Theta_A}]]+[[R_A]]$ 并发送给第三方 $C$	初始化掩码 $R_B$ ，计算 $[[\frac{\partial L}{\partial\Theta_B}]]+[[R_B]]$ 并发送给第三方 $C$	解密 $L$ 并发送 $\frac{\partial L}{\partial\Theta_A} + R_A$ 给数据提供方 $A$ ，发送 $\frac{\partial L}{\partial\Theta_B} + R_A$ 给数据提供方 $B$
步骤 $4$	更新参数 $\Theta_A$	更新参数 $\Theta_B$