[發明專利]一種基于同態加密的線性回歸縱向聯邦學習方法

在審

• 申請號: 202210064492.5
• 申請日: 2022-01-20
• 公開（公告）號: CN114547643A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 何道敬;袁露
• 申請（專利權）人: 華東師范大學;上海境山科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/00
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于同態加密的線性回歸縱向聯邦學習方法，其特征在于，該方法包括下述步驟：

步驟1：構建基于同態加密的線性回歸訓練模型：

數據應用者即owner：同時持有數據矩陣和類標簽的數據提供者；

數據持有者即consumer：將只有一個數據矩陣的數據提供者定義為數據持有者；數據持有者在聯邦學習中扮演客戶的角色；

步驟A1：初始化模型參數W_A∈R^1*a，W_B∈R^1*b，特征值X_A∈R^n*a，X_B∈R^n*b，owner利用Paillier算法生成公私鑰對；所述W_A∈R^1*a為owner的模型參數，n表示有n個樣本，a表示owner有a個特征值，X_A表示owner的特征值；W_B∈R^1*b，b表示consumer有b個特征值，R表示矩陣，Paillier為一種同態加密算法，初始化模型閾值Limites；

步驟A2：consumer和owner分別計算特征值與特征矩陣的乘積，consumer計算加密后的特征值與特征矩陣乘積：發給owner，owner將其解密，然后帶入線性回歸方程計算預測值并計算加密后的實際值與預測值的誤差即：發給consumer，Encrypt()表示加密，y′表示線性回歸方程的預測值，T表示矩陣轉置；

步驟A3：利用偏導值更新參數，owner計算偏導值owner更新模型參數W_A＝W_A-nL_A∈R^1*a，owner將加密的偏導值發送給consumer，同理利用加法同態性consumer更新模型參數Encrypt(W_B)＝Encrypt(W_B)-nEncrypt(L_B)∈R^1*b，L_A表示owner偏導值，L_B表示consumer偏導值，η表示學習率；

步驟A4：一直重復步驟A2和步驟A3，直到滿足其中：sum是指求和，是一個向量，表示實際類標簽與預測類標簽的差值，整體即：本輪向量內所有元素之和與上輪向量元素之和的差與閾值Limites的比較；

步驟A5：步驟4執行完畢之后owner直接獲得更新后的模型參數W_A∈R^1*a，consumer在本地得到Encrypt(W_B)，利用加法同態性，consumer選擇隨機向量R_B∈R^1*b并計算；Encrypt(W_B+R_B)＝Encrypt(R_BW_B)發送給owner，owner解密之后consumer再減去隨機矩陣即可獲得自己更新后的參數Decrypt(W_B)＝Decrypt(Encrypt(W_B+R_B))-R_B；

consumer和owner得到了縱向聯邦學習的模型參數W_B，W_A；其中，Decrypt()表示解密；

步驟2：去除第三方對模型進行預測或基于差分隱私的借助第三方對模型進行預測：

步驟B1：owner利用得到的模型參數W_A，計算

步驟B2：consumer計算發給owner；

步驟B3：owner計算并將結果返回給consumer；

consumer得到了預測值：類標簽y；

基于差分隱私的借助第三方模型預測：

步驟C1：owner計算Encrypt(W_A)∈R^1*n并發送給Carol，Carol表示可信第三方，同時擁有consumer和owner的特征值X_B，X_A；

步驟C2：Carol計算和發送給consumer；

步驟C3：consumer計算發送給Carol，Lap(0，1)表示拉普拉斯噪音：

步驟C4：Carol計算Encrypt(y)+Random發送給owner，Random是隨機向量；

步驟C5：Owner計算y+Random＝D(Encrypt(y+Random))發送給Carol；

Carol得到最終的預測結果：類標簽y。