[發明專利]一種隱私保護的神經網絡多方協作無損訓練方法及系統

有效

• 申請號: 202110560355.6
• 申請日: 2021-05-22
• 公開（公告）號: CN113435592B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 朱輝;趙家奇;胡國靖;王楓為;季琰;徐奇
• 申請（專利權）人: 西安電子科技大學;中移（蘇州）軟件技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F21/54;G06N3/04;G06N3/06
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種信息安全數據處理終端，其特征在于，所述信息安全數據處理終端用于實現一種隱私保護的神經網絡多方協作無損訓練方法，所述隱私保護的神經網絡多方協作無損訓練方法包括：

系統初始化，可信中心生成并分發系統參數、參與方私鑰和聚合服務器私鑰，聚合服務器生成神經網絡模型和訓練中的超參數；所述系統初始化具體包括：

(1)可信中心接收來自參與方的參與訓練請求，生成參與方列表列表中的每一個參與方表示為P_i，i＝1,2,...,n'；

(2)可信中心選擇安全參數κ和參與方門限t，tn'，其中K表示系統達到的安全等級，t表示完成模型訓練所需的最小參與方個數；

(3)可信中心生成并分發系統所需的公共參數和密鑰：

1)可信中心生成Paillier密碼系統的參數，包括密鑰λ和公共參數(g，N)；

2)可信中心選擇大素數p′并計算h＝g^p′mod?N²；

3)可信中心發布公共參數PP＝κ，t，S，g，h，N，其中S表示列表的大小；

4)可信中心向聚合服務器發送聚合服務器私鑰SK＝λ，p′；

5)可信中心選擇t-1個隨機數構造多項式f(x)＝a₁·x+a₂·x²+…+a_t-1·x^t-1mod?p；

6)可信中心對于所有計算并發送給相應的P_i；

(4)聚合服務器生成并公布模型訓練所需的參數：

1)聚合服務器隨機生成全局神經網絡模型參數W_g＝{W₀，W₁，...，W_h}；

2)聚合服務器選擇模型擾動的參數和其中N_p表示神經元裁剪的個數，N_s表示神經元打亂的次數；

3)聚合服務器選擇模型訓練的超參數，包括學習率α和本地訓練次數E；

(5)系統初始化完成后，可信中心保持離線狀態，參與方和聚合服務器共同執行以下模型訓練流程直到模型達到收斂；

模型擾動和分發，聚合服務器對全局模型參數進行裁剪和打亂，并下發擾動后的模型；所述所述模型擾動和分發具體包括：

(1)對于全局模型的第l層l＝1,…,h，聚合服務器計算兩兩神經元對之間的距離，構成距離矩陣ζ并迭代地裁剪個神經元：

1)聚合服務器找到矩陣ζ中的最小值，它的坐標記作(m，n)；

2)聚合服務器將第n個神經元刪除并將其融合到第m個神經元上，具體包括：刪除矩陣W_l的第n列，通過公式更新矩陣W_l+1的第m行，以及刪除矩陣W_l+1的第n行；

3)聚合服務器通過刪除ζ的第m行和第m列，以及重新計算ζ的第n列，更新距離矩陣ζ；

(2)對于全局模型的第l層l＝1,…,h，聚合服務器進行次隨機神經元打亂為打亂順序的記錄：

1)聚合服務器隨機生成一對值(i，j)并記錄到中；

2)聚合服務器交換矩陣W_l的第i₀列和第j₀列，交換矩陣W_l+1的第i₀行和第j₀行；

3)聚合服務器將擾動后的全局模型參數分發給中的每一個參與方P_i，并將訓練完成列表置為空集，等待各參與方完成訓練；

本地訓練和加密，參與方用本地數據對收到的模型參數進行隨機梯度下降訓練，獲得本地更新，并使用參與方私鑰對本地更新進行加密后上傳給聚合服務器；所述本地訓練和加密具體包括：

(1)中的參與方P_i在本地數據集上執行E輪mini-batch隨機梯度下降訓練，學習率為α，得到本地更新ω_i，并在完成訓練后發送完成信號給聚合服務器；

(2)聚合服務器將收到的完成信號對應的參與方P_i加入到訓練完成列表中；

(3)聚合服務器在不再收到訓練完成信號后，保證中的元素個數應大于t個，然后向計算并發送對應的加密參數γ_i：

(4)收到加密參數γ_i的參與方P_i對向聚合服務器加密并發送本地更新

安全聚合和模型恢復，聚合服務器對收到的各密文本地更新進行聚合、聚合服務器私鑰解密，得到聚合更新，并通過模型恢復得到新的全局模型參數；所述安全聚合和模型恢復具體包括：

(1)聚合服務器對收到的密文本地更新進行聚合得到密文聚合更新

(2)聚合服務器對聚合結果進行解密得到明文聚合更新ω_g：

其中L(u)＝(u-1)/N；

(3)聚合服務器對明文聚合更新ω_g進行模型恢復，得到新的全局模型W_g：

1)聚合服務器對于ω_g的第l層l＝1,…,h，根據打亂順序記錄恢復ω_g中第l個矩陣和第l+1個矩陣的原始順序；

2)聚合服務器根據裁剪次數向ω_g中第l個矩陣中插入個隨機列，向ω_g中第l+1個矩陣中插入個隨機行；

(4)聚合服務器用本輪完成訓練的參與方列表替換列表以進行下一輪的訓練。