[發明專利]一種非交互式隱私保護多方機器學習方法

有效

• 申請號: 202010092237.2
• 申請日: 2020-02-14
• 公開（公告）號: CN111260081B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 李進;李同;向曉宇
• 申請（專利權）人: 廣州大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F21/60
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 林梅繁

1.一種非交互式隱私保護多方機器學習方法，其特征在于，所述方法構建了非交互式隱私保護機器學習架構，所述架構包括三種實體：

數據屬主，為擁有數據集，并為機器學習分類器的訓練提供訓練數據，且不需要獲得訓練結果的實體；

數據服務提供者，為不可信的輔助服務器，在訓練期間承擔加密和運算操作，包括發布公共參數，向數據屬主頒發加密密鑰，以及與訓練者合作進行訓練；

訓練者，從數據屬主處收集數據作為訓練數據集，利用該訓練數據集訓練并建立機器學習分類器模型；

所述方法包括以下步驟：

S1、數據服務提供者生成公共參數，并初始化具有安全參數的公鑰加密方案，然后為每個數據屬主生成私鑰與公鑰密鑰對，并將公鑰分發給該數據屬主；每一個訓練者生成加密密鑰對，并公布自己的加密公鑰；

S2、數據屬主對自己數據集中的每一個記錄使用公鑰加密方案進行加密，數據屬主將加密的數據集上傳給訓練者，訓練者收集后將其作為訓練數據集的一部分；

S3、在訓練者與數據服務提供者之間運行若干訓練輪隱私保護訓練協議，最終訓練者得到訓練完成的機器學習分類器模型，同時數據服務提供者無法以明文的形式揭示機器學習分類器模型的內容；

步驟S1中，公鑰加密方案為基于CCA-2安全的公鑰加密方案PKE＝{Gen,Enc,Dec}，其模數為n；當需要加密一個訓練樣本實例x與其對應的標簽y時，數據屬主需要使用公鑰pk進行加密：

(1)隨機選擇一對互逆的a階非奇異矩陣A，其中每個元素均在以n為階的循環群上，并將A設置為z⁽¹⁾；

(2)將A^-1*x加密為PKE.Enc_pk(A^-1*x)并設置為z⁽²⁾；

(3)將z＝z⁽¹⁾||z⁽²⁾作為密文；

步驟S3在每個訓練輪中，訓練者使用隨機梯度下降法選擇收集得到的部分訓練集，使用盲化算法隱藏當前模型得到盲化模型，并向數據服務提供者發送訓練請求；數據服務提供者接收到請求后，在盲化模型和加密訓練集上進行梯度計算，之后把結果返回給訓練者；訓練者對返回結果進行去盲化后得到當前梯度，利用當前梯度對當前機器學習分類器模型進行更新，一旦達到最大的訓練輪數或機器學習分類器模型收斂，則隱私保護訓練協議結束，并得到最終的機器學習分類器模型。

2.根據權利要求1所述的非交互式隱私保護多方機器學習方法，其特征在于，步驟S1中每一個訓練者生成的加密密鑰對為Paillier加密密鑰對。

3.根據權利要求2所述的非交互式隱私保護多方機器學習方法，其特征在于，所述Paillier加密為加同態加密方案，為在加法群上實現的同態加密方案。

4.根據權利要求1所述的非交互式隱私保護多方機器學習方法，其特征在于，在每個訓練輪t中，執行以下步驟：

(1)訓練者將當前分類器模型θ_t-1盲化為盲化模型θ_t-1’以保護其隱私性，并用隨機梯度下降法選擇一個小批次的加密數據集{z}，之后將其中的一部分加密數據集{z⁽²⁾}與盲化模型θ_t-1’傳輸給數據服務提供者作為請求；

(2)數據服務提供者利用訓練者上傳的請求，以隱私保護的形式完成梯度計算，得到被盲化的梯度G’并返回給訓練者；

(3)訓練者對被盲化的梯度G’進行解盲，得到當前訓練輪的梯度G，并利用梯度下降法更新得到當前訓練輪的模型θ_t＝θ_t-1-ηG，其中η為學習率。