[發明專利]一種基于共享數據的模型訓練方法及裝置

有效

• 申請號: 201710652323.2
• 申請日: 2017-08-02
• 公開（公告）號: CN109388662B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 李龍飛
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳蕾

1.一種基于共享數據的模型訓練方法，數據挖掘方維護全局參數集W^global＝(W¹,W²,…,W^U)，其中W^u(u＝1、2…U)為對應于數據提供方u的自有數據特征X^u的參數集；

所述方法包括：利用以下步驟進行迭代訓練，直到滿足模型訓練要求：

任一數據提供方u從數據挖掘方下載W^u，利用具有特征X^u的本地數據以及下載得到的W^u計算grad^u，并將grad^u上傳至數據挖掘方，其中grad^u為模型代價函數J(w)的關于數據特征X^u的梯度值；

數據挖掘方獲得各數據提供方u上傳的grad^u，利用grad^u以及參數更新公式對W^global進行更新；其中，所述參數更新公式根據J_N(w)確定，J_N(w)為對J(w)添加噪聲處理后的模型代價函數，且J_N(w)滿足差分隱私定義。

2.根據權利要求1所述的方法，所述J_N(w)由J(w)和N(w)共同確定，其中N(w)為噪聲項，且

n為參與運算的樣本數量，

w為長度為L的向量，L為W^global中包含的參數總數，

beta＝η*φ，η為從標準高斯分布中采樣出的長度為L的向量，φ為從α＝L、的伽馬分布中采樣出的標量，

ε和c為設定的噪聲參數。

3.根據權利要求2所述的方法，J_N(w)＝J(w)+N(w)，所述J(w)為不包含正則化的代價函數，或者所述J(w)為包含正則化的代價函數。

4.根據權利要求2所述的方法，所述J(w)為包含正則化的代價函數：

其中λ為2范數的約束系數；

則所述

5.根據權利要求4所述的方法，所述參數更新公式為：

其中a為設定的學習率，beta^u為beta中對應于W^u的分量。

6.一種基于共享數據的模型訓練方法，數據挖掘方維護全局參數集W^global＝(W¹,W²,…,W^U)，其中W^u(u＝1、2…U)為對應于數據提供方u的自有數據特征X^u的參數集；

所述方法包括：利用以下步驟進行迭代訓練，直到滿足模型訓練要求：

任一數據提供方u從數據挖掘方下載W^u，利用具有特征X^u的本地數據以及下載得到的W^u計算grad^u；所述grad^u為模型代價函數J(w)的梯度；

將grad^u上傳至數據挖掘方，以使得數據挖掘方利用各數據提供方u上傳的grad^u以及參數更新公式對W^global進行更新；所述參數更新公式根據J_N(w)確定，J_N(w)為對J(w)添加噪聲處理后的模型代價函數，且J_N(w)滿足差分隱私定義。