[發明專利]一種基于共享數據的模型訓練方法及裝置

有效

• 申請號: 201710650740.3
• 申請日: 2017-08-02
• 公開（公告）號: CN109388661B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 趙沛霖;李龍飛;周俊;李小龍
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/23
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳蕾

1.一種基于共享數據的模型訓練方法，數據挖掘方以及至少1個數據提供方分別維護針對訓練樣本數據特征集的模型參數，其中：

數據挖掘方維護公用參數集W^global；每個數據提供方u分別維護自有參數集W^u；

所述方法包括：利用以下步驟進行迭代訓練，直到滿足模型訓練要求：

數據提供方u從數據挖掘方下載公用參數，利用下載結果替換本地維護的自有參數集W^u；

利用本地數據以及模型參數更新算法，對替換后得到的自有參數集W^u進行更新；

將更新結果上傳至數據挖掘方，使得數據挖掘方利用數據提供方上傳的更新結果更新公用參數集W^global。

2.根據權利要求1所述的方法，所述從數據挖掘方下載公用參數，包括：

數據提供方u從數據挖掘方下載公用參數子集W^global→u；

其中，W^global→u的參數數量N_download^u小于W^global的參數數量N。

3.根據權利要求2所述的方法，所述從數據挖掘方下載公用參數，包括：

不同數據提供方從數據挖掘方下載針對不同特征的公用參數子集。

4.根據權利要求2所述的方法，所述從數據挖掘方下載公用參數，包括：

數據提供方u在每次迭代過程中，從數據挖掘方下載針對不同特征的公用參數子集。

5.根據權利要求1所述的方法，所述將更新結果上傳至數據挖掘方，包括：

將更新后得到的參數值上傳至數據挖掘方；或者

將更新過程中參數的變化值上傳至數據挖掘方。

6.根據權利要求1所述的方法，所述將更新結果上傳至數據挖掘方，包括：

數據提供方u確定自有參數子集W^u→global，將W^u→global對應的參數更新結果上傳至數據挖掘方；

其中，W^u→global的參數數量N_upload^u小于W^u的參數數量N。

7.根據權利要求6所述的方法，所述確定自有參數子集W^u→global，包括：

對更新過程中W^u各參數的變化值大小進行排序，選擇變化值較大的一個或多個變化值所對應的參數構成W^u→global。

8.根據權利要求1所述的方法，所述將更新結果上傳至數據挖掘方，包括：

將更新結果截斷至預設的數值范圍后，上傳至數據挖掘方；或者

對更新結果進行添加噪聲處理后，上傳至數據挖掘方。

9.一種基于共享數據的模型訓練裝置，數據挖掘方以及至少1個數據提供方分別維護針對訓練樣本數據特征集的模型參數，其中：

數據挖掘方維護公用參數集W^global；每個數據提供方u分別維護自有參數集W^u,；

所述裝置包括以下用于實現迭代訓練的模塊：

公用參數下載模塊，用于數據提供方u從數據挖掘方下載公用參數，利用下載結果替換本地維護的自有參數集W^u；

自有參數更新模塊，用于利用本地數據以及模型參數更新算法，對替換后得到的自有參數集W^u進行更新；

更新結果上傳模塊，用于將更新結果上傳至數據挖掘方，使得數據挖掘方利用數據提供方上傳的更新結果更新公用參數集W^global。