[發明專利]機器學習模型訓練方法及裝置

在審

• 申請號: 201910327485.8
• 申請日: 2019-04-23
• 公開（公告）號: CN111832591A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 周俊
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 林錦輝

本公開提供一種用于模型訓練的方法和裝置。在全局模型裝置處，將訓練樣本數據集分為多個獨立的訓練樣本數據子集，利用各個訓練樣本數據子集來分別單獨訓練出多個全局子模型，該多個全局子模型進行模型融合后得到全局模型。在進行本地模型訓練時，本地模型訓練裝置將無標記樣本數據發送到全局模型側，利用全局模型來得到該樣本數據的標記值，然后，在本地利用該樣本數據以及對應的標記值來訓練出用戶本地模型，并將所訓練出的本地模型部署在用戶本地進行模型預測服務。利用該模型訓練方法及裝置，能夠保護訓練數據的數據泄露。

技術領域

本公開通常涉及計算機技術領域，更具體地，涉及機器學習模型訓練方法及裝置。

背景技術

在一些機器學習應用中，機器學習模型的訓練會涉及到敏感數據，比如，在訓練用于檢測圖片是否為人臉的模型時，需要使用大量的人臉數據，在訓練用于醫療診斷的模型時，需要使用大量的個人隱私數據。

經過研究發現，利用反向工程技術，可以基于機器學習模型的預測結果來重建模型訓練時所使用的訓練數據。由此可見，傳統的模型訓練方式會有較大可能性導致個人隱私數據的泄露，比如，通過大量的查詢得到大量模型預測結果，然后基于所得到的模型預測結果來重建訓練數據，從而獲取用于模型訓練數據的個人隱私數據。

發明內容

鑒于上述，本公開提供了一種模型訓練方法及裝置。利用該模型訓練方法及裝置，能夠保護訓練數據的數據泄露。

根據本公開的一個方面，提供了一種用于模型訓練的方法，包括：向全局模型裝置發送至少一個第一樣本數據，以在所述全局模型裝置處基于全局模型得到所述至少一個第一樣本數據的標記值，所述第一樣本數據是無標記樣本數據；以及在用戶本地處使用所述至少一個第一樣本數據以及對應的標記值來訓練本地模型，其中，所述全局模型包括至少一個全局子模型，每個全局子模型是利用獨立的第二樣本數據集訓練出的。

可選地，在上述方面的一個示例中，所述第二樣本數據集是通過對樣本數據集進行劃分后得到的或者是通過不同數據采集設備采集的。

可選地，在上述方面的一個示例中，所述方法還可以包括：在用戶本地處采集所述至少一個第一樣本數據。

可選地，在上述方面的一個示例中，所述至少一個第一樣本數據是公開的樣本數據。

可選地，在上述方面的一個示例中，所述至一個第一樣本數據中的各個第一樣本數據的標記值是通過將該第一樣本數據輸入到所述至少一個全局子模型中的各個全局子模型進行預測并對所得到的各個全局子模型的預測值進行融合后得到的。

可選地，在上述方面的一個示例中，所述各個全局子模型的預測值是經過噪聲添加處理后的預測值。

根據本公開的另一方面，提供一種用于模型訓練的方法，包括：從用戶本地接收至少一個第一樣本數據，所述第一樣本數據是無標記樣本數據；將所述至少一個第一樣本數據提供給全局模型，以得到所述至一個第一樣本數據的標記值；以及將所得到的所述至一個第一樣本數據的標記值發送給所述用戶本地，以在所述用戶本地處使用所述至少一個第一樣本數據以及對應的標記值來訓練本地模型，其中，所述全局模型包括至少一個全局子模型，每個全局子模型是利用獨立的第二樣本數據集訓練出的。

可選地，在上述方面的一個示例中，所述第二樣本數據集是通過對樣本數據集進行劃分后得到的或者是通過不同數據采集設備采集的。

可選地，在上述方面的一個示例中，將所述至少一個第一樣本數據提供給全局模型，以得到所述至一個第一樣本數據的標記值包括：將所述至少一個第一樣本數據中的每個第一樣本數據分別輸入到所述至少一個全局子模型中的各個全局子模型進行預測；以及對所得到的每個第一樣本數據的各個全局子模型的預測值進行融合以得到該樣本數據的標記值。