[發明專利]樣本數據處理方法、裝置及多方模型訓練系統

有效

• 申請號: 202010411914.2
• 申請日: 2020-05-15
• 公開（公告）號: CN111401483B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 鄭龍飛;周俊;王力;陳超超
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N20/00
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 林錦輝;劉景峰

1.一種用于多方模型訓練的樣本數據處理方法，所述多方包括至少兩個第一成員節點，每個第一成員節點具有本地數據，所述至少兩個第一成員節點的本地數據組成用于模型訓練的第一樣本數據集，并且每個第一成員節點的本地數據包括第一樣本數據的部分維度數據，所述方法包括：

基于樣本數據的數據標簽，將第一樣本數據集分類為第二樣本數據集和第三樣本數據集，所述第二樣本數據集中的第二樣本數據具有唯一數據標簽，以及所述第三樣本數據集中的第三樣本數據具有至少兩個不同的數據標簽；

使用所述第二樣本數據集來進行模型訓練，以訓練出模型的第一模型參數；

基于具有所述第一模型參數的模型來對各個第一成員節點的本地數據進行數據質量評估，以得到各個第一成員節點的數據質量性能指標；以及

基于各個第一成員節點的數據質量性能指標，對所述第三樣本數據集中的第三樣本數據進行標簽重構，所述經過標簽重構后的第三樣本數據具有唯一數據標簽，

其中，在將第一樣本數據集分類為第二樣本數據集和第三樣本數據集之前，所述樣本數據處理方法還包括：

根據各個第一成員節點的本地數據的數據標識，對各個第一成員節點的本地數據進行聚合處理，以得到所述第一樣本數據集，所述第一樣本數據集中的每個第一樣本數據由各個第一成員節點的具有相同數據標識的本地數據組成。

2.如權利要求1所述的樣本數據處理方法，其中，各個第一成員節點的本地數據包括本地私有數據，根據各個第一成員節點的本地數據的數據標識，對各個第一成員節點的本地數據進行聚合處理，以得到第一樣本數據集包括：

利用PSI協議來在各個第一成員節點之間，根據各個第一成員節點的本地數據的數據標識，對各個第一成員節點的本地數據進行聚合處理，以得到第一樣本數據集。

3.如權利要求1所述的樣本數據處理方法，其中，各個第一成員節點的本地數據包括本地私有數據，根據各個第一成員節點的本地數據的數據標識，對各個第一成員節點的本地數據進行聚合處理，以得到第一樣本數據集包括：

在可信計算環境中，根據各個第一成員節點的本地數據的數據標識，對各個第一成員節點的本地數據進行聚合處理，以得到第一樣本數據集。

4.如權利要求1所述的樣本數據處理方法，其中，基于具有所述第一模型參數的模型來確定出各個第一成員節點的數據質量性能指標包括：

將各個第一成員節點的第四樣本數據集作為具有所述第一模型參數的模型的測試集進行模型測試，以得到各個第一成員節點的模型性能指標，各個第一成員節點的模型性能指標用作各個第一成員節點的數據質量性能指標，

其中，各個第一成員節點的第四樣本數據集是從所述第二樣本數據集中去除該第一成員節點的本地數據而得到的樣本數據集。

5.如權利要求4所述的樣本數據處理方法，還包括：

對所得到的各個第一成員節點的模型性能指標進行歸一化處理，各個第一成員節點的經過歸一化后的模型性能指標用作各個第一成員節點的數據質量性能指標。

6.如權利要求2所述的樣本數據處理方法，其中，基于樣本數據的數據標簽，將所述第一樣本數據集分類為第二樣本數據集和第三樣本數據集包括：

在各個第一成員節點處，基于樣本數據的數據標簽，將所述本地數據分類為第二樣本數據子集和第三樣本數據子集，各個第一成員節點的第二樣本數據子集組成所述第二樣本數據集，以及各個第一成員節點的第三樣本數據子集組成所述第三樣本數據集。

7.如權利要求1到6中任一所述的樣本數據處理方法，還包括：

使用所述第二樣本數據集和經過標簽重構后的第三樣本數據集再次進行模型訓練，以得到所述模型的目標模型參數。

8.如權利要求7所述的樣本數據處理方法，其中，所述第一模型參數是使用所述第二樣本數據集和經過標簽重構后的第三樣本數據集再次進行模型訓練時的初始模型參數。