[發明專利]保護多方數據隱私的聯合建模方法及裝置

有效

• 申請號: 202110188950.1
• 申請日: 2021-02-19
• 公開（公告）號: CN112560105B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 黃諍杰;譚瀟;陳帥
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種保護多方數據隱私的聯合建模方法，所述多方各自存儲訓練樣本集，其中各個訓練樣本具有對應多個特征項的特征值以及對應標簽項的標簽值；該方法應用于任一的第一方，包括：基于第一訓練樣本集，確定該多個特征項與該標簽項之間的多個第一關聯度，并獲取第二方確定的多個第二關聯度，進而針對該各個特征項，確定其所對應的第一關聯度和第二關聯度之間的差異度，得到多個差異度；確定該多個特征項在利用第一訓練樣本集構建的第一樹模型中的多個第一重要性權重，并利用其對上述多個差異度進行加權處理，得到特征分布差異分數；在此特征分布差異分數符合預定條件的情況下，將第二方歸為與第一方進行聯合建模的參與方。

技術領域

本說明書實施例涉及機器學習技術領域，尤其涉及一種保護多方數據隱私的聯合建模方法及裝置。

背景技術

計算機技術的發展，使得機器學習在各種各樣的業務場景中得到越來越廣泛的應用。聯邦學習是一種在保護隱私數據情況下進行聯合建模的方法。例如，企業與企業之間需要進行合作安全建模，可以進行聯邦學習，以便在充分保護企業數據隱私的前提下，使用各方的數據對數據處理模型進行協作訓練，從而更準確、有效地處理業務數據。在聯邦學習場景中，各方例如可以商定模型結構（或約定模型）后，各自使用隱私數據在本地進行訓練，并將模型參數使用安全可信的方法進行聚合，最后各方根據聚合后模型參數改進本地模型。聯邦學習在隱私保護基礎上，有效打破數據孤島，實現多方聯合建模。

然而，目前聯邦學習的方式在訓練效率上表現較差。因此，需要一種方案，可以在保證聯邦學習的訓練效果的同時，提高聯邦學習的訓練效率。

發明內容

在本說明書實施例描述的保護多方數據隱私的聯合建模方法及裝置中，通過對聯合建模的參與方進行有效篩選，實現在保證聯合建模效果的同時，提高聯合建模的訓練效率。

根據第一方面，提供一種保護多方數據隱私的聯合建模方法，所述多方各自存儲訓練樣本集，其中各個訓練樣本具有對應多個特征項的特征值以及對應標簽項的標簽值；所述方法應用于任一的第一方，包括：

基于第一訓練樣本集，確定所述多個特征項中各個特征項與所述標簽項之間的關聯度，得到多個第一關聯度；獲取第二方基于第二訓練樣本集確定的多個第二關聯度；針對所述各個特征項，確定其所對應的第一關聯度和第二關聯度之間的差異度，得到所述多個特征項對應的多個差異度；利用所述第一訓練樣本集，構建第一樹模型；確定所述多個特征項在所述第一樹模型中的多個第一重要性權重；利用所述多個第一重要性權重，對所述多個差異度進行加權處理，得到特征分布差異分數；在所述特征分布差異分數符合預定條件的情況下，將所述第二方歸為與所述第一方進行聯合建模的參與方。

在一個實施例中，基于第一訓練樣本集，確定所述多個特征項中各個特征項與所述標簽項之間的關聯度，得到多個第一關聯度，包括：針對各個特征項，對其在所述第一訓練樣本集中對應的多個特征值進行分箱處理，得到分箱結果，其中包括所述多個特征值與多個分箱類別之間的映射關系；針對所述多個分箱類別中的各個分箱類別，確定其在所述第一訓練樣本集中對應不同標簽值的樣本分布；根據所述多個分箱類別對應的多個樣本分布，計算對應特征項的卡方檢驗值，作為第一關聯度。

在一個實施例中，針對所述各個特征項，確定其所對應的第一關聯度和第二關聯度之間的差異度，得到所述多個特征項對應的多個差異度，包括：針對所述各個特征項，確定其所對應的第一關聯度和第二關聯度之間的絕對差值，作為差異度。

在一個實施例中，確定所述多個特征項在所述第一樹模型中的多個第一重要性權重，包括：確定所述各個特征項在所述第一樹模型中被作為分裂特征的次數；對所述多個特征項對應的多個次數進行歸一化處理，得到所述多個第一重要性權重。

在一個實施例中，在所述特征分布差異分數符合預定條件的情況下，將所述第二方歸為與所述第一方進行聯合建模的參與方，包括：在所述特征分布差異分數大于預定閾值的情況下，將所述第二方歸為與所述第一方進行聯合建模的參與方。