[發明專利]數據處理方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202110258944.9
• 申請日: 2021-03-10
• 公開（公告）號: CN112632045B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 范曉亮;陶陽宇;蔣杰;劉煜宏;陳鵬
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/2457
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

1.一種基于聯邦學習的數據處理方法，應用于特征方設備，其特征在于，包括：

獲取待處理數據，所述待處理數據包括多個用戶標識和各個用戶標識對應的特征值；

基于所述各個用戶標識對應的特征值，對所述待處理數據進行初始分箱，得到預設個數的分箱；

從各個分箱中確定多個目標標識集合，并將各個目標標識集合依次發送至標簽方設備；

接收所述標簽方設備發送的各個目標標識集合對應的各個集合標簽分布信息，并基于所述各個集合標簽分布信息確定所述各個分箱對應的分箱標簽分布信息；所述集合標簽分布信息用于表征所述目標標識集合中正樣本和負樣本的數量；

利用預設的分箱策略和各個分箱標簽分布信息對所述各個分箱進行合并處理，得到最終分箱結果。

2.根據權利要求1中所述的方法，其特征在于，所述基于所述各個用戶標識對應的特征值，對所述待處理數據進行初始分箱，得到預設個數的分箱，包括：

基于所述用戶標識對應的特征值，確定最大特征值和最小特征值；

基于所述最大特征值、所述最小特征值和預設個數M，確定（M-1）個特征分位值；

基于所述最小特征值、所述最大特征值和所述（M-1）個特征分位值確定M個特征區間；

基于所述待處理數據中的各個特征值和所述M個特征區間，對所述待處理數據進行初始分箱，得到M個分箱，其中，第i個分箱中包括多條特征數據，所述多條特征數據對應的特征值在第i個特征區間內，i=1,2，…，M。

3.根據權利要求2中所述的方法，其特征在于，所述方法還包括：

獲取預設的分區規則和分區個數N；

基于第i個分箱中的各個用戶標識和所述分區規則，確定所述第i個分箱中的各條特征數據的分區標識，所述分區標識對應N個分區中的其中一個分區；

基于所述分區標識將所述各條特征數據分配至對應分區中的第i個分箱中。

4.根據權利要求1中所述的方法，其特征在于，所述從各個分箱中確定多個目標標識集合，包括：

確定第i個分箱中的特征值個數S，其中，i=1,2，…，M，M為預設個數，S為正整數；

隨機確定第j個特征值對應的R個未處理的用戶標識，R為大于2的正整數，j=1,2，…，S；

將所述R個未處理的用戶標識確定為一個目標標識集合。

5.根據權利要求1中所述的方法，其特征在于，所述基于所述各個集合標簽分布信息確定各個分箱對應的分箱標簽分布信息，包括：

當第i個分箱對應的集合標簽分布信息不為預設的無效信息時，獲取所述集合標簽分布信息中的正樣本數量和負樣本數量，其中，i=1,2，…，M，M為預設個數；

將所述集合標簽分布信息對應的目標標識集合中的用戶標識確定為已處理的用戶標識；

基于所述集合標簽分布信息中的正樣本數量和負樣本數量更新所述第i個分箱對應的分箱標簽分布信息，直至所述第i個分箱中不存在未處理的用戶標識。

6.根據權利要求5中所述的方法，其特征在于，所述方法還包括：

當所述集合標簽分布信息為所述預設的無效信息時，刪除所述集合標簽分布信息；

將所述集合標簽分布信息對應的目標標識集合中的用戶標識確定為未處理的用戶標識。

7.根據權利要求1中所述的方法，其特征在于，所述利用預設的分箱策略和各個分箱標簽分布信息對所述各個分箱進行合并處理，得到最終分箱結果，包括：

將各個分箱與自身的相鄰分箱進行合并，得到多個候選分箱；

確定各個候選分箱的候選標簽屬性信息，所述候選標簽屬性信息包括正樣本數量、負樣本數量、正樣本百分比；

當基于所述候選標簽屬性信息確定所述候選分箱滿足合并條件時，確定各個候選分箱的信息價值；

基于各個候選分箱的信息價值確定目標分箱；

將各個目標分箱與自身的相鄰分箱再次進行合并，直至達到優化目標，得到多個最終分箱。