[發明專利]基于交叉特征的建模、預測方法、裝置、設備及存儲介質

在審

• 申請號: 202010129318.5
• 申請日: 2020-02-28
• 公開（公告）號: CN111368314A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 鄭文琛
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06N20/20
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種基于交叉特征的建模、預測方法、設備、裝置及存儲介質，所述方法包括：根據預設的可交換加密算法對所述第一設備和所述第二設備各自的統計量進行加密交換，計算得到所述第一設備對應的加密交叉特征統計量，而后利用所述第一設備對應的加密交叉特征統計量，確定所述第一設備中模型參數對應的梯度值，并基于所述梯度值更新所述第一設備的模型參數，循環迭代直到檢測到滿足預設停止條件時，得到訓練完成的第一設備的第一推薦模型。在數據不出本地的情況下，同時完成設備內特征分量之間的特征交叉以及設備間特征分量之間的特征交叉，增加了推薦模型的復雜度，從而提升模型的推薦預測能力。

技術領域

本發明涉及機器學習技術領域，尤其涉及一種基于交叉特征的建模、預測方法、裝置、設備及存儲介質。

背景技術

隨著人工智能的發展，人們為解決數據孤島的問題，提出了“聯邦學習”的概念，使得聯邦雙方在不用給出己方數據的情況下，也可進行模型訓練得到模型參數，并且可以避免數據隱私泄露的問題。

縱向聯邦學習是在參與者的數據特征重疊較小，而用戶重疊較多的情況下，取出參與者用戶相同而用戶數據特征不同的那部分用戶及數據進行聯合訓練機器學習模型。例如兩個參與者A和B，可以使用縱向聯邦學習來幫助A和B構建聯合機器學習預測模型，幫助A和B向他們的客戶提供更好的服務。但是，現有的縱向聯邦學習建模時僅考慮A和B各自的特征，模型的推薦預測能力受限。

發明內容

本發明的主要目的在于提供一種基于交叉特征的建模、預測方法、裝置、設備及存儲介質，旨在實現增加縱向聯邦學習的模型復雜度，提升模型的推薦預測能力。

為實現上述目的，本發明提供一種基于交叉特征的建模方法，應用于參與建模的第一設備，所述第一設備與第二設備通信連接，所述基于交叉特征的建模方法包括以下步驟：

根據預設的可交換加密算法對所述第一設備和所述第二設備各自的統計量進行加密交換，計算得到所述第一設備對應的加密交叉特征統計量；

利用所述第一設備對應的加密交叉特征統計量，確定所述第一設備中模型參數對應的梯度值，并基于所述梯度值更新所述第一設備的模型參數，循環迭代直到檢測到滿足預設停止條件時，得到訓練完成的第一設備的第一推薦模型。

可選地，所述根據預設的可交換加密算法對所述第一設備和所述第二設備各自的統計量進行加密交換，計算得到所述第一設備對應的加密交叉特征統計量的步驟包括：

根據所述可交換加密算法對所述第一設備對應的統計量進行加密，得到第一加密統計量；

發送所述第一加密統計量至所述第二設備,以使所述第二設備反饋第二加密統計量，其中，所述第二設備根據所述可交換加密算法對所述第二設備對應的統計量進行加密，得到第二加密統計量；

接收所述第二設備發送的第二加密統計量，基于所述第一加密統計量以及所述第二加密統計量，計算得到所述第一設備對應的加密交叉特征統計量。

可選地，所述利用所述第一設備對應的加密交叉特征統計量，確定所述第一設備中模型參數對應的梯度值的步驟包括：

發送所述第一設備對應的加密交叉特征統計量至協調方，以使所述協調方反饋所述梯度值，其中，所述協調方對接收到的第一設備對應的加密交叉特征統計量以及第二設備對應的加密交叉特征統計量，進行解密操作，得到解密后的交叉特征統計量，并利用解密后的交叉特征統計量計算得到所述梯度值。

為實現上述目的，本發明還提供一種基于交叉特征的預測方法，應用于參與預測第一設備，所述基于交叉特征的預測方法包括以下步驟：

在接收到推薦請求時，獲取所述推薦請求對應的推薦請求數據；

基于所述推薦請求數據以及第一推薦模型，得到所述推薦請求對應的第一預測分數；