[發(fā)明專利]縱向聯(lián)邦學習系統(tǒng)優(yōu)化方法、設(shè)備及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010089045.6
• 申請日: 2020-02-12
• 公開（公告）號: CN111340247A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計）人: 鄭會鈿;范濤;馬國強;譚明超;陳天健;楊強
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 王韜

本發(fā)明公開了一種縱向聯(lián)邦學習系統(tǒng)優(yōu)化方法、設(shè)備及可讀存儲介質(zhì)，所述方法包括：接收所述第二設(shè)備發(fā)送的第二設(shè)備的加密精簡中間結(jié)果，而后對所述第二設(shè)備的加密精簡中間結(jié)果進行數(shù)據(jù)補齊，得到第二設(shè)備的加密補齊中間結(jié)果，最后利用所述第二設(shè)備的加密補齊中間結(jié)果計算得到所述第一設(shè)備中模型參數(shù)對應(yīng)的加密第一梯度值，并基于所述加密第一梯度值更新所述第一設(shè)備的模型參數(shù)，循環(huán)迭代直到檢測到滿足預(yù)設(shè)停止條件時，得到訓(xùn)練完成的第一設(shè)備的目標模型參數(shù)。在縱向聯(lián)邦訓(xùn)練中，通過減少參與設(shè)備的中間結(jié)果所包含的數(shù)據(jù)個數(shù)，從而減少了需要加密及通信的數(shù)據(jù)量，降低了加密和通信成本，同時極大的縮短了縱向聯(lián)邦建模時間。

技術(shù)領(lǐng)域

本發(fā)明涉及機器學習技術(shù)領(lǐng)域，尤其涉及一種縱向聯(lián)邦學習系統(tǒng)優(yōu)化方法、設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)

隨著人工智能的發(fā)展，人們?yōu)榻鉀Q數(shù)據(jù)孤島的問題，提出了“聯(lián)邦學習”的概念，使得聯(lián)邦雙方在不用給出己方數(shù)據(jù)的情況下，也可進行模型訓(xùn)練得到模型參數(shù)，并且可以避免數(shù)據(jù)隱私泄露的問題。

縱向聯(lián)邦學習是在參與者的數(shù)據(jù)特征重疊較小，而用戶重疊較多的情況下，取出參與者用戶相同而用戶數(shù)據(jù)特征不同的那部分用戶及數(shù)據(jù)進行聯(lián)合訓(xùn)練機器學習模型。比如有屬于同一個地區(qū)的兩個參與者A和B，其中參與者A是一家銀行，參與者B是一個電商平臺。參與者A和B在同一地區(qū)擁有較多相同的用戶，但是A與B的業(yè)務(wù)不同，記錄的用戶數(shù)據(jù)特征是不同的。特別地，A和B記錄的用戶數(shù)據(jù)特征可能是互補的。在這樣的場景下，可以使用縱向聯(lián)邦學習來幫助A和B構(gòu)建聯(lián)合機器學習預(yù)測模型，幫助A和B向他們的客戶提供更好的服務(wù)。

縱向聯(lián)邦學習在建模過程中，參與者之間以加密形式交互用于計算梯度和損失函數(shù)的中間結(jié)果，每一輪模型訓(xùn)練都需要對中間結(jié)果中的每個數(shù)據(jù)進行加密及交換，中間結(jié)果的數(shù)量與參與者所擁有的數(shù)據(jù)的數(shù)量相同，故加密及交互的數(shù)據(jù)量很大，加密和通信成本很高，同時也增加了縱向聯(lián)邦建模時間。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種縱向聯(lián)邦學習系統(tǒng)優(yōu)化方法、裝置、設(shè)備及可讀存儲介質(zhì)，旨在實現(xiàn)降低縱向聯(lián)邦學習訓(xùn)練過程中的加密和通信成本，縮短建模時間。

為實現(xiàn)上述目的，本發(fā)明提供一種縱向聯(lián)邦學習系統(tǒng)優(yōu)化方法，應(yīng)用于參與縱向聯(lián)邦學習的第一設(shè)備，所述第一設(shè)備與第二設(shè)備通信連接，所述縱向聯(lián)邦學習系統(tǒng)優(yōu)化方法包括以下步驟：

接收所述第二設(shè)備發(fā)送的第二設(shè)備的加密精簡中間結(jié)果，其中，所述第二設(shè)備用于對計算得到的第二設(shè)備的各條樣本數(shù)據(jù)對應(yīng)的原始中間結(jié)果進行抽樣處理，得到所述第二設(shè)備的部分樣本數(shù)據(jù)對應(yīng)的精簡中間結(jié)果，并對所述第二設(shè)備的精簡中間結(jié)果進行加密，得到所述第二設(shè)備的加密精簡中間結(jié)果；

對所述第二設(shè)備的加密精簡中間結(jié)果進行數(shù)據(jù)補齊，得到第二設(shè)備的加密補齊中間結(jié)果，其中，所述加密補齊中間結(jié)果的數(shù)據(jù)數(shù)量與所述原始中間結(jié)果的數(shù)據(jù)數(shù)量相同；

利用所述第二設(shè)備的加密補齊中間結(jié)果計算得到所述第一設(shè)備中模型參數(shù)對應(yīng)的加密第一梯度值，并基于所述加密第一梯度值更新所述第一設(shè)備的模型參數(shù)，循環(huán)迭代直到檢測到滿足預(yù)設(shè)停止條件時，得到訓(xùn)練完成的第一設(shè)備的目標模型參數(shù)。

可選地，所述對所述第二設(shè)備的加密精簡中間結(jié)果進行數(shù)據(jù)補齊獲得加密補齊中間結(jié)果的步驟包括：

獲取所述第二設(shè)備的抽樣對照表，并基于所述第二設(shè)備的抽樣對照表在所述第二設(shè)備的加密精簡中間結(jié)果中確定填充數(shù)據(jù)以及所述填充數(shù)據(jù)對應(yīng)的填充位置；

在所述第二設(shè)備的加密精簡中間結(jié)果中，基于所述填充位置插入所述填充數(shù)據(jù)，得到所述第二設(shè)備的加密補齊中間結(jié)果。

可選地，所述利用所述第二設(shè)備的加密補齊中間結(jié)果計算得到所述第一設(shè)備中模型參數(shù)對應(yīng)的加密第一梯度值的步驟包括：

計算得到用于計算梯度值的第一設(shè)備的加密精簡中間結(jié)果；