[發(fā)明專利]聯(lián)邦建模方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010411493.3
• 申請日: 2020-05-14
• 公開（公告）號: CN111582505A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)煸?/a>;范力欣;吳錦和
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 魏蘭

1.一種聯(lián)邦建模方法，其特征在于，所述聯(lián)邦建模方法包括以下步驟：

第一終端對訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，以獲得公共標(biāo)簽向量以及本地標(biāo)簽向量；

通過待訓(xùn)練模型確定所述公共標(biāo)簽向量對應(yīng)的第一梯度以及所述本地標(biāo)簽向量對應(yīng)的第二梯度；

將所述第一梯度發(fā)送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度；

基于所述第二梯度以及第三梯度確定目標(biāo)梯度，并基于所述目標(biāo)梯度更新所述待訓(xùn)練模型，以獲得目標(biāo)模型。

2.如權(quán)利要求1所述的聯(lián)邦建模方法，其特征在于，所述將所述第一梯度發(fā)送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度的步驟包括：

將所述第一梯度發(fā)送至第二終端，其中，所述第二終端獲取多個第三終端發(fā)送的第四梯度，基于各個第四梯度以及所述第一梯度確定第三梯度，基于所述第三梯度更新所述第二終端的全局模型，并反饋所述第三梯度至所述第一終端。

3.如權(quán)利要求1所述的聯(lián)邦建模方法，其特征在于，所述第一終端對訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，以獲得公共標(biāo)簽向量以及本地標(biāo)簽向量的步驟包括：

基于獨(dú)熱編碼對所述訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，以獲得公共標(biāo)簽向量；

基于隨機(jī)編碼對所述訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，以獲得本地標(biāo)簽向量。

4.如權(quán)利要求1所述的聯(lián)邦建模方法，其特征在于，所述通過待訓(xùn)練模型確定所述公共標(biāo)簽向量對應(yīng)的第一梯度以及所述本地標(biāo)簽向量對應(yīng)的第二梯度的步驟包括：

分別將所述公共標(biāo)簽向量以及所述本地標(biāo)簽向量輸入待訓(xùn)練模型進(jìn)行模型訓(xùn)練，以獲得所述公共標(biāo)簽向量對應(yīng)的第一損失函數(shù)值，以及所述本地標(biāo)簽向量對應(yīng)的第二損失函數(shù)值；

基于所述第一損失函數(shù)值確定所述第一梯度，并基于所述第二損失函數(shù)值確定所述第二梯度。

5.如權(quán)利要求1所述的聯(lián)邦建模方法，其特征在于，所述基于所述第二梯度以及第三梯度確定目標(biāo)梯度的步驟包括：

獲取所述第二梯度對應(yīng)的第一權(quán)重以及所述第三梯度對應(yīng)的第二權(quán)重，并基于所述第一權(quán)重、所述第二權(quán)重、所述第二梯度與所述第三梯度確定所述目標(biāo)梯度。

6.如權(quán)利要求1至5任一項(xiàng)所述的聯(lián)邦建模方法，其特征在于，所述基于所述目標(biāo)梯度更新所述待訓(xùn)練模型，以獲得目標(biāo)模型的步驟包括：

基于所述目標(biāo)梯度更新所述待訓(xùn)練模型的模型參數(shù)，以獲得更新后的待訓(xùn)練模型；

若更新后的待訓(xùn)練模型收斂，則將更新后的待訓(xùn)練模型作為所述目標(biāo)模型。

7.如權(quán)利要求6所述的聯(lián)邦建模方法，其特征在于，所述基于所述目標(biāo)梯度更新所述待訓(xùn)練模型的模型參數(shù)，以獲得更新后的待訓(xùn)練模型的步驟之后，所述聯(lián)邦建模方法還包括：

若更新后的待訓(xùn)練模型未收斂，則將更新后的待訓(xùn)練模型作為所述待訓(xùn)練模型，并返回執(zhí)行對訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，以獲得公共標(biāo)簽向量以及本地標(biāo)簽向量的步驟。

8.一種聯(lián)邦建模裝置，其特征在于，所述聯(lián)邦建模裝置包括：

標(biāo)注模塊，用于對訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，以獲得公共標(biāo)簽向量以及本地標(biāo)簽向量；

確定模塊，用于通過待訓(xùn)練模型確定所述公共標(biāo)簽向量對應(yīng)的第一梯度以及所述本地標(biāo)簽向量對應(yīng)的第二梯度；

發(fā)送模塊，用于將所述第一梯度發(fā)送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度；

模型更新模塊，用于基于所述第一梯度以及第三梯度確定目標(biāo)梯度，并基于所述目標(biāo)梯度更新所述待訓(xùn)練模型，以獲得目標(biāo)模型。

9.一種聯(lián)邦建模設(shè)備，其特征在于，所述聯(lián)邦建模設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的聯(lián)邦建模程序，所述聯(lián)邦建模程序被所述處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的聯(lián)邦建模方法的步驟。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有聯(lián)邦建模程序，所述聯(lián)邦建模程序被處理器執(zhí)行時實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的聯(lián)邦建模方法的步驟。