[發明專利]聯邦建模方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202010411493.3
• 申請日: 2020-05-14
• 公開（公告）號: CN111582505A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 張天豫;范力欣;吳錦和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 魏蘭

1.一種聯邦建模方法，其特征在于，所述聯邦建模方法包括以下步驟：

第一終端對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量；

通過待訓練模型確定所述公共標簽向量對應的第一梯度以及所述本地標簽向量對應的第二梯度；

將所述第一梯度發送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度；

基于所述第二梯度以及第三梯度確定目標梯度，并基于所述目標梯度更新所述待訓練模型，以獲得目標模型。

2.如權利要求1所述的聯邦建模方法，其特征在于，所述將所述第一梯度發送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度的步驟包括：

將所述第一梯度發送至第二終端，其中，所述第二終端獲取多個第三終端發送的第四梯度，基于各個第四梯度以及所述第一梯度確定第三梯度，基于所述第三梯度更新所述第二終端的全局模型，并反饋所述第三梯度至所述第一終端。

3.如權利要求1所述的聯邦建模方法，其特征在于，所述第一終端對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量的步驟包括：

基于獨熱編碼對所述訓練數據集進行標注，以獲得公共標簽向量；

基于隨機編碼對所述訓練數據集進行標注，以獲得本地標簽向量。

4.如權利要求1所述的聯邦建模方法，其特征在于，所述通過待訓練模型確定所述公共標簽向量對應的第一梯度以及所述本地標簽向量對應的第二梯度的步驟包括：

分別將所述公共標簽向量以及所述本地標簽向量輸入待訓練模型進行模型訓練，以獲得所述公共標簽向量對應的第一損失函數值，以及所述本地標簽向量對應的第二損失函數值；

基于所述第一損失函數值確定所述第一梯度，并基于所述第二損失函數值確定所述第二梯度。

5.如權利要求1所述的聯邦建模方法，其特征在于，所述基于所述第二梯度以及第三梯度確定目標梯度的步驟包括：

獲取所述第二梯度對應的第一權重以及所述第三梯度對應的第二權重，并基于所述第一權重、所述第二權重、所述第二梯度與所述第三梯度確定所述目標梯度。

6.如權利要求1至5任一項所述的聯邦建模方法，其特征在于，所述基于所述目標梯度更新所述待訓練模型，以獲得目標模型的步驟包括：

基于所述目標梯度更新所述待訓練模型的模型參數，以獲得更新后的待訓練模型；

若更新后的待訓練模型收斂，則將更新后的待訓練模型作為所述目標模型。

7.如權利要求6所述的聯邦建模方法，其特征在于，所述基于所述目標梯度更新所述待訓練模型的模型參數，以獲得更新后的待訓練模型的步驟之后，所述聯邦建模方法還包括：

若更新后的待訓練模型未收斂，則將更新后的待訓練模型作為所述待訓練模型，并返回執行對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量的步驟。

8.一種聯邦建模裝置，其特征在于，所述聯邦建模裝置包括：

標注模塊，用于對訓練數據集進行標注，以獲得公共標簽向量以及本地標簽向量；

確定模塊，用于通過待訓練模型確定所述公共標簽向量對應的第一梯度以及所述本地標簽向量對應的第二梯度；

發送模塊，用于將所述第一梯度發送至第二終端，以供所述第二終端基于所述第一梯度，確定并反饋第三梯度；

模型更新模塊，用于基于所述第一梯度以及第三梯度確定目標梯度，并基于所述目標梯度更新所述待訓練模型，以獲得目標模型。

9.一種聯邦建模設備，其特征在于，所述聯邦建模設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的聯邦建模程序，所述聯邦建模程序被所述處理器執行時實現如權利要求1至7中任一項所述的聯邦建模方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有聯邦建模程序，所述聯邦建模程序被處理器執行時實現如權利要求1至7中任一項所述的聯邦建模方法的步驟。