[發明專利]一種聯合訓練識別模型的方法和裝置

在審

• 申請號: 202011364313.7
• 申請日: 2020-11-27
• 公開（公告）號: CN112364819A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 劉健;郭明宇;鄭龍飛
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種聯合訓練識別模型的方法，所述聯合訓練通過多個終端共同實現，所述多個終端分別維護多個識別模型，所述多個識別模型的神經網絡結構相同，任一識別模型至少包括特征提取層和結果識別層,所述方法通過所述多個終端中任意的第一終端執行，所述方法包括:

獲取本地的第一樣本集；其中包含多個樣本及其對應的識別標簽；

將所述第一樣本集中的樣本輸入所述多個識別模型中與所述第一終端對應的第一識別模型，利用特征提取層提取所述樣本的特征,根據所述樣本的特征和其對應的識別標簽,基于所述結果識別層，確定該識別模型的第一梯度；

提供所述第一梯度，并獲取平均梯度，所述平均梯度根據所述多個識別模型各自對應的梯度而確定；

根據所述平均梯度，更新所述第一識別模型的特征提取層。

2.根據權利要求1所述的方法，還包括，在將所述第一樣本集中的樣本輸入所述多個識別模型中與所述第一終端對應的第一識別模型之前，

對所述特征提取層進行初始化，得到第一初始化參數；向所述多個終端中的其他終端提供所述第一初始化參數；

或

從所述多個終端中的其他終端獲取第二初始化參數，根據所述第二初始化參數初始化所述特征提取層。

3.根據權利要求1所述的方法，其中，所述識別模型包括圖像識別模型、語音識別模型、文字識別模型中的一種。

4.根據權利要求3所述的方法，其中，所述圖像識別模型包括人臉識別模型。

5.根據權利要求1所述的方法，其中，所述識別模型為圖像識別模型，所述多個終端包括第二終端,具有對應的第二樣本集；所述第二樣本集：識別標簽的標注方式與所述第一樣本集不同；或者，

圖像分辨率或清晰度標準與所述第一樣本集不同；或者，

圖像數據格式或尺寸與所述第一樣本集不同。

6.根據權利要求1所述的方法，其中，將所述第一樣本集中的樣本輸入所述多個識別模型中與所述第一終端對應的第一識別模型，利用特征提取層提取所述樣本的特征,根據所述樣本的特征和其對應的識別標簽,基于所述結果識別層，確定該識別模型的第一梯度,包括：

將所述第一樣本集中的多個樣本輸入所述第一識別模型，利用特征提取層提取多個樣本的特征,根據多個樣本的特征和其對應的識別標簽,基于結果識別層確定多個樣本的第一識別損失，根據多個樣本的第一識別損失的均值，確定該識別模型的第一梯度。

7.根據權利要求1所述的方法，其中，所述特征提取層包括以下一種：

至少一層卷積層；

至少一層全連接層。

8.根據權利要求1所述的方法，其中，所述結果識別層包括全連接層和分類層。

9.根據權利要求1所述的方法，其中，所述識別模型的第一梯度為所述結果識別層中與所述特征提取層相連的網絡層的梯度。

10.根據權利要求1所述的方法，其中，所述平均梯度通過以下方式之一確定:

根據所述多個識別模型各自對應的梯度的平均值，確定平均梯度；

根據所述多個識別模型各自對應的梯度的加權平均值，確定平均梯度。

11.根據權利要求1所述的方法，其中，提供所述第一梯度，并獲取平均梯度，包括：

向服務器發送所述第一梯度，使得所述服務器根據所述多個終端分別發送的梯度確定所述平均提取；

從所述服務器接收所述平均梯度。

12.根據權利要求1所述的方法，其中，提供所述第一梯度，并獲取平均梯度，包括：

向所述多個終端中的其他終端發送所述第一梯度，通過與所述其他終端進行多方安全計算，獲取所述平均梯度。