[發(fā)明專利]深度神經(jīng)網(wǎng)絡訓練方法、裝置、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 201811528375.X
• 申請日: 2018-12-13
• 公開（公告）號: CN109816092B
• 公開（公告）日: 2020-06-05
• 發(fā)明（設計）人: 柴振華;孟歡歡
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產(chǎn)權代理有限公司 11319
• 代理人: 莎日娜

1.一種深度神經(jīng)網(wǎng)絡訓練方法，其特征在于，包括：

獲取設置有預設類別標簽的若干訓練樣本；

對具有相同類別標簽的所述若干訓練樣本進行聚類，確定該類別訓練樣本的類別中心；每個所述訓練樣本的區(qū)分難度與所述訓練樣本距相應類別中心的距離成正比；

基于所述若干訓練樣本，訓練神經(jīng)網(wǎng)絡模型；

其中，所述神經(jīng)網(wǎng)絡模型的損失函數(shù)用于根據(jù)與各所述訓練樣本的區(qū)分難度成正比的第一權值進行加權運算，確定所述神經(jīng)網(wǎng)絡模型的損失值；所述訓練樣本包括以下任意一項：工服圖像、活體人臉和非活體人臉圖像、文本、語音音頻；所述類別標簽包括以下任意一項：不同工服類別的類別標簽，指示男生和女生不同聲音類別的類別標簽，指示活體人臉和非活體人臉兩種類別的類別標簽。

2.根據(jù)權利要求1所述的方法，其特征在于，在更新所述類別中心時，所述神經(jīng)網(wǎng)絡模型被配置為根據(jù)與各所述訓練樣本的區(qū)分難度成反比的第二權值進行加權運算，確定相應類別中心的變化量。

3.根據(jù)權利要求2所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡模型的損失函數(shù)用于：在所述神經(jīng)網(wǎng)絡模型計算所述訓練樣本的損失值時，通過與所述訓練樣本的分類占比成反比的第三權值，調整所述訓練樣本的損失值。

4.根據(jù)權利要求3所述的方法，其特征在于，所述神經(jīng)網(wǎng)絡模型的損失函數(shù)表示為：

其中，表示損失函數(shù)，i表示訓練樣本的標識，m表示訓練樣本的總數(shù)，y_i表示所述神經(jīng)網(wǎng)絡模型中輸入至所述損失函數(shù)的類別標識，x_i表示屬于類別y_i的一個訓練樣本，表示所述損失函數(shù)之前最后一個全連接層的權重矩陣的第j列，b_j表示損失函數(shù)之前最后一個全連接層偏差b的第j列，表示所述損失函數(shù)之前最后一個全連接層的權重矩陣的第y_i列，表示損失函數(shù)之前最后一個全連接層偏差b的第y_i列，(1-k_i)^γ表示訓練樣本x_i的第一權值，k_i取值為大于0且小于1的數(shù)，且k_i與訓練樣本x_i x_i所屬類別中心的距離成反比，表示訓練樣本x_i的第三權值，的取值與類別y_i的訓練樣本在全量訓練樣本中的占比成反比，T表示轉置，λ和γ表示標量。

5.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)與各所述訓練樣本的區(qū)分難度成反比的第二權值進行加權運算，確定相應類別中心的變化量包括：

根據(jù)公式確定類別中心c_j的變化量，其中，i表示訓練樣本的標識，m表示訓練樣本的總數(shù)，j和y_i表示所述神經(jīng)網(wǎng)絡模型中輸入至所述損失函數(shù)的類別標識，x_i表示屬于類別y_i的一個訓練樣本，q_i表示第二權值，q_i與訓練樣本x_i和類別中心c_j之間的距離成反比，δ()為狄拉克函數(shù)，當括號內條件滿足時δ＝1，反之＝0,α_c為控制類別中心的學習速率的標量，取值范圍為[0，1]。

6.根據(jù)權利要求1所述的方法，其特征在于，所述方法還包括：

通過數(shù)據(jù)采集設備獲取與所述訓練樣本匹配的待分類對象的對象數(shù)據(jù)；

獲取所述對象數(shù)據(jù)的分類特征；

將所述分類特征輸入至訓練完成的所述神經(jīng)網(wǎng)絡模型，獲得所述神經(jīng)網(wǎng)絡模型的輸出結果；

根據(jù)所述輸出結果執(zhí)行預設操作。

7.根據(jù)權利要求6所述的方法，其特征在于，所述根據(jù)所述輸出結果執(zhí)行預設操作包括以下任意一項或多項：

展示與所述輸出結果對應的所述待分類對象的分類結果；

根據(jù)所述輸出結果輸出門禁控制信號；

根據(jù)所述輸出結果執(zhí)行派單操作。