[發(fā)明專利]訓練神經網絡模型的方法、系統(tǒng)和存儲介質

在審

• 申請?zhí)枺?/td>: 202010968722.1
• 申請日: 2020-09-15
• 公開（公告）號: CN112232480A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設計）人: 蒲恒;劉強
• 申請（專利權）人: 深圳力維智聯(lián)技術有限公司;南京中興力維軟件有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 彭家恩;彭愿潔

1.一種訓練神經網絡模型的方法，其特征在于包括：

獲取訓練數(shù)據(jù)；

以神經網絡模型的其中一隱層為第一旁路分支輸入層構造第一旁路分支，所述第一旁路分支的輸入數(shù)據(jù)為所述第一旁路分支輸入層的輸出數(shù)據(jù)，所述第一旁路分支的隱層與所述神經網絡模型中第一旁路分支輸入層和全連接層之間的隱層一一對應，所述第一旁路分支的全連接層為所述神經網絡模型的全連接層；

以所述神經網絡模型的其中另一隱層為第二旁路分支輸入層構造第二旁路分支，所述第二旁路分支的輸入數(shù)據(jù)為所述第二旁路分支輸入層的輸出數(shù)據(jù)，所述第二旁路分支的隱層與所述神經網絡模型中第二旁路分支輸入層和全連接層之間的隱層一一對應，所述第二旁路分支的全連接層為所述神經網絡模型的全連接層；

通過所述神經網絡模型對所述訓練數(shù)據(jù)的計算，得到所述訓練數(shù)據(jù)的預測概率分布，以及所述第一旁路分支輸入層和所述第二旁路分支輸入層的輸出數(shù)據(jù)；

通過所述第一旁路分支對所述第一旁路分支輸入層的輸出數(shù)據(jù)的計算，得到所述訓練數(shù)據(jù)的第一旁路分支預測概率分布；通過所述第二旁路分支對所述第二旁路分支輸入層的輸出數(shù)據(jù)的計算，得到所述訓練數(shù)據(jù)的第二旁路分支預測概率分布；

根據(jù)第一損失函數(shù)，分別計算所述預測概率分布與實際分布的損失、所述第一旁路分支預測概率分布與實際分布的損失以及所述第二旁路分支預測概率分布與實際分布的損失；

計算所述預測概率分布、所述第一旁路分支預測概率分布和所述第二旁路分支預測概率分布兩兩間的散度損失；

根據(jù)所述預測概率分布與實際分布的損失、所述第一旁路分支預測概率分布與實際分布的損失和所述第二旁路分支預測概率分布與實際分布的損失，以及所述預測概率分布、所述第一旁路分支預測概率分布和所述第二旁路分支預測概率分布兩兩間的散度損失，對所述神經網絡模型、所述第一旁路分支和所述第二旁路分支的參數(shù)進行迭代優(yōu)化。

2.如權利要求1所述的方法，其特征在于，所述第一旁路分支和第二旁路分支的參數(shù)量和深度均小于所述神經網絡模型的參數(shù)量和深度。

3.如權利要求1所述的方法，其特征在于，所述第一損失函數(shù)為交叉熵損失函數(shù)。

4.如權利要求1所述的方法，其特征在于，所述散度損失為JS散度損失。

5.如權利要求1所述的方法，其特征在于，所述根據(jù)所述預測概率分布與實際分布的損失、所述第一旁路分支預測概率分布與實際分布的損失和所述第二旁路分支預測概率分布與實際分布的損失，以及所述預測概率分布、所述第一旁路分支預測概率分布和所述第二旁路分支預測概率分布兩兩間的散度損失，對所述神經網絡模型、所述第一旁路分支和所述第二旁路分支的參數(shù)進行迭代優(yōu)化包括：

計算所述預測概率分布與實際分布的損失、所述第一旁路分支預測概率分布與實際分布的損失和所述第二旁路分支預測概率分布與實際分布的損失的平均值，以及所述預測概率分布、所述第一旁路分支預測概率分布和所述第二旁路分支預測概率分布兩兩間的散度損失的平均值，將這兩個平均值相加作為總體損失；

根據(jù)所述總體損失對所述神經網絡模型、所述第一旁路分支和所述第二旁路分支的參數(shù)進行迭代優(yōu)化。

6.如權利要求5所述的方法，其特征在于，所述根據(jù)所述總體損失對所述神經網絡模型、所述第一旁路分支和所述第二旁路分支的參數(shù)進行迭代優(yōu)化包括：根據(jù)所述總體損失，使用梯度下降法對所述神經網絡模型、所述第一旁路分支和所述第二旁路分支的參數(shù)進行迭代優(yōu)化。