[發(fā)明專利]一種神經(jīng)網(wǎng)絡模型訓練方法、裝置、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202110304132.3
• 申請日: 2021-03-22
• 公開（公告）號: CN113065641B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設計）人: 高志鵬;苗東;芮蘭蘭;莫梓嘉;趙晨;林怡靜;譚清;付偉
• 申請（專利權）人: 北京郵電大學;北京驅云科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/26;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;趙元

1.一種神經(jīng)網(wǎng)絡模型訓練方法，其特征在于，所述方法包括：

根據(jù)預設的多組分割點將待訓練的圖像分類網(wǎng)絡模型分割為多組子網(wǎng)絡模型，其中，每一組子網(wǎng)絡模型均包括第一子網(wǎng)絡模型、第二子網(wǎng)絡模型和第三子網(wǎng)絡模型；所述分割點是根據(jù)圖像分類網(wǎng)絡模型的結構特點和分割后的子網(wǎng)絡模型所應用的設備所設置的分割點；分割后的第一子網(wǎng)絡模型應用于客戶端，分割后的第二子網(wǎng)絡模型應用于邊緣端，分割后的第三子網(wǎng)絡模型應用于云端；

針對各組子網(wǎng)絡模型，將樣本圖像輸入所述第一子網(wǎng)絡模型，并以所述第一子網(wǎng)絡模型的輸出作為所述第二子網(wǎng)絡模型的輸入，以所述第二子網(wǎng)絡模型的輸出作為所述第一子網(wǎng)絡模型的輸入，生成所述第三子網(wǎng)絡模型輸出的圖像分類結果；

針對各組子網(wǎng)絡模型，通過預設損失函數(shù)分別計算所述第一子網(wǎng)絡模型的輸出對應的第一損失、所述第二子網(wǎng)絡模型的輸出對應的第二損失和所述第三子網(wǎng)絡模型輸出的圖像分類結果對應的第三損失；

針對各組子網(wǎng)絡模型，分別通過對應的所述第一損失、所述第二損失和所述第三損失，對對應的所述第一子網(wǎng)絡模型、所述第二子網(wǎng)絡模型和所述第三子網(wǎng)絡模型進行聯(lián)合訓練，得到第一待輸出子網(wǎng)絡模型、第二待輸出子網(wǎng)絡模型和第三待輸出子網(wǎng)絡模型；

針對各組子網(wǎng)絡模型，分別計算所述第一待輸出子網(wǎng)絡模型、所述第二待輸出子網(wǎng)絡模型和所述第三待輸出子網(wǎng)絡模型對應的多項性能參數(shù)；

根據(jù)各組子網(wǎng)絡模型對應的多項性能參數(shù)，通過預設熵權模型，分別計算各組子網(wǎng)絡模型對應的綜合性能得分；

選取所述各組子網(wǎng)絡模型中綜合性能得分最高的一組作為目標子網(wǎng)絡模型。

2.根據(jù)權利要求1所述的方法，其特征在于，所述針對各組子網(wǎng)絡模型，分別計算所述第一待輸出子網(wǎng)絡模型、所述第二待輸出子網(wǎng)絡模型和所述第三待輸出子網(wǎng)絡模型對應的多項性能參數(shù)，包括：

針對各組子網(wǎng)絡模型，分別計算所述第一待輸出子網(wǎng)絡模型、所述第二待輸出子網(wǎng)絡模型和所述第三待輸出子網(wǎng)絡模型對應的模型準確率、端到端時延和數(shù)據(jù)退出率。

3.根據(jù)權利要求2所述的方法，其特征在于，所述針對各組子網(wǎng)絡模型，將樣本圖像輸入所述第一子網(wǎng)絡模型，并以所述第一子網(wǎng)絡模型的輸出作為所述第二子網(wǎng)絡模型的輸入，以所述第二子網(wǎng)絡模型的輸出作為所述第一子網(wǎng)絡模型的輸入，生成所述第三子網(wǎng)絡模型輸出的圖像分類結果，包括：

針對各組子網(wǎng)絡模型，將樣本圖像輸入所述第一子網(wǎng)絡模型，得到所述第一子網(wǎng)絡模型的輸出；

根據(jù)所述第一子網(wǎng)絡模型的輸出，通過預設熵值法計算對應的第一可信度；

當所述第一可信度大于預設閾值時，將所述第一子網(wǎng)絡模型的輸出輸入到所述第二子網(wǎng)絡模型，得到所述第二子網(wǎng)絡模型的輸出；

根據(jù)所述第二子網(wǎng)絡模型的輸出，通過預設熵值法計算對應的第二可信度；

當所述第二可信度大于所述預設閾值時，將所述第二子網(wǎng)絡模型的輸出輸入到所述第三子網(wǎng)絡模型，得到所述第三子網(wǎng)絡模型輸出的圖像分類結果。

4.根據(jù)權利要求3所述的方法，其特征在于，所述預設閾值為通過預設公式：

entropy(y)＝∑_c∈cy_clogy_c，計算得到的數(shù)值，

其中，entropy()表示熵值法，y是各子模型模型的輸出對應的各個標簽的預測概率向量，C是分類任務中的所有標簽集合。