[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110304132.3
• 申請日: 2021-03-22
• 公開（公告）號: CN113065641B
• 公開（公告）日: 2023-09-26
• 發(fā)明（設(shè)計）人: 高志鵬;苗東;芮蘭蘭;莫梓嘉;趙晨;林怡靜;譚清;付偉
• 申請（專利權(quán)）人: 北京郵電大學(xué);北京驅(qū)云科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06V10/26;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;趙元

1.一種神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法，其特征在于，所述方法包括：

根據(jù)預(yù)設(shè)的多組分割點(diǎn)將待訓(xùn)練的圖像分類網(wǎng)絡(luò)模型分割為多組子網(wǎng)絡(luò)模型，其中，每一組子網(wǎng)絡(luò)模型均包括第一子網(wǎng)絡(luò)模型、第二子網(wǎng)絡(luò)模型和第三子網(wǎng)絡(luò)模型；所述分割點(diǎn)是根據(jù)圖像分類網(wǎng)絡(luò)模型的結(jié)構(gòu)特點(diǎn)和分割后的子網(wǎng)絡(luò)模型所應(yīng)用的設(shè)備所設(shè)置的分割點(diǎn)；分割后的第一子網(wǎng)絡(luò)模型應(yīng)用于客戶端，分割后的第二子網(wǎng)絡(luò)模型應(yīng)用于邊緣端，分割后的第三子網(wǎng)絡(luò)模型應(yīng)用于云端；

針對各組子網(wǎng)絡(luò)模型，將樣本圖像輸入所述第一子網(wǎng)絡(luò)模型，并以所述第一子網(wǎng)絡(luò)模型的輸出作為所述第二子網(wǎng)絡(luò)模型的輸入，以所述第二子網(wǎng)絡(luò)模型的輸出作為所述第一子網(wǎng)絡(luò)模型的輸入，生成所述第三子網(wǎng)絡(luò)模型輸出的圖像分類結(jié)果；

針對各組子網(wǎng)絡(luò)模型，通過預(yù)設(shè)損失函數(shù)分別計算所述第一子網(wǎng)絡(luò)模型的輸出對應(yīng)的第一損失、所述第二子網(wǎng)絡(luò)模型的輸出對應(yīng)的第二損失和所述第三子網(wǎng)絡(luò)模型輸出的圖像分類結(jié)果對應(yīng)的第三損失；

針對各組子網(wǎng)絡(luò)模型，分別通過對應(yīng)的所述第一損失、所述第二損失和所述第三損失，對對應(yīng)的所述第一子網(wǎng)絡(luò)模型、所述第二子網(wǎng)絡(luò)模型和所述第三子網(wǎng)絡(luò)模型進(jìn)行聯(lián)合訓(xùn)練，得到第一待輸出子網(wǎng)絡(luò)模型、第二待輸出子網(wǎng)絡(luò)模型和第三待輸出子網(wǎng)絡(luò)模型；

針對各組子網(wǎng)絡(luò)模型，分別計算所述第一待輸出子網(wǎng)絡(luò)模型、所述第二待輸出子網(wǎng)絡(luò)模型和所述第三待輸出子網(wǎng)絡(luò)模型對應(yīng)的多項性能參數(shù)；

根據(jù)各組子網(wǎng)絡(luò)模型對應(yīng)的多項性能參數(shù)，通過預(yù)設(shè)熵權(quán)模型，分別計算各組子網(wǎng)絡(luò)模型對應(yīng)的綜合性能得分；

選取所述各組子網(wǎng)絡(luò)模型中綜合性能得分最高的一組作為目標(biāo)子網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對各組子網(wǎng)絡(luò)模型，分別計算所述第一待輸出子網(wǎng)絡(luò)模型、所述第二待輸出子網(wǎng)絡(luò)模型和所述第三待輸出子網(wǎng)絡(luò)模型對應(yīng)的多項性能參數(shù)，包括：

針對各組子網(wǎng)絡(luò)模型，分別計算所述第一待輸出子網(wǎng)絡(luò)模型、所述第二待輸出子網(wǎng)絡(luò)模型和所述第三待輸出子網(wǎng)絡(luò)模型對應(yīng)的模型準(zhǔn)確率、端到端時延和數(shù)據(jù)退出率。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述針對各組子網(wǎng)絡(luò)模型，將樣本圖像輸入所述第一子網(wǎng)絡(luò)模型，并以所述第一子網(wǎng)絡(luò)模型的輸出作為所述第二子網(wǎng)絡(luò)模型的輸入，以所述第二子網(wǎng)絡(luò)模型的輸出作為所述第一子網(wǎng)絡(luò)模型的輸入，生成所述第三子網(wǎng)絡(luò)模型輸出的圖像分類結(jié)果，包括：

針對各組子網(wǎng)絡(luò)模型，將樣本圖像輸入所述第一子網(wǎng)絡(luò)模型，得到所述第一子網(wǎng)絡(luò)模型的輸出；

根據(jù)所述第一子網(wǎng)絡(luò)模型的輸出，通過預(yù)設(shè)熵值法計算對應(yīng)的第一可信度；

當(dāng)所述第一可信度大于預(yù)設(shè)閾值時，將所述第一子網(wǎng)絡(luò)模型的輸出輸入到所述第二子網(wǎng)絡(luò)模型，得到所述第二子網(wǎng)絡(luò)模型的輸出；

根據(jù)所述第二子網(wǎng)絡(luò)模型的輸出，通過預(yù)設(shè)熵值法計算對應(yīng)的第二可信度；

當(dāng)所述第二可信度大于所述預(yù)設(shè)閾值時，將所述第二子網(wǎng)絡(luò)模型的輸出輸入到所述第三子網(wǎng)絡(luò)模型，得到所述第三子網(wǎng)絡(luò)模型輸出的圖像分類結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)設(shè)閾值為通過預(yù)設(shè)公式：

entropy(y)＝∑_c∈cy_clogy_c，計算得到的數(shù)值，

其中，entropy()表示熵值法，y是各子模型模型的輸出對應(yīng)的各個標(biāo)簽的預(yù)測概率向量，C是分類任務(wù)中的所有標(biāo)簽集合。