[發(fā)明專利]一種量化神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練及測試方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 202010155203.3
• 申請日: 2020-03-06
• 公開（公告）號: CN111340226B
• 公開（公告）日: 2022-01-25
• 發(fā)明（設(shè)計）人: 吳玉東;吳一超;梁鼎;于志鵬;呂元昊
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06V40/16
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);董文俊

本申請實施例提供了一種量化神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練及測試方法、裝置及設(shè)備。其中，訓(xùn)練方法可以包括：獲取訓(xùn)練數(shù)據(jù)；訓(xùn)練數(shù)據(jù)包括圖像樣本和標(biāo)簽；標(biāo)簽包括圖像樣本的身份標(biāo)識；將訓(xùn)練數(shù)據(jù)輸入量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化處理，得到圖像樣本的量化特征；根據(jù)量化特征對量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型。所以實施本申請實施例，訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型采用了低比特量化處理，減少了運算量，提高了運算速率，能夠更方便地應(yīng)用在終端設(shè)備中，使用該量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉識別，能夠最小化量化誤差，提高量化神經(jīng)網(wǎng)絡(luò)模型的識別精度。

技術(shù)領(lǐng)域

本申請涉及圖像處理領(lǐng)域，尤其涉及一種量化神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練及測試方法、裝置及設(shè)備。

背景技術(shù)

人臉識別技術(shù)在實際中有著廣泛的應(yīng)用，憑借深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，近年來人臉識別精度取得了長足的發(fā)展。但是，隨著神經(jīng)網(wǎng)絡(luò)模型預(yù)測越來越準(zhǔn)確，神經(jīng)網(wǎng)絡(luò)層次越來越深，復(fù)雜的神經(jīng)網(wǎng)絡(luò)無法部署于移動端，更無法實現(xiàn)實時推理。

因此，目前亟需一種量化神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，以解決上述技術(shù)問題。

發(fā)明內(nèi)容

本申請實施例提供了一種量化神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和測試方法、裝置、設(shè)備及存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)的問題，訓(xùn)練量化神經(jīng)網(wǎng)絡(luò)模型，將復(fù)雜的神經(jīng)網(wǎng)絡(luò)簡捷化，使其便于部署在移動端，采用量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉識別，能夠提高識別精度。

第一方面，本申請實施例提供一種量化神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，該方法包括：獲取訓(xùn)練數(shù)據(jù)；所述訓(xùn)練數(shù)據(jù)包括圖像樣本和標(biāo)簽；所述標(biāo)簽包括所述圖像樣本的身份標(biāo)識；將所述訓(xùn)練數(shù)據(jù)輸入量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化處理，得到所述圖像樣本的量化特征；根據(jù)所述量化特征對所述量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型。

可以看到，首先，獲取訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)中包括圖像樣本和標(biāo)簽，標(biāo)簽包括圖像樣本的身份標(biāo)識；然后，將訓(xùn)練數(shù)據(jù)輸入量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化處理，獲得量化特征；最后，根據(jù)量化特征，采用損失函數(shù)進(jìn)行反向傳播，對量化神經(jīng)網(wǎng)絡(luò)模型朝著損失函數(shù)值降低的方向訓(xùn)練，以使損失函數(shù)值最小，最終獲得經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型。因此實施本申請實施例，利用經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行人臉識別時，量化神經(jīng)網(wǎng)絡(luò)模型能夠?qū)D像進(jìn)行量化處理，在整個圖像處理過程中，減少了運算量，提高了運算速率，更方便應(yīng)用于終端設(shè)備上；采用損失函數(shù)對量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以使誤差最小化，提高量化神經(jīng)網(wǎng)絡(luò)模型的識別精度和識別正確率。

基于第一方面，在可能的實施方式中，所述標(biāo)簽還包括所述圖像樣本的全精度特征；所述方法還包括：將所述圖像樣本輸入全精度的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到所述全精度特征。

可以理解，量化神經(jīng)網(wǎng)絡(luò)模型是用低比特帶寬表示的，在運用該量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化處理時，會產(chǎn)生量化誤差，若要計算量化誤差，減小量化誤差對人臉識別的影響，就需要全精度特征，因此標(biāo)簽中還包括圖像樣本的全精度特征，全精度特征是預(yù)先將圖像樣本輸入全精度的神經(jīng)網(wǎng)絡(luò)中得到的。

基于第一方面，在可能的實施方式中，所述根據(jù)所述量化特征對所述量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型，包括：根據(jù)所述量化特征和全精度特征，獲得所述量化神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)的值；根據(jù)所述量化神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)的值，對所述量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型。

可以理解，采用損失函數(shù)對量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行反向傳播時，是根據(jù)損失函數(shù)的值對量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的，目的是朝著降低損失函數(shù)的值的方向訓(xùn)練，以得到最小的損失函數(shù)的值，因此，需要先根據(jù)量化特征和全精度特征，獲得所述量化神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)的值，再根據(jù)所述量化神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)的值，對所述量化神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以獲得經(jīng)訓(xùn)練的量化神經(jīng)網(wǎng)絡(luò)模型。