[發(fā)明專利]網(wǎng)絡(luò)量化方法及裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110138342.X
• 申請日: 2021-02-01
• 公開（公告）號: CN112884144A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計）人: 吉小洪;姚超;張行程
• 申請（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種網(wǎng)絡(luò)量化方法及裝置、電子設(shè)備和存儲介質(zhì)，所述方法包括：獲取已訓(xùn)練的第一神經(jīng)網(wǎng)絡(luò)；向第一神經(jīng)網(wǎng)絡(luò)中插入偽量化節(jié)點(diǎn)，得到第二神經(jīng)網(wǎng)絡(luò)，偽量化節(jié)點(diǎn)中包括待訓(xùn)練的量化參數(shù)，量化參數(shù)用于對第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化；根據(jù)第一神經(jīng)網(wǎng)絡(luò)以及預(yù)設(shè)的訓(xùn)練集，訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)；根據(jù)訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)，對第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到第三神經(jīng)網(wǎng)絡(luò)，第三神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度小于第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度。本公開實施例可實現(xiàn)提高神經(jīng)網(wǎng)絡(luò)的量化效率、便捷性和普適性，減小網(wǎng)絡(luò)量化的開銷。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)量化方法及裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)

目前，為使神經(jīng)網(wǎng)絡(luò)可以被部署到移動終端上，通常要對訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)進(jìn)行量化。量化可以是用低精度數(shù)據(jù)來近似表示高精度數(shù)據(jù)。而相關(guān)技術(shù)中關(guān)于神經(jīng)網(wǎng)絡(luò)的量化方法，開銷大、量化效率不高、普適性較差。

發(fā)明內(nèi)容

本公開提出了一種網(wǎng)絡(luò)量化方法及裝置、電子設(shè)備和存儲介質(zhì)。

根據(jù)本公開的一方面，提供了一種網(wǎng)絡(luò)量化方法，包括：獲取已訓(xùn)練的第一神經(jīng)網(wǎng)絡(luò)；向所述第一神經(jīng)網(wǎng)絡(luò)中插入偽量化節(jié)點(diǎn)，得到第二神經(jīng)網(wǎng)絡(luò)，所述偽量化節(jié)點(diǎn)中包括待訓(xùn)練的量化參數(shù)，所述量化參數(shù)用于對所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化；根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)以及預(yù)設(shè)的訓(xùn)練集，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)；根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)，對所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到第三神經(jīng)網(wǎng)絡(luò)，所述第三神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度小于所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度。通過該方式，能夠?qū)⒘炕瘏?shù)作為可訓(xùn)練的參數(shù)，從而便捷高效的獲得訓(xùn)練后的量化參數(shù)，提高神經(jīng)網(wǎng)絡(luò)的量化效率、便捷性和普適性。

在一種可能的實現(xiàn)方式中，所述向所述第一神經(jīng)網(wǎng)絡(luò)中插入偽量化節(jié)點(diǎn)，得到第二神經(jīng)網(wǎng)絡(luò)，包括：解析所述第一神經(jīng)網(wǎng)絡(luò)，得到所述第一神經(jīng)網(wǎng)絡(luò)的第一靜態(tài)圖；確定所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)在所述第一靜態(tài)圖中對應(yīng)的第一節(jié)點(diǎn)；在所述第一節(jié)點(diǎn)后插入偽量化節(jié)點(diǎn)，得到第二靜態(tài)圖；基于所述第二靜態(tài)圖，確定所述第二神經(jīng)網(wǎng)絡(luò)。通過該方式，能夠基于神經(jīng)網(wǎng)絡(luò)的靜態(tài)圖，在第一神經(jīng)網(wǎng)絡(luò)中便捷地插入偽量化節(jié)點(diǎn)，并且可以便于部署第二神經(jīng)網(wǎng)絡(luò)，實現(xiàn)對第二神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)以及預(yù)設(shè)的訓(xùn)練集，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)，包括：將所述訓(xùn)練集中的樣本分別輸入所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)，得到所述第一神經(jīng)網(wǎng)絡(luò)的第一輸出結(jié)果和所述第二神經(jīng)網(wǎng)絡(luò)的第二輸出結(jié)果；根據(jù)所述第一輸出結(jié)果與所述第二輸出結(jié)果，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)。通過該方式，能夠利用第一神經(jīng)網(wǎng)絡(luò)，便捷高效地訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)，從而可以得到精準(zhǔn)的量化參數(shù)，減小量化后的第一神經(jīng)網(wǎng)絡(luò)的精度損失，提高量化效率。

在一種可能的實現(xiàn)方式中，根據(jù)所述第一輸出結(jié)果與所述第二輸出結(jié)果，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，包括：根據(jù)所述第一輸出結(jié)果與所述第二輸出結(jié)果，確定所述第二神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)損失；根據(jù)所述網(wǎng)絡(luò)損失，更新所述第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)。通過該方式，能夠利用第一神經(jīng)網(wǎng)絡(luò)的第一輸出結(jié)果和第二神經(jīng)網(wǎng)絡(luò)的第二輸出結(jié)果之間的損失，便捷高效的訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)，從而可以得到精準(zhǔn)的量化參數(shù)。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)的量化參數(shù)，對所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到第三神經(jīng)網(wǎng)絡(luò)，包括：將所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)的第一網(wǎng)絡(luò)參數(shù)，確定為所述第一神經(jīng)網(wǎng)絡(luò)的第二網(wǎng)絡(luò)參數(shù)；根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)，對所述第二網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到所述第三神經(jīng)網(wǎng)絡(luò)。通過該方式，能夠得到較優(yōu)的量化參數(shù)和網(wǎng)絡(luò)參數(shù)，并且可以滿足各種網(wǎng)絡(luò)量化需求，提高網(wǎng)絡(luò)量化的普適性，減小獲得量化參數(shù)的開銷。

在一種可能的實現(xiàn)方式中，所述第三神經(jīng)網(wǎng)絡(luò)用于進(jìn)行圖像處理、語音處理、視頻處理、自然語言處理中的至少一種。