[發(fā)明專利]網(wǎng)絡(luò)量化方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110138342.X
• 申請(qǐng)日: 2021-02-01
• 公開（公告）號(hào): CN112884144A
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 吉小洪;姚超;張行程
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種網(wǎng)絡(luò)量化方法，其特征在于，包括：

獲取已訓(xùn)練的第一神經(jīng)網(wǎng)絡(luò)；

向所述第一神經(jīng)網(wǎng)絡(luò)中插入偽量化節(jié)點(diǎn)，得到第二神經(jīng)網(wǎng)絡(luò)，所述偽量化節(jié)點(diǎn)中包括待訓(xùn)練的量化參數(shù)，所述量化參數(shù)用于對(duì)所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化；

根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)以及預(yù)設(shè)的訓(xùn)練集，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)；

根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)，對(duì)所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到第三神經(jīng)網(wǎng)絡(luò)，所述第三神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度小于所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述向所述第一神經(jīng)網(wǎng)絡(luò)中插入偽量化節(jié)點(diǎn)，得到第二神經(jīng)網(wǎng)絡(luò)，包括：

解析所述第一神經(jīng)網(wǎng)絡(luò)，得到所述第一神經(jīng)網(wǎng)絡(luò)的第一靜態(tài)圖；

確定所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)在所述第一靜態(tài)圖中對(duì)應(yīng)的第一節(jié)點(diǎn)；

在所述第一節(jié)點(diǎn)后插入偽量化節(jié)點(diǎn)，得到第二靜態(tài)圖；

基于所述第二靜態(tài)圖，確定所述第二神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)以及預(yù)設(shè)的訓(xùn)練集，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)，包括：

將所述訓(xùn)練集中的樣本分別輸入所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)，得到所述第一神經(jīng)網(wǎng)絡(luò)的第一輸出結(jié)果和所述第二神經(jīng)網(wǎng)絡(luò)的第二輸出結(jié)果；

根據(jù)所述第一輸出結(jié)果與所述第二輸出結(jié)果，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一輸出結(jié)果與所述第二輸出結(jié)果，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，包括：

根據(jù)所述第一輸出結(jié)果與所述第二輸出結(jié)果，確定所述第二神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)損失；

根據(jù)所述網(wǎng)絡(luò)損失，更新所述第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)的量化參數(shù)，對(duì)所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到第三神經(jīng)網(wǎng)絡(luò)，包括：

將所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)的第一網(wǎng)絡(luò)參數(shù)，確定為所述第一神經(jīng)網(wǎng)絡(luò)的第二網(wǎng)絡(luò)參數(shù)；

根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)，對(duì)所述第二網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到所述第三神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第三神經(jīng)網(wǎng)絡(luò)用于進(jìn)行圖像處理、語(yǔ)音處理、視頻處理、自然語(yǔ)言處理中的至少一種。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)絡(luò)參數(shù)包括權(quán)值以及神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層輸出的激活值中的至少一種；所述量化參數(shù)包括所述權(quán)值的量化參數(shù)和所述激活值的量化參數(shù)中的至少一種。

8.一種網(wǎng)絡(luò)量化裝置，其特征在于，包括：

獲取模塊，用于獲取已訓(xùn)練的第一神經(jīng)網(wǎng)絡(luò)；

插入模塊，用于向所述第一神經(jīng)網(wǎng)絡(luò)中插入偽量化節(jié)點(diǎn)，得到第二神經(jīng)網(wǎng)絡(luò)，所述偽量化節(jié)點(diǎn)中包括待訓(xùn)練的量化參數(shù)，所述量化參數(shù)用于對(duì)所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化；

訓(xùn)練模塊，用于根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)以及預(yù)設(shè)的訓(xùn)練集，訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)；

量化模塊，用于根據(jù)所述訓(xùn)練后的第二神經(jīng)網(wǎng)絡(luò)中的量化參數(shù)，對(duì)所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行量化，得到第三神經(jīng)網(wǎng)絡(luò)，所述第三神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度小于所述第一神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)精度。

9.一種電子設(shè)備，其特征在于，包括：

處理器；

用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其特征在于，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任意一項(xiàng)所述的方法。