[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化方法、裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010186495.7
• 申請(qǐng)日: 2020-03-17
• 公開（公告）號(hào): CN113408715A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 浦世亮;陳汝丹;張淵
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 謝安昆;宋志強(qiáng)

本申請(qǐng)公開了一種神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化方法，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行至少如下之一低比特量化：對(duì)神經(jīng)網(wǎng)絡(luò)中的卷積層輸入激活值進(jìn)行第一低比特量化，對(duì)卷積層中卷積核權(quán)值進(jìn)行第二低比特量化，對(duì)神經(jīng)網(wǎng)絡(luò)中除了卷積層之外的非卷積功能層，將非卷積功能層的輸入激活值進(jìn)行第三低比特量化；在進(jìn)行所述任意低比特量化之后，基于當(dāng)前低比特量化后的神經(jīng)網(wǎng)絡(luò)，進(jìn)行重訓(xùn)練，基于重訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)中各低比特量化結(jié)果，進(jìn)行定點(diǎn)化；其中，所述第一低比特、第二低比特、第三低比特均在1比特至8比特以內(nèi)。本申請(qǐng)使得最終激活值和/或卷積核權(quán)值都用低比特定點(diǎn)化表示，可以方便移植到嵌入式平臺(tái)、專用集成電路之中。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別地，涉及一種神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化方法。

背景技術(shù)

在計(jì)算機(jī)中數(shù)值會(huì)按照整型、浮點(diǎn)型等不同類型，占用計(jì)算機(jī)不同比特位來進(jìn)行保存，例如浮點(diǎn)數(shù)一般用高精度的32bit或者64bit表示，在可允許的精度損失范圍內(nèi)，用更少的比特?cái)?shù)，例如4bit、8bit、16bit，來表示浮點(diǎn)數(shù)的行為稱之為量化，通過動(dòng)態(tài)量化算法，得到的量化后數(shù)值取值是離散的。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)算法中一種重要的算法，它推動(dòng)了計(jì)算機(jī)領(lǐng)域的發(fā)展，隨著人們不斷研究，其算法的計(jì)算與存儲(chǔ)復(fù)雜度也隨之增長(zhǎng)，不斷膨脹的計(jì)算復(fù)雜度和空間復(fù)雜度對(duì)計(jì)算設(shè)備的性能提出了挑戰(zhàn)，在保證神經(jīng)網(wǎng)絡(luò)目標(biāo)性能的情形下將神經(jīng)網(wǎng)絡(luò)中的各個(gè)參數(shù)進(jìn)行量化，成為神經(jīng)網(wǎng)絡(luò)應(yīng)用的基礎(chǔ)。

隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，越來越多的小型化設(shè)備例如嵌入式系統(tǒng)需要通過神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)各種場(chǎng)景應(yīng)用，受限于硬件資源，減少神經(jīng)網(wǎng)絡(luò)被運(yùn)行時(shí)所占用的處理資源成為需求。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化方法，以減少神經(jīng)網(wǎng)絡(luò)所占用的處理資源。

本申請(qǐng)?zhí)峁┑囊环N神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化方法，該方法包括，

對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行至少如下之一低比特量化：

對(duì)神經(jīng)網(wǎng)絡(luò)中的卷積層輸入激活值進(jìn)行第一低比特量化，對(duì)卷積層中卷積核權(quán)值進(jìn)行第二低比特量化，

對(duì)神經(jīng)網(wǎng)絡(luò)中除了卷積層之外的非卷積功能層，將非卷積功能層的輸入激活值進(jìn)行第三低比特量化；

在進(jìn)行所述任意低比特量化之后，基于當(dāng)前低比特量化后的神經(jīng)網(wǎng)絡(luò)，進(jìn)行重訓(xùn)練，

基于重訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)中各低比特量化結(jié)果，進(jìn)行定點(diǎn)化；

其中，所述第一低比特、第二低比特、第三低比特在1比特至8比特以內(nèi)。

本申請(qǐng)還提供一種神經(jīng)網(wǎng)絡(luò)的定點(diǎn)化裝置，該裝置包括，

至少如下之一用于對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行低比特量化的量化模塊：

卷積層輸入激活值量化模塊，對(duì)神經(jīng)網(wǎng)絡(luò)中的卷積層輸入激活值進(jìn)行第一低比特量化，

卷積層權(quán)值量化模塊，對(duì)卷積層中卷積核權(quán)值進(jìn)行第二低比特量化，

非卷積功能層輸入激活值量化模塊，對(duì)神經(jīng)網(wǎng)絡(luò)中除了卷積層之外的非卷積功能層，將非卷積功能層的輸入激活值進(jìn)行第三低比特量化，

重訓(xùn)練模塊，在任意所述量化模塊進(jìn)行低比特量化之后，基于當(dāng)前低比特量化后的神經(jīng)網(wǎng)絡(luò)，進(jìn)行重訓(xùn)練，

定點(diǎn)化模塊，基于重訓(xùn)練神經(jīng)網(wǎng)絡(luò)中各低比特量化結(jié)果，進(jìn)行定點(diǎn)化；

其中，所述第一低比特、第二低比特、第三低比特均在1比特至8比特以內(nèi)。

本申請(qǐng)?zhí)峁┑囊环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述神經(jīng)網(wǎng)絡(luò)定點(diǎn)化方法的步驟。