[發(fā)明專利]一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 201710540111.5
• 申請日: 2017-07-05
• 公開（公告）號: CN109214509B
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 周廣超;羅海波;惠斌
• 申請（專利權(quán)）人: 中國科學(xué)院沈陽自動(dòng)化研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 沈陽科苑專利商標(biāo)代理有限公司 21002
• 代理人: 王倩

1.一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于：在深度神經(jīng)網(wǎng)絡(luò)選取部分或全部節(jié)點(diǎn)作為計(jì)算模塊，計(jì)算模塊內(nèi)的節(jié)點(diǎn)為2的整數(shù)倍次冪形式的參數(shù)，或量化為2的整數(shù)倍次冪形式的參數(shù)，將計(jì)算模塊的輸入數(shù)據(jù)與2的整數(shù)倍次冪形式的參數(shù)進(jìn)行運(yùn)算得到輸出結(jié)果；深度神經(jīng)網(wǎng)絡(luò)應(yīng)用在圖像處理的圖像識(shí)別中，輸入數(shù)據(jù)為圖像的灰度數(shù)值；

所述量化包括以下步驟：

1)設(shè)定量化參數(shù)個(gè)數(shù)M，占全體量化參數(shù)個(gè)數(shù)的a％個(gè)數(shù)值中，選取絕對值最大的n個(gè)參數(shù)值Fm-n…Fm；

2)計(jì)算Fm-n…Fm的平均值Fma；

3)設(shè)Fma為量化最大值；

4)設(shè)量化為K級，即2的0次冪至2的K次冪，并將Fma與2的K次冪的比例作為公共系數(shù)；

根據(jù)2的0次冪至2的K次冪的比例關(guān)系，確定量化其他級所對應(yīng)的中間數(shù)值，將量化參數(shù)與中間數(shù)值進(jìn)行比較，根據(jù)臨近點(diǎn)法取得量化參數(shù)對應(yīng)的冪的大小，進(jìn)而得到量化結(jié)果。

2.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于所述2的整數(shù)倍次冪形式的參數(shù)包括絕對值大于1的數(shù)。

3.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于所述計(jì)算模塊的輸入數(shù)據(jù)與2的整數(shù)倍次冪形式的參數(shù)進(jìn)行運(yùn)算具體為：計(jì)算模塊的輸入數(shù)據(jù)與2的整數(shù)倍次冪形式的參數(shù)相乘時(shí)在處理器中采用位移運(yùn)算。

4.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于所述2的整數(shù)倍次冪形式的參數(shù)為計(jì)算模塊提出公共系數(shù)后，進(jìn)行量化所得結(jié)果。

5.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征為所述2的整數(shù)倍次冪形式的參數(shù)為直接通過訓(xùn)練約束所得結(jié)果。

6.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于所述計(jì)算模塊輸入數(shù)據(jù)為2 的整數(shù)倍次冪形式， 或量化為2的整數(shù)倍次冪形式，輸入數(shù)據(jù)與參數(shù)的乘法運(yùn)算轉(zhuǎn)化為指數(shù)的加法運(yùn)算。

7.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于：當(dāng)計(jì)算模塊的輸入為深度神經(jīng)網(wǎng)絡(luò)的中間結(jié)果時(shí)，將中間結(jié)果量化并提出公共系數(shù)，將中間結(jié)果量化為2的整數(shù)倍次冪形式大小，公共系數(shù)在計(jì)算模塊以后的網(wǎng)絡(luò)層參與運(yùn)算。

8.根據(jù)權(quán)利要求6所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征在于所述將計(jì)算模塊的輸入數(shù)據(jù)與2的整數(shù)倍次冪形式的參數(shù)進(jìn)行運(yùn)算具體為將計(jì)算模塊的輸入數(shù)據(jù)與2的整數(shù)倍次冪形式的參數(shù)進(jìn)行卷積運(yùn)算，包括以下步驟：

計(jì)算模塊的輸入數(shù)據(jù)與2的整數(shù)倍次冪形式的參數(shù)相乘，即指數(shù)相加，得到H個(gè)相乘結(jié)果M1，…，MH，統(tǒng)計(jì)相乘結(jié)果中相同數(shù)值的數(shù)值個(gè)數(shù)，將數(shù)值個(gè)數(shù)輸入到對應(yīng)譯碼器得到實(shí)際數(shù)值；

將所有實(shí)際數(shù)值相加，得到輸出結(jié)果。

9.根據(jù)權(quán)利要求1所述一種用于深度神經(jīng)網(wǎng)絡(luò)高速實(shí)時(shí)量化結(jié)構(gòu)和運(yùn)算實(shí)現(xiàn)方法，其特征為：深度神經(jīng)網(wǎng)絡(luò)的輸入接收被處理數(shù)據(jù)；計(jì)算模塊的輸出結(jié)果至下一級的計(jì)算模塊或者網(wǎng)絡(luò)層，深度神經(jīng)網(wǎng)絡(luò)輸出處理結(jié)果。