[發(fā)明專利]一種深度神經(jīng)網(wǎng)絡(luò)的激活量量化方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710899328.5
• 申請(qǐng)日: 2017-09-28
• 公開（公告）號(hào): CN109583561B
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 楊希超;張淵;謝迪;浦世亮
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 馬敬;項(xiàng)京

本發(fā)明實(shí)施例提供了一種深度神經(jīng)網(wǎng)絡(luò)的激活量量化方法及裝置，其中，深度神經(jīng)網(wǎng)絡(luò)的激活量量化方法包括：針對(duì)深度神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層的激活量，獲取激活量的初始量化最大值；從初始量化最大值開始，按預(yù)設(shè)方式遞減，得到包括多個(gè)數(shù)值的初始待選數(shù)值集合；計(jì)算利用初始待選數(shù)值集合中各數(shù)值對(duì)激活量進(jìn)行量化得到的量化結(jié)果與激活量之間的重構(gòu)誤差；確定各數(shù)值對(duì)應(yīng)的重構(gòu)誤差中的最小重構(gòu)誤差；基于與最小重構(gòu)誤差相對(duì)應(yīng)的數(shù)值，確定第一量化最大值；根據(jù)第一量化最大值及預(yù)設(shè)比特?cái)?shù)，對(duì)激活量進(jìn)行量化。通過本方案可以減少量化帶來(lái)的誤差。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種深度神經(jīng)網(wǎng)絡(luò)的激活量量化方法及裝置。

背景技術(shù)

深度神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)研究中的一個(gè)新興領(lǐng)域，通過模仿人腦的機(jī)制來(lái)解析數(shù)據(jù)，是一種通過建立和模擬人腦進(jìn)行分析學(xué)習(xí)的智能模型。目前，深度神經(jīng)網(wǎng)絡(luò)在圖像分類、目標(biāo)檢測(cè)、目標(biāo)跟蹤、語(yǔ)音識(shí)別等方面已經(jīng)成為了主流的應(yīng)用方法。但是，由于深度神經(jīng)網(wǎng)絡(luò)中每個(gè)網(wǎng)絡(luò)層都有大量的數(shù)據(jù)參與運(yùn)算，并且，參與運(yùn)算的每一個(gè)數(shù)據(jù)都是較大比特?cái)?shù)的浮點(diǎn)數(shù)據(jù)，使得所需要的硬件計(jì)算資源非常巨大，導(dǎo)致硬件成本和帶寬消耗都非常大。

針對(duì)上述問題，相關(guān)的深度神經(jīng)網(wǎng)絡(luò)中，提出了對(duì)輸入數(shù)據(jù)進(jìn)行量化的思想，將大比特?cái)?shù)的浮點(diǎn)數(shù)據(jù)，量化為較低比特?cái)?shù)的定點(diǎn)數(shù)據(jù)，由于量化后的定點(diǎn)數(shù)據(jù)具有較低的比特?cái)?shù)，使得參與運(yùn)算的數(shù)據(jù)量得以降低，從而能夠降低深度神經(jīng)網(wǎng)絡(luò)在運(yùn)算過程中硬件計(jì)算資源和帶寬資源的消耗。

上述深度神經(jīng)網(wǎng)絡(luò)中，針對(duì)各網(wǎng)絡(luò)層，對(duì)量化最大值的范圍進(jìn)行限定，并根據(jù)量化最大值的范圍計(jì)算得到步長(zhǎng)值，按照該步長(zhǎng)值對(duì)輸入數(shù)據(jù)進(jìn)行量化。由于量化最大值的范圍為通過實(shí)驗(yàn)得到的經(jīng)驗(yàn)數(shù)據(jù)，得到的步長(zhǎng)值也與經(jīng)驗(yàn)數(shù)據(jù)相關(guān)，各網(wǎng)絡(luò)層的步長(zhǎng)值均是固定的，步長(zhǎng)值越大，量化后的數(shù)據(jù)的比特?cái)?shù)越低，但是步長(zhǎng)值越大，量化過程中數(shù)據(jù)丟失的信息就越多，使得量化后的數(shù)據(jù)與原始數(shù)據(jù)之間存在較大的誤差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種深度神經(jīng)網(wǎng)絡(luò)的激活量量化方法及裝置，以減少量化帶來(lái)的誤差。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種深度神經(jīng)網(wǎng)絡(luò)的激活量量化方法，所述方法包括：

針對(duì)深度神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層的激活量，獲取所述激活量的初始量化最大值；

從所述初始量化最大值開始，按預(yù)設(shè)方式遞減，得到包括多個(gè)數(shù)值的初始待選數(shù)值集合；

計(jì)算利用所述初始待選數(shù)值集合中各數(shù)值對(duì)所述激活量進(jìn)行量化得到的量化結(jié)果與所述激活量之間的重構(gòu)誤差；

確定各數(shù)值對(duì)應(yīng)的重構(gòu)誤差中的最小重構(gòu)誤差；

基于與所述最小重構(gòu)誤差相對(duì)應(yīng)的數(shù)值，確定第一量化最大值；

根據(jù)所述第一量化最大值及預(yù)設(shè)比特?cái)?shù)，對(duì)所述激活量進(jìn)行量化。

可選的，所述從所述初始量化最大值開始，按預(yù)設(shè)方式遞減，得到包括多個(gè)數(shù)值的初始待選數(shù)值集合，包括：

從所述初始量化最大值開始，每次以除以2的方式遞減，得到多個(gè)數(shù)值；

將所述多個(gè)數(shù)值組合成為初始待選數(shù)值集合。

可選的，所述基于與所述最小重構(gòu)誤差相對(duì)應(yīng)的數(shù)值，確定第一量化最大值，包括：

將與所述最小重構(gòu)誤差相對(duì)應(yīng)的數(shù)值確定為第一量化最大值。

可選的，所確定的各數(shù)值對(duì)應(yīng)的重構(gòu)誤差中的最小重構(gòu)誤差，作為所述初始待選數(shù)值集合對(duì)應(yīng)的最小重構(gòu)誤差；

在所述根據(jù)所述第一量化最大值及預(yù)設(shè)比特?cái)?shù)，對(duì)所述激活量進(jìn)行量化之后，所述方法還包括：

獲取對(duì)量化后的激活量進(jìn)行深度神經(jīng)網(wǎng)絡(luò)運(yùn)算，得到的運(yùn)算結(jié)果；