[發(fā)明專利]處理卷積神經(jīng)網(wǎng)絡(luò)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911171097.1
• 申請(qǐng)日: 2019-11-26
• 公開(kāi)（公告）號(hào): CN111310888A
• 公開(kāi)（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 伍捷;馬云漢;謝必克;李湘村;蘇俊杰;劉峻誠(chéng)
• 申請(qǐng)（專利權(quán)）人: 耐能智慧股份有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 趙平;周永君

本發(fā)明提供了一種處理卷積神經(jīng)網(wǎng)絡(luò)的方法，包含將輸入數(shù)據(jù)輸入至浮點(diǎn)預(yù)訓(xùn)練CNN模型以產(chǎn)生浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的浮點(diǎn)特征圖，將浮點(diǎn)特征圖輸入至統(tǒng)計(jì)分析模擬器以產(chǎn)生浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的動(dòng)態(tài)量化范圍，依據(jù)浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的動(dòng)態(tài)量化范圍對(duì)浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的特征值進(jìn)行量化以產(chǎn)生量化CNN模型的每層的特征值、量化CNN模型的每層的純量因子、及量化CNN模型的分?jǐn)?shù)位，及將量化CNN模型的每層的特征值輸入至推論引擎以使用低精度的定點(diǎn)算數(shù)操作來(lái)產(chǎn)生定點(diǎn)推論CNN模型的每層的特征值。

技術(shù)領(lǐng)域

本發(fā)明關(guān)于影像處理，特別是一種節(jié)能的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)方式。

背景技術(shù)

由于在影像網(wǎng)(ImageNet)競(jìng)賽中的卓越成功，卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionNeural Network，CNN)已成為電腦視覺(jué)處理中最受歡迎的結(jié)構(gòu)。通常的預(yù)訓(xùn)練CNN模型需要好幾百萬(wàn)個(gè)運(yùn)算、大量的存儲(chǔ)器空間及好幾瓦的功率來(lái)進(jìn)行單一推論(inference)運(yùn)作。有限的運(yùn)算資源及儲(chǔ)存空間已成為在物聯(lián)網(wǎng)(Internet ofthings，IoT)或可攜裝置上執(zhí)行CNN的主要障礙。

開(kāi)發(fā)新的CNN加速器主要有三個(gè)挑戰(zhàn)：

使用有限儲(chǔ)存存儲(chǔ)器的空間數(shù)據(jù)(spatial data)傳輸：由于物聯(lián)網(wǎng)設(shè)備中的存儲(chǔ)器有限(＜320KB SRAM)，因此實(shí)時(shí)人工智能(artificial intelligence，AI)應(yīng)用無(wú)法接受芯片外(off-chip)存儲(chǔ)器，如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dynamic random access memory，DRAM)及芯片上(on-chip)存儲(chǔ)器，如同步隨機(jī)存儲(chǔ)器(synchronous random accessmemory，SRAM)之間的大量數(shù)據(jù)傳輸?shù)难舆t。

CNN的大量乘法運(yùn)算及高功耗：對(duì)于實(shí)時(shí)推論CNN模型來(lái)說(shuō)，大規(guī)模的乘法運(yùn)算需要極高功耗用于算術(shù)計(jì)算，因此難以設(shè)計(jì)滿足IoT設(shè)備的功率要求的CNN。

重新訓(xùn)練CNN模型需要大量的訓(xùn)練數(shù)據(jù)集：在量化近似操作中重新訓(xùn)練CNN模型過(guò)程往往需要花費(fèi)數(shù)小時(shí)。

CNN需要大量算數(shù)運(yùn)算，因此無(wú)法在低功耗裝置上實(shí)現(xiàn)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種處理卷積神經(jīng)網(wǎng)絡(luò)的方法，包含將輸入數(shù)據(jù)輸入至浮點(diǎn)預(yù)訓(xùn)練CNN模型以產(chǎn)生浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的浮點(diǎn)特征圖，將浮點(diǎn)特征圖輸入至統(tǒng)計(jì)分析模擬器以產(chǎn)生浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的動(dòng)態(tài)量化范圍，依據(jù)浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的動(dòng)態(tài)量化范圍對(duì)浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的特征值進(jìn)行量化以產(chǎn)生量化CNN模型的每層的特征值、量化CNN模型的每層的純量因子、及量化CNN模型的分?jǐn)?shù)位，及將量化CNN模型的每層的特征值輸入至推論引擎以使用低精度的定點(diǎn)算數(shù)操作來(lái)產(chǎn)生定點(diǎn)推論CNN模型的每層的特征值。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的處理卷積神經(jīng)網(wǎng)絡(luò)的方法的流程圖。

圖2顯示量化圖1中權(quán)重及激活值的方法。

符號(hào)說(shuō)明：

100 方法

S102至S108 步驟

具體實(shí)施方式

圖1為本發(fā)明實(shí)施例的處理卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)的方法100的流程圖。方法100包含下列步驟：

S102：將輸入數(shù)據(jù)輸入至浮點(diǎn)預(yù)訓(xùn)練CNN模型以產(chǎn)生浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的浮點(diǎn)特征圖(feature map)；

S104：將浮點(diǎn)特征圖輸入至統(tǒng)計(jì)分析模擬器以產(chǎn)生浮點(diǎn)預(yù)訓(xùn)練CNN模型的每層的動(dòng)態(tài)量化范圍；