[發(fā)明專利]基于存儲器內(nèi)運算電路架構(gòu)的量化方法及其系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010199479.1
• 申請日: 2020-03-20
• 公開（公告）號: CN113496274A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設(shè)計）人: 鄭桂忠;魏瑋辰
• 申請（專利權(quán)）人: 鄭桂忠
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 隆天知識產(chǎn)權(quán)代理有限公司 72003
• 代理人: 黃艷

本發(fā)明提供一種基于存儲器內(nèi)運算電路架構(gòu)的量化方法及其系統(tǒng)，其中參數(shù)分群步驟依據(jù)分群數(shù)值將量化權(quán)重分成分群量化權(quán)重，并依據(jù)分群數(shù)值將輸入激勵函數(shù)分成分群激勵函數(shù)。乘積累加步驟將分群量化權(quán)重及分群激勵函數(shù)執(zhí)行乘積累加運算而產(chǎn)生卷積輸出。卷積量化步驟依據(jù)卷積目標(biāo)位元將卷積輸出量化成量化卷積輸出。卷積合并步驟依據(jù)分群數(shù)值將量化卷積輸出執(zhí)行部分和運算而產(chǎn)生輸出激勵函數(shù)。因此，通過分群配對及考慮硬件限制，并通過模擬數(shù)字轉(zhuǎn)換器的分類分布及具體量化法搭配深度神經(jīng)網(wǎng)絡(luò)的穩(wěn)健性質(zhì)，可學(xué)習(xí)到較佳的權(quán)重參數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種量化方法及其系統(tǒng)，特別涉及一種基于存儲器內(nèi)運算電路架構(gòu)的量化方法及其系統(tǒng)。

背景技術(shù)

在現(xiàn)有技術(shù)中，量化方法都是針對神經(jīng)網(wǎng)絡(luò)的輸入激勵函數(shù)及權(quán)重進行量化處理，并且通過數(shù)字電路實現(xiàn)低位元神經(jīng)網(wǎng)絡(luò)。近年來，存儲器內(nèi)運算被提出，并在能源效率上比數(shù)字電路更好。然而，現(xiàn)有量化方法應(yīng)用于存儲器內(nèi)運算時，經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練所得到的權(quán)重參數(shù)無法有效提升精準(zhǔn)度。由上述可知，目前市場上缺乏一種能有效提升精準(zhǔn)度并基于存儲器內(nèi)運算電路架構(gòu)的量化方法及其系統(tǒng)，故相關(guān)業(yè)者均在尋求其解決之道。

發(fā)明內(nèi)容

因此，本發(fā)明的目的在于提供一種基于存儲器內(nèi)運算電路架構(gòu)的量化方法及其系統(tǒng)，其針對神經(jīng)網(wǎng)絡(luò)的輸入激勵函數(shù)及權(quán)重進行分拆，以模擬存儲器內(nèi)運算電路的字元線及位元線的特性，并且在經(jīng)過分群卷積后對輸出結(jié)果進行量化處理，以模擬模擬數(shù)字轉(zhuǎn)換器的限制，最后在以部分和完成典型卷積運算。上述量化結(jié)合神經(jīng)網(wǎng)絡(luò)的權(quán)重更新，可提升精準(zhǔn)度。

依據(jù)本發(fā)明的方法態(tài)樣的一實施方式提供一種基于存儲器內(nèi)運算電路架構(gòu)的量化方法，其包含量化參數(shù)提供步驟、參數(shù)分群步驟、乘積累加步驟、卷積量化步驟以及卷積合并步驟。其中量化參數(shù)提供步驟是提供量化參數(shù)，量化參數(shù)包含一輸入激勵函數(shù)、一量化權(quán)重及一分群數(shù)值。參數(shù)分群步驟是依據(jù)分群數(shù)值將量化權(quán)重分成多個分群量化權(quán)重，并依據(jù)分群數(shù)值將輸入激勵函數(shù)分成多個分群激勵函數(shù)。乘積累加步驟是將任一分群量化權(quán)重及任一分群激勵函數(shù)執(zhí)行一乘積累加運算而產(chǎn)生一卷積輸出。卷積量化步驟是依據(jù)一卷積目標(biāo)位元將卷積輸出量化成一量化卷積輸出。卷積合并步驟是依據(jù)分群數(shù)值將量化卷積輸出執(zhí)行一部分和運算而產(chǎn)生一輸出激勵函數(shù)。

因此，本發(fā)明的量化方法可將分群量化權(quán)重預(yù)先存儲至存儲器單元內(nèi)，并且通過特定的存儲器內(nèi)運算電路架構(gòu)達到存儲器內(nèi)的卷積運算功能，可避免傳統(tǒng)架構(gòu)里階層存儲器間大量的數(shù)據(jù)搬運的問題，進而能達到降低系統(tǒng)功耗、降低系統(tǒng)延遲以及提高能源效率。此外，本發(fā)明將量化權(quán)重與輸入激勵函數(shù)分群配對，并考慮有限位元線的存儲器單元、字元線輸入及卷積輸出的離散化，通過深度神經(jīng)網(wǎng)絡(luò)的穩(wěn)健性質(zhì)，學(xué)習(xí)到適合非易失性存儲器內(nèi)運算的硬件限制的權(quán)重參數(shù)。

前述實施方式的其他實施例如下：前述輸入激勵函數(shù)可具有一輸入通道數(shù)，分群數(shù)值經(jīng)由輸入通道數(shù)與一控制參數(shù)運算求得，分群數(shù)值等于輸入通道數(shù)除以控制參數(shù)。分群數(shù)值為正整數(shù)，并大于1且小于等于輸入通道數(shù)。

前述實施方式的其他實施例如下：前述基于存儲器內(nèi)運算電路架構(gòu)的量化方法可還包含一迭代執(zhí)行步驟，此迭代執(zhí)行步驟是依據(jù)一迭代次數(shù)重復(fù)執(zhí)行乘積累加步驟、卷積量化步驟及卷積合并步驟，迭代次數(shù)等于分群數(shù)值。

前述實施方式的其他實施例如下：前述量化參數(shù)提供步驟可包含一權(quán)重量化步驟，此權(quán)重量化步驟是依據(jù)一權(quán)重目標(biāo)位元將一權(quán)重量化成一量化權(quán)重。權(quán)重量化步驟包含權(quán)重目標(biāo)位元、權(quán)重、映射后量化權(quán)重、量化方程式及量化權(quán)重，權(quán)重目標(biāo)位元表示為b_W，權(quán)重表示為W_l，量化方程式表示為quan，量化權(quán)重表示為W_l^q且符合下式：

及