[發(fā)明專利]一種運行在ARM上的卷積神經(jīng)網(wǎng)絡(luò)字符識別方法

在審

• 申請?zhí)枺?/td>: 202010919482.6
• 申請日: 2020-09-04
• 公開（公告）號: CN112132261A
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 黃炎;杜飛飛
• 申請（專利權(quán)）人: 武漢卓目科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06K9/20
• 代理公司: 北京匯澤知識產(chǎn)權(quán)代理有限公司 11228
• 代理人: 吳靜

1.一種運行在ARM上的卷積神經(jīng)網(wǎng)絡(luò)字符識別方法，其特征在于，包括：

S100.對輸入訓(xùn)練完畢的卷積神經(jīng)網(wǎng)絡(luò)，設(shè)置每次量化的比例R，按從大到小排序，每次將比例為R的權(quán)值量化為2的n次冪；迭代運行上述步驟直到量化后的網(wǎng)絡(luò)與量化前的網(wǎng)絡(luò)錯誤率差別小于設(shè)定閾值；

S200.輸入一組校正樣本集，計算權(quán)值已量化完畢的卷積神經(jīng)網(wǎng)絡(luò)每層輸出的激活值，對每層的激活值進行一次性的8位有符號整數(shù)量化。

2.如權(quán)利要求1所述的一種卷積神經(jīng)網(wǎng)絡(luò)權(quán)重按照2的冪次量化的方法，其特征在于，所述S100包括：

S101.輸入訓(xùn)練完畢的浮點型卷積神經(jīng)網(wǎng)絡(luò)、設(shè)定每輪量化權(quán)重的比例R；

S102.根據(jù)運算速度限制和量化精度需求，確定量化權(quán)值位數(shù)b；初始化與卷積神經(jīng)網(wǎng)絡(luò)相同大小的量化標(biāo)記矩陣，量化標(biāo)記矩陣為全為1的矩陣T_l；

S103.遍歷卷積神經(jīng)網(wǎng)絡(luò)中所有權(quán)值，獲得所有權(quán)值中絕對值最大的值記為max(abs(W₁))，根據(jù)該值獲得n₂；

S104.根據(jù)量化權(quán)值位數(shù)b和n₂，得到全局的最小權(quán)值指數(shù)值n₁；

S105.根據(jù)全局的權(quán)值指數(shù)值n₁、n2和權(quán)值位數(shù)b，得到量化后的權(quán)值范圍P₁；

S106.對卷積神經(jīng)網(wǎng)絡(luò)中每一層權(quán)值按照絕對值大小進行先大后小的排序，按照量化比例R獲得每一層量化閾值T₁；

S107.將網(wǎng)絡(luò)中各層權(quán)值絕對值與該層的量化閾值T₁相比，如果T₁小于當(dāng)前權(quán)值的絕對值，則將其量化為S105中P₁里與其最接近的權(quán)值；否則，則該權(quán)值不變；

S108.輸入經(jīng)步驟S107部分量化的網(wǎng)絡(luò)與對應(yīng)的標(biāo)記矩陣T_l，使用訓(xùn)練數(shù)據(jù)集對量化網(wǎng)絡(luò)進行前向傳播，計算損失函數(shù)；

S109.根據(jù)卷積神經(jīng)網(wǎng)絡(luò)反向傳播算法與S108中計算的損失函數(shù)，對部分量化的網(wǎng)絡(luò)進行逐層梯度計算；

S110.將S109得到的梯度用于更新各層未量化的權(quán)值，重復(fù)S107-S109訓(xùn)練網(wǎng)絡(luò)若干輪；

S111.判斷當(dāng)前輪量化比例R，若已經(jīng)達到100％則停止；否則返回S110繼續(xù)執(zhí)行；

S112.輸出權(quán)值全為2的冪次的量化神經(jīng)網(wǎng)絡(luò)。

3.如權(quán)利要求1的一種運行在ARM上的卷積神經(jīng)網(wǎng)絡(luò)字符識別方法，其特征在于，S103中變量n₂獲取公式為：

其中，max(abs(W₁))為所有權(quán)值中絕對值最大的值。

4.如權(quán)利要求1的一種運行在ARM上的卷積神經(jīng)網(wǎng)絡(luò)字符識別方法，其特征在于，S104中根據(jù)量化權(quán)值位數(shù)b和n₂，得到全局的最小權(quán)值指數(shù)值n₁的公式為：

n₁＝n₂+1-2^(b-1)/2

其中，n₂為全局最大權(quán)值指數(shù)變量，b為量化權(quán)值位數(shù)。

5.如權(quán)利要求1的一種運行在ARM上的卷積神經(jīng)網(wǎng)絡(luò)字符識別方法，其特征在于，S105中根據(jù)全局的權(quán)值變量指數(shù)值n₁，n₂和權(quán)值位數(shù)b，得到量化后的權(quán)值范圍P₁為：

6.如權(quán)利要求1的一種運行在ARM上的卷積神經(jīng)網(wǎng)絡(luò)字符識別方法，其特征在于，所述S110中，使用隨機梯度下降法更新權(quán)值時，按照以下公式：

其中T_l為標(biāo)記網(wǎng)絡(luò)矩陣，T_l＝0表示已經(jīng)量化的部分，T_l＝1表示還未量化的部分，即權(quán)值W_l(i，j)更新時，僅更新未被量化的權(quán)值。