[發明專利]一種運行在ARM上的卷積神經網絡字符識別方法

在審

• 申請號: 202010919482.6
• 申請日: 2020-09-04
• 公開（公告）號: CN112132261A
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 黃炎;杜飛飛
• 申請（專利權）人: 武漢卓目科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06K9/20
• 代理公司: 北京匯澤知識產權代理有限公司 11228
• 代理人: 吳靜

一種運行在ARM上的卷積神經網絡字符識別方法，包括：神經網絡的權重層全部量化成2的n次冪，激活層全部量化成8位有符號整數。這種神經網絡在計算中，所有的乘法運算都可以用移位運算進行代替，充分發揮了ARM處理器位運算高效的優點、摒棄了ARM浮點運算耗時長的缺點，使得復雜的神經網絡計算得以在低運算能力、低功耗的嵌入式設備上部署。

技術領域

本發明屬于人工智能領域，特別是一種運行在嵌入式設備上的整數卷積神經網絡字符識別方法。

背景技術

通常字符識別的方法分為結構特征識別、統計特征識別和深度學習特征識別三個方向。在結構特征識別中，基于字符結構特征和相交點特征的虛線，形成識別判斷樹實現字符識別，字符結構往往會產生較大的變化，甚至出現局部斷裂粘連等復雜情況。因此采用結構特征識別的方法并沒有較好的結果。

在統計特征識別中，多采用八方向梯度特征和梯度方向直方圖特征，并且采用支持向量機和最近鄰分類兩種模式識別方法。統計特征相比于結構特征更能表現出不同字符的特性，但是對分辨率很低的情形，統計特征往往很難區別相似字符。

在基于深度學習的特征識別時，研究人員得到的結果相比于上面兩種方法更加優秀。不同結構的卷積神經網絡都取得了較好的結果。然而，在硬件設備上部署基于深度學習的識別方案時，無法同時滿足識別精度和實時性兩個特性，滿足不了時間和精度上的雙重需求。

發明內容

一種運行在ARM上的卷積神經網絡字符識別方法，包括：

S100.對輸入訓練完畢的卷積神經網絡，設置每次量化的比例R，按從大到小排序，每次將比例為R的權值量化為2的n次冪；迭代運行上述步驟直到量化后的網絡與量化前的網絡錯誤率差別小于設定閾值；

S200.輸入一組校正樣本集，計算權值已量化完畢的卷積神經網絡每層輸出的激活值。對每層的激活值進行一次性的8位有符號整數量化。

進一步地，所述S100包括：

S101.輸入訓練完畢的浮點型卷積神經網絡、設定每輪量化權重的比例R；

S102.根據運算速度限制和量化精度需求，確定量化權值位數b；初始化與卷積神經網絡相同大小的量化標記矩陣，量化標記矩陣為全為1的矩陣T_l；

S103.遍歷卷積神經網絡中所有權值，獲得所有權值中絕對值最大的值記為max(abs(W₁))，根據該值獲得n₂；

S104.根據量化權值位數b和n₂，得到全局的最小權值指數值n₁；

S105.根據全局的權值指數值n₁、n2和權值位數b，得到量化后的權值范圍P₁；

S106.對卷積神經網絡中每一層權值按照絕對值大小進行先大后小的排序，按照量化比例R獲得每一層量化閾值T₁；

S107.將網絡中各層權值絕對值與該層的量化閾值T₁相比，如果T₁小于當前權值的絕對值，則將其量化為S105中P₁里與其最接近的權值；否則，則該權值不變；

S108.輸入經步驟S107部分量化的網絡與對應的標記矩陣T_l，使用訓練數據集對量化網絡進行前向傳播，計算損失函數；

S109.根據卷積神經網絡反向傳播算法與S108中計算的損失函數，對部分量化的網絡進行逐層梯度計算；

S110.將S109得到的梯度用于更新各層未量化的權值，重復S107-S109訓練網絡若干輪；