[發明專利]一種用于手寫漢字識別的深度神經網絡的加速方法

有效

• 申請號: 201710038008.0
• 申請日: 2017-01-18
• 公開（公告）號: CN108319988B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 肖學鋒;金連文;梁凱煥;陳偉杰;常天海;劉汝杰;孫俊
• 申請（專利權）人: 華南理工大學;富士通株式會社
• 主分類號: G06K9/68
• 分類號: G06K9/68;G06N3/02
• 代理公司: 廣東廣信君達律師事務所 44329
• 代理人: 楊曉松

本發明公開了一種用于手寫漢字識別的深度神經網絡的加速方法，包括步驟：構建并訓練出一個針對脫機手寫漢字識別卷積神經網絡；根據所需加速的倍數，計算低秩分解后第一個卷積層輸出特征圖的數目；針對逐層分解的卷積層進行訓練；對所述用于手寫漢字識別的深度神經網絡進行重新訓練，從而進行微調；編寫所述用于手寫漢字識別的深度神經網絡的前向代碼。本發明破除了傳統的基于改進二次判別函數(MQDF)的分類器文字識別方法，采用深度卷積神經網絡針對手寫文字識別，并且將Batch Normalization和PReLU引入到網絡設計之中，顯著提高網絡的識別率；加速網絡收斂，增加網絡的擬合能力。

技術領域

本發明涉及模式識別和人工智能技術領域，尤其涉及一種用于手寫漢字識別的深度神經網絡的加速方法。

背景技術

漢字依舊是世界上使用人數最多的文字，有多達十幾億的書寫者，其存在眾多的書寫者，而且有眾多的書寫風格，以及漢字集有極多的類別，并且有大量的相似字的存在，導致脫機手寫漢字識別一直都是模式識別以及人工智能領域一個具有較大挑戰性的研究方向。

近年來，由于有大規模的訓練數據、具有較強計算能力的硬件以及最新的訓練方法，導致深度神經網絡的興起，特別是深度卷積神經網絡的發展，把脫機手寫漢字的識別性能提高到很大的提高。但是由于基于深度卷積神經網絡的計算量較大，特別是其卷積層的計算量較大，導致其識別速度較慢，在移動設備端體現的尤為明顯，這樣就極大地限制脫機手寫漢字識別在現實生活中的使用。所以加速基于深度神經網絡具有重大意義。

發明內容

為克服現有技術的不足，減少網絡計算量的同時，提高網絡的識別率，本發明提出一種用于手寫漢字識別的深度神經網絡的加速方法。

本發明的技術方案是這樣實現的：

一種用于手寫漢字識別的深度神經網絡的加速方法，包括步驟

S1：構建并訓練出一個針對脫機手寫漢字識別卷積神經網絡；

S2：根據所需加速的倍數，計算低秩分解后第一個卷積層輸出特征圖的數目；

S3：針對逐層分解的卷積層進行訓練；

S4：對所述用于手寫漢字識別的深度神經網絡進行重新訓練，從而進行微調；

S5：編寫所述用于手寫漢字識別的深度神經網絡的前向代碼。

進一步地，步驟S1包括步驟

S11：設計所述深度卷積神經網絡的結構，設置卷積層、池化層和全連接層參數，選取激活函數；

S12：將訓練集的數據作為深度卷積神經網絡的輸入，采用隨機梯度下降法對深度卷積神經網絡進行訓練，當深度卷積神經網絡在訓練集上的誤差完全收斂時，終止訓練，保存深度卷積神經網絡各個層的參數。

更進一步地，步驟S11中每個卷積層與激活函數的之間以及第一個全連接層與激活函數之間添加有批歸一化層，所述激活函數采用PReLU。

進一步地，步驟S3包括步驟

S31：在分解后的第一個卷積層輸出后面，加上Batch Normalization和PReLU層；

S32：從第二個卷積層開始低秩分解，把第二個卷積層以及接在其后面的BatchNormalization和PReLU層，用兩個較小的同樣在其后面接有BatchNormalization和PReLU層的卷積層代替，用初始訓練的模型參數對其他層進行初始化，然后將其學習率設置為0，最后采用隨機梯度下降法對整個深度卷積神經網絡進行訓練，直至深度卷積神經網絡收斂；

S33：對第三個卷積層進行低秩分解，此時除了此時要低秩分解的層和已經低秩分解過的層以外，將其他所有層的學習率設為0，在開始訓練，直至收斂，然后按照依次將后面的卷積層進行低秩分解。