[發明專利]一種基于卷積神經網絡的電廠電表字符定位和識別方法

在審

• 申請號: 201910316734.3
• 申請日: 2019-04-18
• 公開（公告）號: CN110263790A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 范衠;姜濤;安康;邱本章;朱貴杰;王袁野
• 申請（專利權）人: 汕頭大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 周增元;曹江

1.一種基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，包括以下步驟：

步驟S1：巡檢機器人實地電廠環境拍攝數字序列電表圖片，對圖片進行數據擴充，建立由電廠電表字符圖片組成的圖像庫；

步驟S2：利用訓練樣本訓練用于定位字符區域的卷積神經網絡，并確定網絡中的學習參數；

步驟S3：利用訓練好的用于定位字符區域的卷積神經網絡定位所述圖像庫中電表圖像的字符區域，輸出字符區域進行裁剪并導出；

步驟S4：整理S3導出的含有數字序列區域圖片并建立圖像庫，利用其訓練用于識別數字序列的卷積神經網絡；

步驟S5：利用訓練好的用于識別數字序列的卷積神經網絡識別裁剪得到的數字序列圖像，輸出電表字符識別結果。

2.根據權利要求1所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，所述步驟S2以及步驟S4中，利用反向傳播算法訓練用于定位電表字符區域以及識別數字序列的兩個卷積神經網絡，從而得到電廠電表字符定位和識別的模型。

3.根據權利要求2所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，所述步驟S4中，使用步驟S2中訓練好的所述定位字符區域的卷積神經網絡對電廠電表圖像的字符區域進行定位，并將定位框內字符區域圖像進行裁剪，得到有字符區域的圖像；所述步驟S5中利用步驟S4中的訓練好的用于識別數字序列的卷積神經網絡對數字序列區域圖像進行讀數識別。

4.根據權利要求3所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，所述用于識別數字序列的卷積神經網絡由三個部分組成：卷積層、循環網絡層、合成層，卷積層用于提取輸入圖像的特征圖，循環網絡層用于在卷積特征基礎上繼續提取數字序列特征，合成層用于生成數字序列并輸出。

5.根據權利要求1－4任一項所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，所述用于定位字符區域的卷積神經網絡和用于識別數字序列的卷積神經網絡的結構建立均包括卷積層層數、每卷積層的特征圖數、全連接的層數、每全連接層的特征圖數、池化層層數、卷積層使用的卷積核的大小、池化層所用的采樣核的大小、訓練步長以及訓練卷積神經網絡時的最大時間長度即時間輸入。

6.根據權利要求5所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，所述用于定位字符區域的卷積神經網絡指通過不斷降低損失函數的函數值來學習得到深度卷積神經網絡的參數，其中，用于定位電表字符區域的卷積神經網絡的損失函數L({p_i}，{t_i})為：

其中，i表示卷積神經網絡中第i個錨點，p_i為第i個錨點為電表字符區域的預測概率，如果錨點為正則標簽的真實值為1，錨點為負則為0，當為1時，回歸損失函數L_rog被激活；t_i為包含定位框四個頂點坐標參數的向量，為定位框的真實值；L_cis為兩個類(目標以及非目標)的log損失函數；L_reg表示定位框的回歸損失函數，取為其中R為1范數損失函數。

7.根據權利要求6所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，所述用于識別數字序列的卷積神經網絡的訓練數據通過：

X＝{I_i,L_i}_i的定義

其中I_i是訓練過程中卷積神經網絡CRNN判斷的數字序列，L_i是真實的標簽序列，訓練整個卷積神經模型的目標函數是最小化真實條件概率下的負對數似然函數：

其中，Y_i是由L_i經過循環層和卷積層所產生的序列，卷積神經網絡使用隨梯度下降進行訓練，梯度由反向傳播算法計算。

8.根據權利要求7所述的基于卷積神經網絡的電廠電表字符定位和識別方法，其特征在于，針對步驟S4中利用訓練好的用于定位字符區域的卷積神經網絡對電廠電表圖像進行字符區域定位后，得到一個含有字符區域的定位框。