[發明專利]一種基于卷積神經網絡的電廠電表字符定位和識別方法

在審

• 申請號: 201910316734.3
• 申請日: 2019-04-18
• 公開（公告）號: CN110263790A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 范衠;姜濤;安康;邱本章;朱貴杰;王袁野
• 申請（專利權）人: 汕頭大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 周增元;曹江

本發明實施例公開了一種基于卷積神經網絡的電廠電表字符定位和識別方法，包括：整理電廠電表圖像，建立由所述圖像組成的含有字符的電表圖像庫；訓練用于定位字符區域的卷積神經網絡，確定網絡中的學習參數；利用訓練好的用于定位字符區域的卷積神經網絡定位所述圖像庫中電表圖像的字符區域，輸出字符區域進行裁剪并導出；整理導出的含有數字序列圖片并建立對應的圖像庫，利用其訓練用于識別數字序列的卷積神經網絡；利用訓練好的卷積神經網絡識別裁剪得到的數字序列圖像，輸出字符識別結果。本發明充分利用卷積神經網絡的特征提取和學習能力，規避了傳統圖像處理中的噪聲等問題，提高了系統的魯棒性，高效準確地定位并識別電廠電表中的字符。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于卷積神經網絡的電廠電表字符定位和識別方法。

背景技術

隨著工業化和信息化的快速發展，工業生產的規模不斷擴大，全國各地的電廠數量也急劇增加。同樣的，電廠中的各種精密儀表也隨之增加。電廠電力設備設施的檢修和操作對電廠的正常運行是一個非常重要的任務。快速、準確地獲得各類儀表的測量值對電廠的日常檢修至關重要，依靠人工進行電廠電表讀數存在以下缺點：容易引起主觀人為誤判；檢修效率低下、危險性高。而通過巡檢機器人后臺的儀表識別功能，可以取代傳統人工抄表工作，大大節省了巡檢的時間，能夠發現設備的異常狀態。

在現有電表字符定位和識別方法中，主要是利用傳統圖像處理的方法對電表圖片進行處理，通常包括以下3個步驟：字符定位，字符分割和字符識別。其中的字符分割是整個識別過程中的關鍵，主要是使用圖像增強、二值化及連通區域分析方法等。除此之外，字符分割通常將字符單個處理，沒有考慮字符之間的關系，而在電廠復雜的環境下，圖像的獲取容易受到光照，磁場等影響，圖片的獲取存在質量參差不齊等問題，因此另外采用傳統圖像處理的方法，其過程較為復雜，效率偏低，系統穩定性和抗干擾行差，識別的準確率低，不能廣泛適用于復雜環境。

發明內容

本發明實施例所要解決的技術問題在于，提供一種基于卷積神經網絡的電廠電表字符定位和識別方法，利用卷積神經網絡的特征提取和學習能力對電廠電表字符圖像進行處理，可以高效準確地定位并識別電廠電表中的字符。

為了解決上述技術問題，本發明實施例提供了一種基于卷積神經網絡的電廠電表字符定位和識別方法，所述方法包括以下步驟：

S1：巡檢機器人實地電廠環境拍攝含有字符如：“on”、“off”、“分”、“合”以及由5位羅馬數字組成的數字序列電表圖片。在此基礎之上，對圖片進行數據擴充，建立由電廠電表字符圖片組成的圖像庫；

S2：利用訓練樣本訓練一個用于定位字符區域的卷積神經網絡Faster-Rcnn，并確定網絡中的學習參數；

S3：利用訓練好的用于定位字符區域的卷積神經網絡Faster-Rcnn定位所述圖像庫中電表圖像的字符區域，輸出字符區域進行裁剪并導出；

S4：整理導出的含有數字序列區域圖片并建立圖像庫，利用其訓練一個用于識別數字序列的卷積神經網絡CRNN；

S5：利用訓練好的用于識別數字序列的CRNN網絡識別裁剪得到的數字序列圖像，輸出電表字符識別結果。

步驟S1中，具體包括使用25倍光學變焦相機RST-3200W、佳能單反相機以及自帶的移動手機等三種拍攝裝備對電廠電表實體環境的拍攝，經整理后得到由450張圖片組成的圖像庫。

進一步的，所述步驟S2以及步驟S4中，用于定位字符區域以及數字序列識別的卷積神經網絡CRNN的訓練，包括：

卷積神經網絡的結構建立和卷積神經網絡的參數學習；步驟S2中訓練所采用的圖像樣本來源于巡檢機器人實地在電廠拍攝的圖片，圖片中含有的字符為：“on”、“off”、“分”、“合”以及由5位羅馬數字組成的數字序列；步驟S4中訓練采用的圖像樣本來源于步驟S2中訓練的卷積神經網絡對字符區域的定位并裁剪得到的照片。