[發明專利]基于計算機視覺的巡檢機器人儀表圖像識別方法及系統

在審

• 申請號: 201911066787.0
• 申請日: 2019-11-04
• 公開（公告）號: CN110826549A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 徐勇;李傳智;郝朝陽;李慶;孫曉彬;王樹東;武志強;馮勇;李志國;寧利敏;王明國
• 申請（專利權）人: 山東歐瑪嘉寶電氣科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

1.一種基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，步驟如下：

構建待巡檢場景的三維空間模型，根據三維空間模型預設巡檢機器人的巡檢路線，并根據目標儀表的位置、朝向以及光照情況預設拍照點位；

基于設計的巡檢路線和拍照點，對指定儀表進行拍攝標定，得到指定儀表的型號、量程、儀表模版圖片和拍照點編號；

巡檢機器人沿巡檢路線按照指定的編號順序到達各個巡檢點，按照預設拍照點位對儀表進行拍攝，將得到的儀表照片編碼后根據模板匹配算法進行儀表定位，然后利用指針儀表或數字儀表各自對應的儀表識別算法進行讀數識別。

2.如權利要求1所述的基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，根據模板匹配算法進行儀表定位，具體為：

采用滑窗機制，通過提取儀表模版圖片中的圖像特征，再與目標圖片上的每一個大小相近的滑窗窗口進行比對，得到最相似的部分作為儀表的定位結果。

3.如權利要求1所述的基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，指針儀表的儀表識別算法，具體為：

采用PointeNet算法，引入以表盤半徑中點為中心點的錨點，將所有的錨點邊框設計為對角長度為表盤半徑，中心點在二分之一半徑處的矩形，以所有的矩形錨點邊框為基礎基于SSD的卷積神經網絡進行儀表指針的檢測，得到指針候選框。

4.如權利要求3所述的基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，得到指針候選框后，根據標定好的儀表量程起點的坐標和刻度、中心點的坐標以及終點的坐標和刻度，計算指針儀表具體讀數，具體為：

其中，中心點坐標為(x_c，y_c)，量程起點坐標為(x_s，y_s)，刻度為α量程終點坐標為(x_e，y_e)，刻度為β，算法識別結果為(x_r，y_r)。

5.如權利要求1所述的基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，采用STR算法進行數字識別，包括數字區域的檢測和檢測區域的數字識別。

6.如權利要求5所述的基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，所述STR算法進行數字識別的具體步驟為：

(6-1)輸入圖像為X，通過文字檢測網絡CTPN進行數字區域的檢測，得到數字區域的外接框，從原圖中截取得到

(6-2)圖像矯正，設定一個基準點數量參數F，通過基準點定位網絡尋找圖片的上下基準點，并且基于基準點，以整個文字的上下部分平行為目標對原圖像進行校正，矯正后得到圖像

(6-3)特征提取，輸入矯正后圖像通過圖像特征提取網絡，輸出特征圖V＝{v_i}，i是特征圖的通道數；

(6-4)模型序列化語義提取，將特征圖V輸入一個雙向LSTM網絡進行語義序列化的特征提取；

(6-5)結果預測，通過基于注意力機制的分類層進行識別結果的預測，得到最終的數字儀表識別結果。

7.如權利要求6所述的基于計算機視覺的巡檢機器人儀表圖像識別方法，其特征在于，所述(6-4)中，進行特征提取得到：

H＝seq(V)

輸出結果H中包含T個階段，分別代表著T個可能的數字。