[發明專利]基于計算機視覺的巡檢機器人儀表圖像識別方法及系統

在審

• 申請號: 201911066787.0
• 申請日: 2019-11-04
• 公開（公告）號: CN110826549A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 徐勇;李傳智;郝朝陽;李慶;孫曉彬;王樹東;武志強;馮勇;李志國;寧利敏;王明國
• 申請（專利權）人: 山東歐瑪嘉寶電氣科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本公開提供了一種基于計算機視覺的巡檢機器人儀表圖像識別方法及系統，構建待巡檢場景的三維空間模型，預設巡檢機器人的巡檢路線，并根據目標儀表的位置、朝向以及光照情況預設拍照點位；基于設計的巡檢路線和拍照點，對指定儀表進行拍攝標定，得到指定儀表的型號、量程、儀表模版圖片和拍照點編號；巡檢機器人沿巡檢路線按照指定的編號順序到達各個巡檢點，按照預設拍照點位對儀表進行拍攝，將得到的儀表照片編碼后根據模板匹配算法進行儀表定位，然后利用指針儀表或數字儀表各自對應的儀表識別算法進行讀數識別；本公開解決了人力巡檢的不安全性、傳統儀表圖像識別方法的不穩定性和參數難調的問題，極大的提高了儀表圖像識別的準確度。

技術領域

本公開涉及儀表圖像識別技術領域，特別涉及一種基于計算機視覺的巡檢機器人儀表圖像識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術，并不必然構成現有技術。

隨著智能化時代的到來，利用新興的計算機視覺技術，節約更多的人力成本，提高實際應用的效率是未來的發展趨勢之一。圖像識別技術在生活中有眾多的應用場景，如何將基于計算機視覺的圖像識別方法搭載于巡檢機器人上實現自動化、智能化的巡檢，是當今研究的熱點之一。儀表圖像識別的目的是在圖片中準確找到儀表的位置，并且分析儀表的狀態，例如：讀數、開關等。搭載儀表圖像識別算法的巡檢機器人被廣泛應用于電站、機房等場景的無人巡檢、安全檢查等任務中。

本公開發明人發現，(1)目前的儀表圖像識別算法主要是利用已有的計算機圖形學方法，對目標的指定特征(直線、圓環等)進行提取，設置特定的判斷邏輯實現儀表圖像識別，這樣的方法難以適應現實場景中的大量干擾，例如光照、劃痕、遮擋等；(2)上述方法的效率一般較低，需要對整幅圖像中的信息進行完整的處理才能夠得到最終的結果，并且算法中存在大量的未知參數，需要根據實際場景進行參數的調整，因而應用性不強。

發明內容

為了解決現有技術的不足，本公開提供了一種基于計算機視覺的巡檢機器人儀表圖像識別方法及系統，解決了人力巡檢的不安全性、傳統儀表圖像識別方法的不穩定性和參數難調的問題。

為了實現上述目的，本公開采用如下技術方案：

本公開第一方面提供了一種基于計算機視覺的巡檢機器人儀表圖像識別方法。

一種基于計算機視覺的巡檢機器人儀表圖像識別方法，步驟如下：

構建待巡檢場景的三維空間模型，根據三維空間模型預設巡檢機器人的巡檢路線，并根據目標儀表的位置、朝向以及光照情況預設拍照點位；

基于設計的巡檢路線和拍照點，對指定儀表進行拍攝標定，得到指定儀表的型號、量程、儀表模版圖片和拍照點編號；

巡檢機器人沿巡檢路線按照指定的編號順序到達各個巡檢點，按照預設拍照點位對儀表進行拍攝，將得到的儀表照片編碼后根據模板匹配算法進行儀表定位，然后利用指針儀表或數字儀表各自對應的儀表識別算法進行讀數識別。

作為可能的一些實現方式，根據模板匹配算法進行儀表定位，具體為：

采用滑窗機制，通過提取儀表模版圖片中的圖像特征，再與目標圖片上的每一個大小相近的滑窗窗口進行比對，得到最相似的部分作為儀表的定位結果。

作為可能的一些實現方式，指針儀表的儀表識別算法，具體為：

采用PointeNet算法，引入以表盤半徑中點為中心點的錨點，將所有的錨點邊框設計為對角長度為表盤半徑，中心點在二分之一半徑處的矩形，以所有的矩形錨點邊框為基礎基于SSD的卷積神經網絡進行儀表指針的檢測，得到指針候選框。

作為進一步的限定，得到指針候選框后，根據標定好的儀表量程起點的坐標和刻度、中心點的坐標以及終點的坐標和刻度，計算指針儀表具體讀數，具體為：