[發明專利]一種基于計算機視覺的指針式儀表自動識別讀數方法

在審

• 申請號: 202110650837.0
• 申請日: 2021-06-11
• 公開（公告）號: CN113313122A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 李磊;孫芝強;張立華;王化建;盧立暉;孫永明;陳金健
• 申請（專利權）人: 曲阜師范大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/08
• 代理公司: 蘇州國誠專利代理有限公司 32293
• 代理人: 陳松

1.一種基于計算機視覺的指針式儀表自動識別讀數方法，其特征在于：其包括以下步驟：

S1、標注數據集：對獲取得到的多張儀表圖像進行數據增強處理，隨后使用圖像標注工具將處理后的儀表圖像中的表盤輪廓標注出來，形成儀表盤數據集；

S2、模型訓練：將儀表盤數據集送入Mask R-CNN模型中訓練得到模型權重；

S3、定位表盤區域：根據訓練好的模型權重對表盤區域進行定位，同時將表盤區域分割出來，獲得對應的二值掩膜圖像；

S4、儀表類型識別：建立儀表模板庫，通過SURF算法提取表盤分割圖像和模板圖像的特征點，并將表盤分割圖像特征點和模板圖像特征點進行匹配，匹配成功后輸出儀表模板庫中的儀表參數信息，儀表參數信息包括量程M、刻度線覆蓋范圍β；

S5、透視變換校正圖像：將二值掩膜圖像做極端點檢測，得到二值掩膜圖像的上、下、左、右四點坐標，接著對獲取的表盤分割圖像做霍夫圓檢測得到表盤的圓心(m,n)和半徑r，從而得到表盤分割圖像的上、下、左、右四點坐標，最后運用透視變換矩陣完成圖像的校正；

S6、提取指針：對所述步驟S5中校正完成的儀表圖像，運用圖像形態學操作中的腐蝕運算將特征相對不明顯的儀表刻度腐蝕掉，保留特征明顯的儀表指針，然后采用zhang-Suen快速并行細化算法進行指針區域的細化，細化后采用霍夫直線變換來擬合指針直線，得到直線斜率k；

S7、儀表示數計算：利用所述步驟S6得到的細化后的指針確定該指針的方向，得到指針與零刻度線之間的夾角α，最后通過角度法計算公式得到最終儀表示數X。

2.根據權利要求1所述的一種基于計算機視覺的指針式儀表自動識別讀數方法，其特征在于：在所述步驟S1中，首先使用高清攝像機獲取一定數量的包含儀表的圖像，獲取的圖像包含不同儀表類型、不同背景、不同光照下的圖片，隨后對獲取的儀表圖像進行包括亮度增強、旋轉、隨機顏色等的數據增強處理，使用Labelme圖像標注工具將處理后的儀表圖像中的表盤輪廓標注出來，形成儀表盤數據集。

3.根據權利要求1所述的一種基于計算機視覺的指針式儀表自動識別讀數方法，其特征在于：所述步驟S5中的透視變換校正圖像還包括以下步驟：

S5.1、根據得到的表盤的圓心(m,n)和半徑r，得到表盤分割圖像的上、下、左、右四點坐標，分別記為(m,n+r)，(m,n-r)，(m-r,n)，(m+r,n)；隨后根據二值掩膜圖像的四點坐標和表盤分割圖像的四點坐標運用計算機視覺庫OpenCV得到透視變換矩陣；

S5.2、根據得到的透視變換矩陣，透視變換前坐標記為(x,y)，與三維空間中點(X,Y,Z)的關系為：

X＝f₁₁×x+f₁₂×y+f₁₃

Y＝f₂₁×x+f₂₂×y+f₂₃

Z＝f₃₁×x+f₃₂×y+f₃₃

其中：f₁₁、f₁₂、f₁₃、f₂₁、f₂₂、f₂₃、f₃₁、f₃₂、f₃₃為三維空間點(X,Y,Z)和二維空間點(x,y)的變換系數；

透視變換后坐標記為(x',y')，與三維空間中點(X,Y,Z)的關系為：

則透視變換前、后坐標以此關系變換完成圖像的校正。

4.根據權利要求1所述的一種基于計算機視覺的指針式儀表自動識別讀數方法，其特征在于：所述步驟S7中的指針與零刻度線之間的夾角α計算包括以下步驟：

S7.1、根據表盤的圓心(m,n)，遍歷指針區域上的點，找到與圓心距離最大的點即為指針頂端的點，確定指針首端的像素點的坐標記為(w,t)，且兩點間的距離公式為：兩點間橫、縱坐標間的距離公式分別為d_x＝w-m，d_y＝t-n；

S7.2、以圓心(m,n)為中心，劃分四個象限，當d_x＞0，d_y＞0時，指針首端位于第一象限；當d_x＜0，d_y＞0時，指針首端位于第二象限；當d_x＜0，d_y＜0時，指針首端位于第三象限；當d_x＞0，d_y＜0時，指針首端位于第四象限；

S7.3、取穿過表盤圓心的橫軸與指針之間的夾角為θ，即θ＝arctan|k|，從而獲知指針的偏轉角度；

S7.4、根據所述步驟S4得到儀表零刻度線與橫軸之間的夾角即當指針位于第一象限時，當指針位于第二象限時，當指針位于第三象限時，當指針位于第四象限時，