[發明專利]一種指針式儀表圖像傾斜校正方法

有效

• 申請號: 202110143240.7
• 申請日: 2021-02-02
• 公開（公告）號: CN112801094B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 周登科;史凱特;湯鵬
• 申請（專利權）人: 中國長江三峽集團有限公司
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06V10/44;G06V10/762;G06V10/75;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06T3/60
• 代理公司: 宜昌市三峽專利事務所 42103
• 代理人: 成鋼

1.一種指針式儀表圖像傾斜校正方法，其特征在于，包括以下步驟：

Step1、構建指針式儀表數據集；

Step2、卷積神經網絡模型選擇；

Step3、模型訓練，首先對模型進行參數選擇和結構優化，然后使用Step2中選擇的網絡帶入Step1構建的數據集訓練模型；

Step4、表盤關鍵點提取，將待校正的指針式儀表圖像輸入到Step3訓練好的關鍵點提取模型中，得到待校正圖像的關鍵點類別和位置信息，同時對刻度數字關鍵點坐標從左下角順時針排序；

Step5、構建同類型指針儀表的模板圖像；

Step6、根據表盤刻度數字關鍵點坐標和構建的模板圖像的刻度坐標進行關鍵點匹配，計算單應矩陣；

Step7、根據單應矩陣，對儀表圖像進行透視變換，校正儀表圖像；

所述的Step4中，通過訓練的模型獲得儀表表盤的關鍵點類型和坐標，并對刻度關鍵點排序，具體過程為：

Step4.1、關鍵點類別判斷，在訓練的模型中預測刻度數字關鍵點和表盤中心關鍵點，分別記為num和center，模型在預測中將圖像分割成S×S的網格，每個單元格去檢測中心點落在該格子內的目標，模型根據每個預測框的置信度判斷目標類別，置信度定義為其中，Pr(object)表示邊界框含有目標的可能性大小，表示預測框與實際框(ground truth)的IOU(intersection over union，交并比)；

Step4.2、關鍵點位置預測，利用Step2中選用的卷積神經網絡模型做目標檢測，將目標的位置通過邊界框來表示，邊界框的大小與位置用4個值來表征：(x,y,w,h)，其中(x,y)是邊界框的中心坐標，而w和h是邊界框的寬與高，設模型檢測出的指針儀表盤上的刻度數字中心關鍵點坐標為(S_xi,S_yi),i＝1,2,…,N，N代表模型檢測到的表盤刻度數字關鍵點個數，表盤中心的關鍵點坐標為(C_x,C_y)；

Step4.3、指針儀表類型判斷，根據檢測到的表盤刻度中心關鍵點的個數N判斷儀表類型，即儀表盤上刻度數字分布情況的類型，根據壓力表標度及分劃的標準，儀表表盤具有相同個數的刻度數字儀表，儀表刻度區間具有相同的分布；

Step4.4、對刻度數字關鍵點順時針排序,圖像坐標原點位于圖像左上角，以x＝C_x為分界線將圖像上的刻度關鍵點分為左右兩部分，分別對分界線左右兩邊的刻度關鍵點的縱坐標排序；

所述的Step5中,根據Step4得到的儀表類別構造同類型模板圖像，具體過程為：

Step5.1、調用OpenCV中的cvCreateImage()函數，創建一個與原圖像相同尺寸的模板圖像；

Step5.2、計算刻度數字關鍵點(S_xi,S_yi),i＝1,2,…,N到表盤中心點(C_x,C_y)的平均距離R，其中，R計算方式如下：

Step5.3、確定模板圖像的起始刻度的坐標位置，模板圖像的表盤中心為(C_x,C_y)，刻度數字關鍵點以表盤中心為圓心，R為半徑均勻分布，求得起始刻度的坐標為

Step5.4、確定模板圖像中的各刻度數字之間的夾角θ，各個刻度數字以表盤中心均勻分布，夾角

Step5.5、以(C_x,C_y)為旋轉中心，θ為角度，將0刻度順時針旋轉N-1次，依次旋轉θ,2θ,…,(N-1)θ角度構成表盤模板圖像。

2.根據權利要求1所述的一種指針式儀表圖像傾斜校正方法，其特征在于，所述的Step1的具體過程為：

Step1.1、通過相機采集指針式儀表數據集，其中，數據集采集中設置儀表處于不同的傾斜角度，包括不同水平傾斜角度，不同豎直傾斜角度，以及兩種的混合的傾斜角度；

Step1.2、對數據集進行擴充，通過對數據集圖像進行旋轉、模糊、明暗操作擴充數據集；

Step1.3、對數據集進行標簽標注，以刻度數字和表盤中心為對象，使用LabelImg工具進行區域位置和類別標注。