[發明專利]一種基于巡檢機器人的儀表圖像識別方法

在審

• 申請號: 202210195861.4
• 申請日: 2022-03-02
• 公開（公告）號: CN114359552A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 陳玖霖;劉爽;閔濟海
• 申請（專利權）人: 南京天創電子技術有限公司
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京華恒專利代理事務所(普通合伙) 32335
• 代理人: 裴素艷

1.一種基于巡檢機器人的儀表圖像識別方法，其特征在于：包括以下步驟:

步驟1、采集現場儀表圖像樣本，對圖像樣本中需要進行讀數的目標儀表進行標注；標注時采用矩形標注框，且對不同的儀表采用不同標簽進行區分；

步驟2、采用YOLOv4目標檢測網絡對標注完成后圖像樣本進行訓練，得到具有針對上述標注后的目標儀表檢測的目標檢測神經網絡模型；

步驟3、通過訓練好的目標檢測神經網絡模型對現場儀表圖像樣本的儀表進行檢測，并根據目標儀表的檢測與識別結果，通過對目標圖像進行裁剪操作，分割檢測到的不同類別的目標儀表圖像；

進而分離巡檢機器人云臺所拍攝的原始圖像中的多種類的儀表，并得到每一類儀表的單個樣本圖像；

步驟4、任意選取一張儀表圖像作為模板圖像，關聯指針角度與表盤刻度之間的對應關系作為標準模板量程；

步驟5、對現場采集圖像進行分割后的儀表圖像進行預處理，然后根據模板圖像進行SIFT配準得到配準后的儀表圖像；

步驟6、針對配準后的單個儀表圖像，根據不同類別的儀表進行讀數。

2.根據權利要求1所述的基于巡檢機器人的儀表圖像識別方法，其特征在于：所述步驟1中的圖像獲取方法為：巡檢機器人上搭載有可見光攝像頭的云臺，然后針對當前待巡檢的行進道路方向視角的180°廣角范圍進行不間斷連續旋轉掃描，并在掃描過程中錄像保存視頻流，然后對視頻流進行等間隔抽幀采樣獲得若干現場儀表圖像樣本。

3.根據權利要求1所述的基于巡檢機器人的儀表圖像識別方法，其特征在于：所述目標檢測神經網絡模型基于YOLOv4目標檢測網絡進行構建，聚義過程如下：

YOLOv4目標檢測網絡包括24個卷積層和2個全連接層，其中卷積層使用1x1卷積來做channle reduction，然后緊跟3x3卷積，且卷積層和全連接層中均采用Leaky ReLU激活函數，最后一層采用線性激活函數；

原始圖像輸入YOLOv4目標檢測網絡后，首先調整為416×416，進入CNN卷積層，主干網絡采用CSPDarkNet53，其組成為CSPNet與DarkNet53，Darknet53共有5個大殘差塊，通過殘差網絡將輸入層與輸出層的結果相加；卷積后的池化層采用SPP實現，即空間金字塔池化，然后采用PANet進行實例分割，生成目標box，并通過YOLO head進行最后的特征拼接，輸出box完成目標檢測與分割提取。

4.根據權利要求1所述的基于巡檢機器人的儀表圖像識別方法，其特征在于：所述步驟5中采用SIFT配準，具體是指將目標圖像與基準圖像進行SIFT匹配，若能夠匹配則認為這兩個圖像在該SIFT匹配下相似，然后依次對該梯度內的所有圖像進行迭代判定。