[發(fā)明專利]一種基于巡檢機(jī)器人的儀表圖像識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210195861.4
• 申請(qǐng)日: 2022-03-02
• 公開(kāi)（公告）號(hào): CN114359552A
• 公開(kāi)（公告）日: 2022-04-15
• 發(fā)明（設(shè)計(jì)）人: 陳玖霖;劉爽;閔濟(jì)海
• 申請(qǐng)（專利權(quán)）人: 南京天創(chuàng)電子技術(shù)有限公司
• 主分類號(hào): G06V10/25
• 分類號(hào): G06V10/25;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京華恒專利代理事務(wù)所(普通合伙) 32335
• 代理人: 裴素艷

本發(fā)明公開(kāi)一種基于巡檢機(jī)器人的儀表圖像識(shí)別方法，采集現(xiàn)場(chǎng)儀表圖像樣本，對(duì)圖像樣本中需要進(jìn)行讀數(shù)的目標(biāo)儀表進(jìn)行標(biāo)注；對(duì)標(biāo)注完成后圖像樣本進(jìn)行訓(xùn)練，得到目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型；使用目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型對(duì)現(xiàn)場(chǎng)儀表圖像樣本的儀表進(jìn)行檢測(cè)和識(shí)別，任選一張儀表圖像作為模板圖像，對(duì)現(xiàn)場(chǎng)儀表圖像預(yù)處理，根據(jù)模板圖像進(jìn)行SIFT配準(zhǔn)得到配準(zhǔn)后的儀表圖像；針對(duì)配準(zhǔn)后的單個(gè)儀表圖像，根據(jù)不同類別的儀表進(jìn)行讀數(shù)。本發(fā)明通過(guò)訓(xùn)練好的目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型來(lái)提取儀表，能夠根據(jù)數(shù)據(jù)樣本有效提取儀表特征，對(duì)于遮擋、偏斜、反光、模糊的目標(biāo)依舊能夠準(zhǔn)確提取。

技術(shù)領(lǐng)域

本發(fā)明涉及巡檢機(jī)器人技術(shù)，具體涉及一種基于巡檢機(jī)器人的儀表圖像識(shí)別方法。

背景技術(shù)

針對(duì)工業(yè)現(xiàn)場(chǎng)儀器儀表讀數(shù)、狀態(tài)開(kāi)關(guān)判斷等剛需功能，大多數(shù)現(xiàn)場(chǎng)采用固定攝像機(jī)或人工抄表等方式，或部分已經(jīng)采用巡檢機(jī)器人作為替代方法，但在預(yù)置時(shí)仍舊需要手動(dòng)進(jìn)行標(biāo)定。一般來(lái)說(shuō)，采用固定攝像頭進(jìn)行識(shí)別的方法，在攝像頭數(shù)據(jù)傳輸?shù)暮蠖藭?huì)加裝一些智能設(shè)備，當(dāng)前如海康威視、大華安防等公司均有類似產(chǎn)品。對(duì)于巡檢機(jī)器人而言則主要通過(guò)內(nèi)置的圖像算法或?qū)D像傳至服務(wù)器進(jìn)行算法識(shí)別。

人工抄表由于不在范疇內(nèi)不作為參考。對(duì)于現(xiàn)有的兩種智能方法，若采用定點(diǎn)攝像頭進(jìn)行識(shí)別，針對(duì)較大場(chǎng)地則無(wú)法完成龐大的識(shí)別任務(wù)，或需要安裝極大數(shù)目的設(shè)備。且現(xiàn)有的后臺(tái)智能設(shè)備，據(jù)調(diào)研往往在同一張圖只支持單個(gè)儀表的讀數(shù)識(shí)別，若圖中存在多個(gè)儀表則無(wú)法完成識(shí)別。對(duì)于巡檢機(jī)器人采用的方法，可以通過(guò)人工標(biāo)注解決一圖多表的問(wèn)題，但人工標(biāo)注針對(duì)大批量的儀表仍舊體現(xiàn)出效率低下的問(wèn)題，且不同人的標(biāo)注特征不盡相同，即使在制定了一致的標(biāo)注規(guī)則下，也難免會(huì)產(chǎn)生標(biāo)注誤差導(dǎo)致識(shí)別率低下。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的在于解決現(xiàn)有技術(shù)中存在的不足，提供一種基于巡檢機(jī)器人的儀表圖像識(shí)別方法。

技術(shù)方案：本發(fā)明的一種基于巡檢機(jī)器人的儀表圖像識(shí)別方法，包括以下步驟：

步驟1、采集現(xiàn)場(chǎng)儀表圖像樣本，對(duì)圖像樣本中需要進(jìn)行讀數(shù)的目標(biāo)儀表進(jìn)行標(biāo)注；標(biāo)注時(shí)采用矩形標(biāo)注框，且對(duì)不同的儀表采用不同標(biāo)簽進(jìn)行區(qū)分；

步驟2、標(biāo)注完成后，采用YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)標(biāo)注完成后圖像樣本進(jìn)行訓(xùn)練，得到具有針對(duì)上述標(biāo)注后的目標(biāo)儀表檢測(cè)的目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型；

步驟3、通過(guò)訓(xùn)練好的目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型對(duì)現(xiàn)場(chǎng)儀表圖像樣本中的儀表進(jìn)行檢測(cè)，并根據(jù)目標(biāo)儀表的檢測(cè)與識(shí)別結(jié)果，通過(guò)對(duì)目標(biāo)圖像進(jìn)行裁剪等操作，分割檢測(cè)到的不同類別的目標(biāo)儀表圖像；

進(jìn)而分離巡檢機(jī)器人云臺(tái)所拍攝的原始圖像中的多種類的儀表，并得到每一類儀表的單個(gè)樣本圖像；

步驟4、任意選取一張儀表圖像作為模板圖像，關(guān)聯(lián)指針角度與表盤刻度之間的對(duì)應(yīng)關(guān)系作為標(biāo)準(zhǔn)模板量程；此處所選取的儀表圖像必須保證拍攝視角正對(duì)清晰；

步驟5、對(duì)現(xiàn)場(chǎng)采集圖像進(jìn)行分割后的儀表圖像進(jìn)行預(yù)處理，來(lái)減輕因?yàn)槿豕饣蚍垂鈳?lái)的圖像干擾（例如可采用直方圖均衡或調(diào)整亮度對(duì)比度），然后根據(jù)模板圖像進(jìn)行SIFT配準(zhǔn)得到配準(zhǔn)后的儀表圖像，使校準(zhǔn)后的儀表表盤與模板圖像一致，統(tǒng)一量程換算規(guī)則；

步驟6、針對(duì)配準(zhǔn)后的單個(gè)儀表圖像，根據(jù)不同類別的儀表進(jìn)行讀數(shù).

此處可根據(jù)不同儀表類別來(lái)采用對(duì)應(yīng)方法進(jìn)行讀數(shù)，其讀數(shù)參數(shù)基準(zhǔn)即以模板儀表的讀數(shù)過(guò)程中進(jìn)行的操作所設(shè)置的參數(shù)為準(zhǔn)。

進(jìn)一步地，所述步驟1中的圖像獲取方法為：巡檢機(jī)器人上搭載有可見(jiàn)光攝像頭的云臺(tái)，然后針對(duì)當(dāng)前待巡檢的行進(jìn)道路方向視角的180°廣角范圍進(jìn)行不間斷連續(xù)旋轉(zhuǎn)掃描，并在掃描過(guò)程中錄像保存視頻流，然后對(duì)視頻流進(jìn)行等間隔抽幀采樣獲得若干現(xiàn)場(chǎng)儀表圖像樣本。

進(jìn)一步地，所述目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型基于YOLOv4目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行構(gòu)建，聚義過(guò)程如下：