[發(fā)明專利]巡檢機(jī)器人儀表識(shí)別系統(tǒng)及方法、存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110871769.0
• 申請(qǐng)日: 2021-07-30
• 公開（公告）號(hào): CN113591705A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 易建軍;陳元昊;張雅君;蘇林;范體軍;許更書
• 申請(qǐng)（專利權(quán)）人: 華東理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06T5/00;G06T7/11;G06T7/136;G06T7/187;G06T7/90
• 代理公司: 上海翼勝專利商標(biāo)事務(wù)所(普通合伙) 31218
• 代理人: 翟羽

1.一種巡檢機(jī)器人儀表識(shí)別方法，其特征在于，包括步驟：

儀表圖像局部增強(qiáng)步驟，控制巡檢機(jī)器人實(shí)時(shí)獲取儀表圖像，將所述儀表圖像中的數(shù)值與背景部分劃分為不同區(qū)域，增強(qiáng)所述數(shù)值所在區(qū)域的顏色，并減弱所述背景部分所在區(qū)域的顏色；

儀表圖像矯正步驟，對(duì)實(shí)時(shí)獲取的儀表圖像進(jìn)行霍夫直線檢測(cè)獲得沿水平方向延伸的多個(gè)直線段，對(duì)所有檢測(cè)到的直線段進(jìn)行長(zhǎng)度排序，提取長(zhǎng)度最長(zhǎng)的三條直線段，計(jì)算三條直線段與水平位置的角度偏差，并取平均值作為原圖需要調(diào)整的角度，將所述儀表圖像中的至少一直線段按照該角度旋轉(zhuǎn)至水平位置；

儀表模板匹配與分區(qū)識(shí)別步驟，將實(shí)時(shí)獲取的儀表圖像與存儲(chǔ)的標(biāo)準(zhǔn)儀表模板匹配，按照所匹配的標(biāo)準(zhǔn)儀表模板對(duì)實(shí)時(shí)獲取的儀表圖像進(jìn)行分區(qū)劃分，定位儀表數(shù)據(jù)分布區(qū)域；在所述儀表數(shù)據(jù)分布區(qū)域內(nèi)采用閾值分割字符方式提取字符；

獲取數(shù)字識(shí)別結(jié)果步驟，將提取的字符輸入至經(jīng)訓(xùn)練后的多層感知神經(jīng)網(wǎng)絡(luò)，按照儀表數(shù)據(jù)分布區(qū)域獲取對(duì)應(yīng)字符的數(shù)字識(shí)別結(jié)果；以及

自動(dòng)判別步驟，所述儀表數(shù)據(jù)分布區(qū)域包括數(shù)值設(shè)置區(qū)和數(shù)值實(shí)時(shí)檢測(cè)區(qū)，每一數(shù)值設(shè)置區(qū)內(nèi)的數(shù)字均包含一預(yù)警閾值，求所述數(shù)值實(shí)時(shí)檢測(cè)區(qū)的數(shù)字識(shí)別結(jié)果與所述數(shù)值設(shè)置區(qū)的數(shù)字識(shí)別結(jié)果之差的絕對(duì)值，若該絕對(duì)值小于等于所述預(yù)警閾值，則存儲(chǔ)所述數(shù)值實(shí)時(shí)檢測(cè)區(qū)的數(shù)字識(shí)別結(jié)果，否則進(jìn)行報(bào)警。

2.根據(jù)權(quán)利要求1所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，在所述儀表圖像局部增強(qiáng)步驟中，所述巡檢機(jī)器人正對(duì)儀表拍攝獲取儀表圖像；所述儀表圖像包括儀表的全部影像，且儀表的全部影像占所述儀表圖像的至少70％。

3.根據(jù)權(quán)利要求2所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，所述巡檢機(jī)器人還包括距離傳感器，所述巡檢機(jī)器人正對(duì)儀表時(shí)，還控制距離傳感器獲取與該儀表的距離，調(diào)節(jié)所述巡檢機(jī)器人與該儀表的距離以使得儀表的全部影像位于拍攝獲取的儀表圖像內(nèi)。

4.根據(jù)權(quán)利要求1所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，在所述儀表圖像局部增強(qiáng)步驟中，將所述數(shù)值所在區(qū)域內(nèi)的所有像素RGB值等比例放大15％，將所述背景部分所在區(qū)域內(nèi)的所有像素RGB值等比例縮減80％。

5.根據(jù)權(quán)利要求1所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，在所述儀表模板匹配與分區(qū)識(shí)別步驟之前還包括儀表模板制作步驟，包括步驟：框選中模板區(qū)域，剔除數(shù)字顯示區(qū)域，設(shè)置識(shí)別偏差容忍度，記錄數(shù)字顯示區(qū)域?qū)ξ蛔鴺?biāo)信息，以及保存標(biāo)準(zhǔn)儀表模板文件。

6.根據(jù)權(quán)利要求1所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，在所述儀表模板匹配與分區(qū)識(shí)別步驟中，基于標(biāo)準(zhǔn)化差值平方的模板匹配算法進(jìn)行標(biāo)準(zhǔn)儀表模板匹配，算法的匹配準(zhǔn)則如下：

其中：T(x,y)表示制作的模板，I(x,y)表示待匹配的圖像，R(x,y)表示區(qū)域的相似程度。

7.根據(jù)權(quán)利要求1所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，在所述獲取數(shù)字識(shí)別結(jié)果步驟中，采用多種旋轉(zhuǎn)角度、不同縮放比例以及局部膨脹或腐蝕的數(shù)字樣本圖像及其對(duì)應(yīng)標(biāo)簽作為輸入送入多層感知神經(jīng)網(wǎng)絡(luò)，通過前向?qū)W習(xí)與后向反饋，根據(jù)梯度變化信息，與每張樣本的真值進(jìn)行比較，逐漸縮小模型損失值，找到網(wǎng)絡(luò)逐層權(quán)重的最優(yōu)解，訓(xùn)練得到記錄每層權(quán)重最優(yōu)解的模型文件。

8.根據(jù)權(quán)利要求7所述的巡檢機(jī)器人儀表識(shí)別方法，其特征在于，所述旋轉(zhuǎn)角度范圍為-20°-20°；所述縮放比例的范圍為0.8-1.2倍；所述字符包括數(shù)字0-9、“+”“-”符號(hào)以及度量單位。