[發(fā)明專利]一種基于機(jī)器視覺(jué)的表計(jì)自動(dòng)建模方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110103572.2
• 申請(qǐng)日: 2021-01-26
• 公開(kāi)（公告）號(hào): CN112818974A
• 公開(kāi)（公告）日: 2021-05-18
• 發(fā)明（設(shè)計(jì)）人: 林文益;武詩(shī)洋;李修亮;余宗杰;姚謙;蘭駿
• 申請(qǐng)（專利權(quán)）人: 浙江國(guó)自機(jī)器人技術(shù)股份有限公司
• 主分類號(hào): G06K9/20
• 分類號(hào): G06K9/20;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州華鼎知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 項(xiàng)軍

本發(fā)明公開(kāi)了一種基于機(jī)器視覺(jué)的表計(jì)自動(dòng)建模方法，解決了現(xiàn)有技術(shù)的不足，包括以下步驟：步驟1，建立表計(jì)母模庫(kù)；步驟2，通過(guò)reid分類網(wǎng)絡(luò)將待建模表計(jì)圖片的表頭圖像和母模庫(kù)的特征表計(jì)圖片進(jìn)行匹配；步驟3，選擇置信度排名前若干位的母模庫(kù)的特征表計(jì)圖片作為候選母模；步驟4，待建模表計(jì)圖片的表頭圖像與候選母模通過(guò)表計(jì)指示關(guān)鍵區(qū)域的模板進(jìn)行匹配，匹配完成后和步驟3中的置信度結(jié)合確定最終置信度，最終置信度最高的候選母模即為待建模表計(jì)圖片匹配的最佳母模；步驟5，計(jì)算最佳母模和待建模表計(jì)圖片的單應(yīng)矩陣，根據(jù)單應(yīng)矩陣換算待建模表計(jì)圖片的表計(jì)指示關(guān)鍵區(qū)域，完成待建模表計(jì)的建模。

技術(shù)領(lǐng)域

本發(fā)明涉及自動(dòng)建模技術(shù)領(lǐng)域，尤其是指一種基于機(jī)器視覺(jué)的表計(jì)自動(dòng)建模方法。

背景技術(shù)

在一些傳統(tǒng)工業(yè)行業(yè)中，如變電站、化工廠、煉油廠等領(lǐng)域，需要使用各種類型的儀表來(lái)隨時(shí)監(jiān)測(cè)數(shù)據(jù)，以保障每個(gè)設(shè)備的正常運(yùn)行。但是現(xiàn)有的表計(jì)，需要人工讀數(shù)，絕大多數(shù)工業(yè)場(chǎng)所因占地面積大，設(shè)備分散，人工讀數(shù)時(shí)，很難及時(shí)發(fā)現(xiàn)某個(gè)區(qū)域儀表數(shù)值的異常；加之人工作業(yè)不但成本高、效率低還存在很大的安全隱患。

隨著智能電網(wǎng)概念的提出，變電站操作和運(yùn)維技術(shù)都朝著無(wú)人化、智能化的方向發(fā)展。因此，目前依靠巡檢人員去讀指針表讀數(shù)并記錄的傳統(tǒng)方式，也逐漸將被基于機(jī)器視覺(jué)的指針表自動(dòng)識(shí)別所取代。

目前這些表計(jì)檢測(cè)和識(shí)別及方法，主流方法都是基于預(yù)先按照標(biāo)記點(diǎn)拍照的大圖，選取一張?jiān)摌?biāo)記點(diǎn)的高清圖片，將該標(biāo)記點(diǎn)的表類型及用于表頭讀數(shù)識(shí)別的各種先驗(yàn)信息記錄入模板；巡檢時(shí)，在該標(biāo)記點(diǎn)按照與模板一致的拍照尺度、角度、焦距進(jìn)行拍照，保證測(cè)試圖和模板圖盡量一致，然后通過(guò)算法實(shí)現(xiàn)測(cè)試圖和模板圖的配準(zhǔn)進(jìn)而實(shí)現(xiàn)表頭的檢測(cè)定位，然后利用模板中先驗(yàn)信息通過(guò)算進(jìn)行讀數(shù)識(shí)別。

專利CN 111598109 A提出使用濾波，邊緣檢測(cè)，膨脹腐蝕，Hough圓檢測(cè)表盤與刻度圓型，Hough直線變換檢測(cè)指針的方法來(lái)自動(dòng)識(shí)別指針表讀數(shù)。該方法存在以下幾個(gè)問(wèn)題：

1.使用的方法均為圖像處理的常規(guī)方法，對(duì)光照、表盤污染(灰層、雨水、標(biāo)簽)等情況無(wú)法處理；

2.無(wú)法準(zhǔn)確獲取細(xì)小指針與細(xì)小刻度位置。

3.無(wú)法準(zhǔn)確獲取表計(jì)的量程與刻度起點(diǎn)終點(diǎn)位置，其自動(dòng)識(shí)別方法需要人工干預(yù)。

專利CN 110909738 A采集指針表的正面RGB圖像，使用關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)獲取定位位置和表盤上刻度線和指針的關(guān)鍵點(diǎn)。根據(jù)關(guān)鍵點(diǎn)擬合刻度線及指針線，最后根據(jù)指針線與刻度線構(gòu)成的圓弧角度計(jì)算指針表讀數(shù)。改方法存在以下幾個(gè)問(wèn)題：

1.該方法對(duì)表計(jì)的角度要求高，需要正面高清圖，變電站機(jī)器人巡檢由于線路與高度的原因，拍攝的表計(jì)往往存在上下左右各個(gè)傾斜角度，因而不能大范圍推廣至機(jī)器人巡檢中；

2.該方法的關(guān)鍵點(diǎn)涉及指針位置，刻度位置等，因而只能處理刻度，指針特征明顯的表計(jì)，變電站中存在許多指針與刻度非常細(xì)小的雷擊表，該方法并不適用。

3.該方法擴(kuò)展性弱，針對(duì)新表需要重新大量標(biāo)注關(guān)鍵信息，重新訓(xùn)練模型。

發(fā)明內(nèi)容

本發(fā)明的目的是克服現(xiàn)有技術(shù)中指針表自動(dòng)識(shí)別技術(shù)費(fèi)事費(fèi)力，且誤差較高、擴(kuò)展性較差的缺點(diǎn)，提供一種基于機(jī)器視覺(jué)的表計(jì)自動(dòng)建模方法。

本發(fā)明的目的是通過(guò)下述技術(shù)方案予以實(shí)現(xiàn)：

一種基于機(jī)器視覺(jué)的表計(jì)自動(dòng)建模方法，包括以下步驟：

步驟1，建立表計(jì)母模庫(kù)，母模庫(kù)包括特征表計(jì)圖片，建立使用faster-rcnn的表頭檢測(cè)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練，建立reid分類網(wǎng)絡(luò)并進(jìn)行訓(xùn)練；

步驟2，輸入待建模表計(jì)圖片，根據(jù)表頭檢測(cè)網(wǎng)絡(luò)尋找待建模表計(jì)圖片的表頭圖像，然后通過(guò)reid分類網(wǎng)絡(luò)將待建模表計(jì)圖片的表頭圖像和母模庫(kù)的特征表計(jì)圖片進(jìn)行匹配；