[發(fā)明專利]一種基于機(jī)器人巡檢的指針式儀表讀數(shù)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010590928.5
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111738258A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 張培榮;王虹杰;劉玉;方岳龍;李樂政
• 申請(qǐng)（專利權(quán)）人: 東方電子股份有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06N3/04;G06N3/08
• 代理公司: 煙臺(tái)上禾知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37234
• 代理人: 丁寶君

1.一種基于機(jī)器人巡檢的指針式儀表讀數(shù)識(shí)別方法，其特征在于，包括如下步驟：

(1)、獲取包含待識(shí)別讀數(shù)的指針式儀表表盤的圖像；

(2)、使用Yolo將CNN網(wǎng)絡(luò)將輸入的圖片分割成S×S網(wǎng)格，然后每個(gè)單元格負(fù)責(zé)去檢測(cè)那些中心點(diǎn)落在該格子內(nèi)的目標(biāo)；

(3)、采用Yolo卷積網(wǎng)絡(luò)來提取特征，然后使用全連接層來得到預(yù)測(cè)值，網(wǎng)絡(luò)結(jié)構(gòu)參考GooLeNet模型，包含24個(gè)卷積層和2個(gè)全連接層；

(4)、先在ImageNet上進(jìn)行預(yù)訓(xùn)練，其預(yù)訓(xùn)練的分類模型采用前20個(gè)卷積層，然后添加一個(gè)average-pool層和全連接層，預(yù)訓(xùn)練之后，在預(yù)訓(xùn)練得到的20層卷積層之上加上隨機(jī)初始化的4個(gè)卷積層和2個(gè)全連接層；

(5)、首先從所有的檢測(cè)框中找到置信度最大的那個(gè)框，然后挨個(gè)計(jì)算其與剩余框的IOU，如果其值大于一定閾值(重合度過高)，那么就將該框剔除；然后對(duì)剩余的檢測(cè)框重復(fù)上述過程，直到處理完所有的檢測(cè)框；

(6)、首先通過目標(biāo)檢測(cè)算法將每一個(gè)指針式儀表表盤檢測(cè)出來，然后在檢測(cè)框的基礎(chǔ)上針對(duì)單個(gè)指針式儀表表盤做刻度起點(diǎn)位置、刻度終點(diǎn)位置、圓心位置及指針位置關(guān)鍵點(diǎn)檢測(cè)；

(7)、神經(jīng)網(wǎng)絡(luò)輸出指針表計(jì)的起始刻度、終止刻度、圓心、指針刻度4點(diǎn)關(guān)鍵點(diǎn)，然后依據(jù)關(guān)鍵點(diǎn)之間的內(nèi)在聯(lián)系，計(jì)算指針?biāo)鶎?duì)應(yīng)的占比。

2.根據(jù)權(quán)利要求1所述的基于機(jī)器人巡檢的指針式儀表讀數(shù)識(shí)別方法，其特征是：所述步驟(2)中進(jìn)行處理時(shí)，包含以下步驟：每個(gè)單元格會(huì)預(yù)測(cè)B個(gè)邊界框以及邊界框的置信度，置信度包含兩個(gè)方面，一是這個(gè)邊界框含有目標(biāo)的可能性大小，二是這個(gè)邊界框的準(zhǔn)確度，前者記為Pr(object)，當(dāng)該邊界框是背景時(shí)，此時(shí)Pr(object)＝0，而當(dāng)該邊界框包含目時(shí)，Pr(object)＝1，邊界框的準(zhǔn)確度用預(yù)測(cè)框與實(shí)際框的IOU來表征，記為置信度定義為邊界框的大小與位置用4個(gè)值來表征：(x，y，w，h)，其中(x，y)是邊界框的中心坐標(biāo)，而w和h是邊界框的寬與高，中心坐標(biāo)的預(yù)測(cè)值(x，y)是相對(duì)于每個(gè)單元格左上角坐標(biāo)點(diǎn)的偏移值，單位是相對(duì)于單元格大小，邊界框的w和h預(yù)測(cè)值是相對(duì)于整個(gè)圖片的寬與高的比例，理論上4個(gè)元素的大小在[0，1]范圍，每個(gè)邊界框的預(yù)測(cè)值包含5個(gè)元素：(x，y，w，h，c)，其中前4個(gè)表征邊界框的大小與位置，而最后一個(gè)值是置信度。

3.根據(jù)權(quán)利要求1所述的基于機(jī)器人巡檢的指針式儀表讀數(shù)識(shí)別方法，其特征是：所述步驟(2)中進(jìn)行處理時(shí)，包括分類，對(duì)于每一個(gè)單元格給出預(yù)測(cè)出C個(gè)類別概率值，其表征的是由該單元格負(fù)責(zé)預(yù)測(cè)的邊界框其目標(biāo)屬于各個(gè)類別的概率，計(jì)算出各個(gè)邊界框類別置信度:每個(gè)單元格需要預(yù)測(cè)(B*5+C)個(gè)值，如果將輸入圖片劃分為S×S網(wǎng)格，那么最終預(yù)測(cè)值為S×S×(B*5+C)大小的張量，對(duì)于PASCALVOC數(shù)據(jù)，其共有20個(gè)類別，如果使用S＝7，B＝2，那么最終的預(yù)測(cè)結(jié)果就是7×7×30大小的張量。

4.根據(jù)權(quán)利要求1所述的基于機(jī)器人巡檢的指針式儀表讀數(shù)識(shí)別方法，其特征是：所述步驟(6)中進(jìn)行處理時(shí)，首先通過目標(biāo)檢測(cè)算法將每一個(gè)指針式儀表表盤檢測(cè)出來，然后在檢測(cè)框的基礎(chǔ)上針對(duì)單個(gè)指針式儀表表盤做刻度起點(diǎn)位置、刻度終點(diǎn)位置、圓心位置及指針位置關(guān)鍵點(diǎn)檢測(cè)，首先將圖像中所有的關(guān)鍵點(diǎn)都檢測(cè)出來，然后將所有的關(guān)鍵點(diǎn)聚類成不同的個(gè)體。

5.根據(jù)權(quán)利要求1所述的基于機(jī)器人巡檢的指針式儀表讀數(shù)識(shí)別方法，其特征是：所述步驟(6)中進(jìn)行處理時(shí)，主要網(wǎng)絡(luò)結(jié)構(gòu)分為多個(gè)stage，其中第一個(gè)stage會(huì)產(chǎn)生初步的關(guān)鍵點(diǎn)的檢測(cè)效果，接下來的幾個(gè)stage均以前一個(gè)stage的預(yù)測(cè)輸出和從原圖提取的特征作為輸入。