[發(fā)明專利]基于深度學習的數(shù)字儀表自動識別、定位與讀數(shù)方法

在審

• 申請?zhí)枺?/td>: 202210018923.4
• 申請日: 2022-01-07
• 公開（公告）號: CN114782669A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設計）人: 楊延西;匡益;劉磊;韓樂;孫俏
• 申請（專利權）人: 西安理工大學
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/762;G06V10/82;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 許志蛟

本發(fā)明公開的基于深度學習的方法實現(xiàn)數(shù)字儀表的識別、定位與讀數(shù)方法，首先拍攝帶有數(shù)字儀表的圖像，共采集1000張制成數(shù)據(jù)集；然后將數(shù)據(jù)集使用Labelimg進行標注，隨后按6:2:2的比例劃分為訓練集、測試集、驗證集；將標注的圖像送入到訓練調優(yōu)后的YOLOv3網(wǎng)絡模型中，然后截取數(shù)字儀表圖像并將其輸入到改進的CenterNet網(wǎng)絡得到數(shù)字顯示區(qū)域坐標與傾斜角度，再根據(jù)傾斜角度對圖像進行傾斜校正并截取數(shù)字顯示區(qū)域圖像，最后將數(shù)字顯示區(qū)域圖像直接輸入到CRNN網(wǎng)絡中得到最后的讀數(shù)識別結果。相比于傳統(tǒng)算法，本發(fā)明降低了儀表傾斜、環(huán)境變化等情況對讀數(shù)識別的影響，且適用范圍更廣、魯棒性更好。

技術領域

本發(fā)明屬于數(shù)字儀表自動讀數(shù)技術領域，具體涉及一種基于深度學習的 數(shù)字儀表自動識別、定位與讀數(shù)方法。

背景技術

工業(yè)儀表根據(jù)顯示方式可以分為數(shù)字式儀表和指針式儀表，數(shù)字式儀表主要通過各種液晶、數(shù)碼管等載體來顯示示數(shù)，其具有觀測簡單、維護方便等優(yōu)點，在工業(yè)生產中得到了越來越多的應用，但是，面向工業(yè)生產的數(shù)字儀表，由于信息安全、成本等問題大部分并未留有直接讀數(shù)的接口，無法實現(xiàn)儀表示數(shù)的自動采集和讀數(shù)，因此，早期工業(yè)現(xiàn)場中的數(shù)字儀表讀數(shù)主要依靠操作人員讀取和記錄，然而這種人工判讀的方式往往存在效率低、易受主觀因素影響等問題。目前，隨著計算機技術的發(fā)展，以圖像識別算法為基礎的儀表自動讀數(shù)識別 算法漸漸發(fā)展起來，如在中國專利CN109255336A《基于巡檢機器人的避雷器識別方法》中采用了雙向投影法結合人工神經(jīng)網(wǎng)絡進行數(shù)字的切分與識別。但是，這些傳統(tǒng)的圖像處理方法對于拍攝的圖像都有著較高的要求，若圖像存在光照變化大、背景復雜、儀表種類繁多、儀表傾斜等問題，在后期的處理中就容易出現(xiàn)識別精度低的問題。

發(fā)明內容

本發(fā)明的目的是提供一種基于深度學習的數(shù)字儀表自動識別、定位與讀 數(shù)方法，解決了儀表傾斜、環(huán)境變化以及儀表種類繁多等問題對于數(shù)字儀表 讀數(shù)識別的影響。

本發(fā)明所采用的技術方案是，基于深度學習的數(shù)字儀表自動識別、定位 與讀數(shù)方法，具體按以下步驟實施：

步驟1、拍攝帶有數(shù)字儀表的圖像；

步驟2、用2類數(shù)顯溫度表及數(shù)據(jù)集擴充手段共采集數(shù)字儀表圖像1000 張，制作儀表數(shù)據(jù)集；

步驟3、將步驟2中數(shù)據(jù)集使用Labelimg標注軟件進行數(shù)據(jù)集標注，隨 后按照6:2:2的比例將數(shù)據(jù)集劃分為訓練集、測試集、驗證集；

步驟4、對YOLOv3網(wǎng)絡模型進行訓練與調優(yōu)，將步驟3標注的圖像送 入到YOLOv3網(wǎng)絡模型中，網(wǎng)絡輸出為圖像中數(shù)字儀表的位置信息與分類信 息；

步驟5、對CenterNet網(wǎng)絡模型進行訓練與調優(yōu)，將步驟4中輸出的數(shù) 字儀表的位置信息輸入到改進的CenterNet網(wǎng)絡模型中，網(wǎng)絡輸出為數(shù)字儀 表顯示區(qū)域位置信息與傾斜角度；

步驟6、根據(jù)步驟5中輸出的數(shù)字儀表傾斜角度對顯示區(qū)域進行傾斜變 換，得到校正后的顯示區(qū)域圖像；

步驟7、對CRNN網(wǎng)絡模型進行訓練與調優(yōu)，將步驟6中校正后的顯示 區(qū)域圖像輸入到CRNN網(wǎng)絡模型中，得到最終的數(shù)字儀表讀數(shù)。

本發(fā)明的特征還在于，

步驟2的2類數(shù)顯溫度表為0-200℃數(shù)顯溫度表和0-500℃數(shù)顯溫度表， 數(shù)據(jù)集擴充手段為對比度與亮度隨機調整和通道隨機調換。

步驟4中訓練與調優(yōu)為首先使用K-means算法對儀表數(shù)據(jù)集進行聚類分 析得到最匹配儀表數(shù)據(jù)集的anchors大小；