[發明專利]一種基于旋轉目標檢測的萬用表讀數識別方法及系統

在審

• 申請號: 202210410911.6
• 申請日: 2022-04-19
• 公開（公告）號: CN114743201A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 彭鍵清;周威
• 申請（專利權）人: 中山大學
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06K9/62;G06N3/04;G06T3/00;G06V10/74;G06V10/774;G06V10/82;G06V10/80;G06V10/24
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 高冰

本發明公開了一種基于旋轉目標檢測的萬用表讀數識別方法及系統，該方法包括：基于改進的YOLOv5模型對待測圖像進行處理，輸出讀數區域旋轉框、讀數區域旋轉角度和轉換開關旋轉角度；根據讀數區域旋轉角度和轉換開關旋轉角度，計算轉換開關實際旋轉角度；將轉換開關實際旋轉角度與單位匹配信息進行匹配，得到讀數單位結果；對讀數區域旋轉框進行仿射變換并識別，得到讀數數字結果；整合讀數數字結果與讀數單位結果，得到完整讀數結果。該系統包括：檢測模塊、實際旋轉角度計算模塊、單位匹配模塊、數字識別模塊和讀數整合模塊。通過使用本發明，可以檢測并識別帶轉換開關萬用表任意旋轉角度下的完整讀數結果。

技術領域

本發明涉及中國智能制造領域，尤其涉及一種基于旋轉目標檢測的萬用表讀數識別方法及系統。

背景技術

工業儀器儀表讀數識別自動化、智能化是大勢所趨。基于計算機視覺的儀器儀表讀數識別技術，可對采集到的儀器儀表數值信息自動識別，并快速錄入到業務系統中，有效解決人工抄錄過程中抄錯、抄漏等問題，提升抄錄效率，減少人工錄入工作量，降低企業人力成本，實現儀器儀表數據錄入的自動化。

現有的萬用表讀數識別方法主要是首先將檢測讀數區域并裁剪，進而對裁剪讀數圖像進行讀數識別，但它們大多只關注于水平讀數的檢測和識別，且往往忽略了讀數單位的識別，導致應用價值和應用范圍受限。基于傳統圖像處理的方法要求環境背景單一，且受光照等環境變化干擾較大，因此普適性較差。相比之下，YOLOv5是不含RPN結構的One-stage深度學習目標檢測算法，它能很好地檢測出讀數區域，且具有小型骨干結構如tiny-darknet，能通過一系列優化措施使模型輕量化，適合作為工程算法在移動端部署，具有較高的實際應用價值。但YOLOv5作為通用目標檢測算法，不適用于具有大傾角的旋轉目標檢測，更無法確定目標朝向和角度。

發明內容

為了解決上述技術問題，本發明的目的是提供一種基于旋轉目標檢測的萬用表讀數識別方法及系統，可以檢測并識別帶轉換開關萬用表任意旋轉角度下的完整讀數結果。

本發明所采用的第一技術方案是：一種基于旋轉目標檢測的萬用表讀數識別方法，包括以下步驟：

基于改進的YOLOv5模型對待測圖像進行處理，輸出讀數區域旋轉框、讀數區域旋轉角度和轉換開關旋轉角度；

根據讀數區域旋轉角度和轉換開關旋轉角度，計算轉換開關實際旋轉角度；

將轉換開關實際旋轉角度與單位匹配信息進行匹配，得到讀數單位結果；

對讀數區域旋轉框進行仿射變換并識別，得到讀數數字結果；

整合讀數數字結果與讀數單位結果，得到完整讀數結果。

進一步，所述改進的YOLOv5模型的訓練步驟具體包括：

獲取訓練圖像并進行旋轉框標注，將旋轉框四個角的坐標編碼為幾何要素，得到標注后圖像；

對標注后圖像進行數據增強，得到訓練集；

將訓練集輸入至YOLOv5模型；

依次進行特征提取、特征融合和邊框回歸得到旋轉框信息；

結合真實值標簽計算損失對模型參數進行更新，得到改進的YOLOv5模型。

進一步，所述旋轉框信息包括旋轉框的中心點坐標、寬高、角度、置信度、偏置信息、各類別概率和各朝向類別概率。

進一步，所述改進的YOLOv5模型的檢測頭輸出公式表示如下：