[發明專利]一種基于旋轉目標檢測的萬用表讀數識別方法及系統

在審

• 申請號: 202210410911.6
• 申請日: 2022-04-19
• 公開（公告）號: CN114743201A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 彭鍵清;周威
• 申請（專利權）人: 中山大學
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06K9/62;G06N3/04;G06T3/00;G06V10/74;G06V10/774;G06V10/82;G06V10/80;G06V10/24
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 高冰

1.一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，包括以下步驟：

基于改進的YOLOv5模型對待測圖像進行處理，輸出讀數區域旋轉框、讀數區域旋轉角度和轉換開關旋轉角度；

根據讀數區域旋轉角度和轉換開關旋轉角度，計算轉換開關實際旋轉角度；

將轉換開關實際旋轉角度與單位匹配信息進行匹配，得到讀數單位結果；

對讀數區域旋轉框進行仿射變換并識別，得到讀數數字結果；

整合讀數數字結果與讀數單位結果，得到完整讀數結果。

2.根據權利要求1所述一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，所述改進的YOLOv5模型的訓練步驟具體包括：

獲取訓練圖像并進行旋轉框標注，將旋轉框四個角的坐標編碼為幾何要素，得到標注后圖像；

對標注后圖像進行數據增強，得到訓練集；

將訓練集輸入至YOLOv5模型；

依次進行特征提取、特征融合和邊框回歸得到旋轉框信息；

結合真實值標簽計算損失對模型參數進行更新，得到改進的YOLOv5模型。

3.根據權利要求2所述一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，所述旋轉框信息包括旋轉框的中心點坐標、寬高、角度、置信度、偏置信息、各類別概率和各朝向類別概率。

4.根據權利要求1所述一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，所述改進的YOLOv5模型的檢測頭輸出公式表示如下：

上式中，n_h為檢測頭數量，b_s為輸入模型的待測圖像數量大小，n_a為網格單元的預設框錨點數量，H_i為第i個檢測頭輸出的高，W_i為第i個檢測頭輸出的寬，(x,y)為預測框的中心坐標，(w,h)為預測框的寬和高，conf為預測目標的置信度，C為預測框屬于各個類別的概率，n_c為預測的目標類別數量，r_j為旋轉框回歸參數，O_k為目標各朝向類別概率。

5.根據權利要求1所述一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，所述將轉換開關實際旋轉角度與單位匹配信息進行匹配，得到讀數單位結果這一步驟，具體包括：

獲取單位匹配信息，得到單位信息數據集和角度信息數據集；

將轉換開關實際旋轉角度與角度信息數據集進行匹配，得到角度索引值；

將角度索引值與單位信息數據集進行匹配，得到讀數單位結果。

6.根據權利要求1所述一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，所述對讀數區域旋轉框進行仿射變換并識別，得到讀數數字結果這一步驟，具體包括：

將讀數區域旋轉框進行仿射變換，得到水平讀數區域圖；

所述仿射變換包括對讀數區域旋轉框進行平移、縮放、旋轉、翻轉和錯切組合變換；

基于CRNN讀數識別模型對水平讀數區域圖依次進行CNN特征提取、RNN序列建模和CTC轉錄，得到讀數數字結果。

7.根據權利要求6所述一種基于旋轉目標檢測的萬用表讀數識別方法，其特征在于，所述仿射變換的矩陣公式如下：

上式中，(x,y)為讀數區域旋轉框點坐標，(u,v)為讀數區域旋轉框點經仿射變換后得到的旋轉框點，a₀、a₁、a₂、b₀、b₁和b₂為M參數，M為仿射變換矩陣。

8.一種基于旋轉目標檢測的萬用表讀數識別系統，其特征在于，包括：

檢測模塊，基于改進的YOLOv5模型對待測圖像進行處理，輸出讀數區域旋轉框、讀數區域旋轉角度和轉換開關旋轉角度；

實際旋轉角度計算模塊，用于根據讀數區域旋轉角度和轉換開關旋轉角度，計算轉換開關實際旋轉角度；

單位匹配模塊，用于將轉換開關實際旋轉角度與單位匹配信息進行匹配，得到讀數單位結果；

數字識別模塊，用于對讀數區域旋轉框進行仿射變換并識別，得到讀數數字結果；

讀數整合模塊，用于整合讀數數字結果與讀數單位結果，得到完整讀數結果。