[發明專利]一種基于多模型融合的船舶水尺讀數自動識別方法

有效

• 申請號: 202110248503.0
• 申請日: 2021-03-08
• 公開（公告）號: CN112598001B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 田愛軍;陳瑋;高斌;羅偉;尹彥卿;蔡旭陽
• 申請（專利權）人: 中航金城無人系統有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京冠譽至恒知識產權代理有限公司 32426
• 代理人: 夏恒霞

1.一種基于多模型融合的船舶水尺讀數自動識別方法，其特征在于，包括以下步驟：

（1）對采集的原始圖像進行水尺區域檢測；

（2）從原始圖像中摳取水尺局部圖像；

（3）對水尺局部圖像進行圖像處理，獲得其變化的旋轉平移矩陣M；

（4）原始圖像經過步驟（3）獲得的旋轉平移矩陣M矯正，得到矯正后的原始圖像；

（5）根據矯正后的原始圖像旋轉中心位置信息和長寬數值摳取矯正后的水尺局部圖像，對矯正后的水尺局部圖像進行刻度字符檢測，獲得刻度字符檢測結果，刻度字符檢測結果包括刻度字符的讀數信息和邊界包圍框；

（6）對于刻度字符檢測結果進行矯正，得到水尺刻度讀數；

（7）根據步驟（6）得到的水尺刻度讀數中每個刻度讀數和其對應的位置信息進行多項式擬合，獲得水尺刻度讀數與縱軸位置的非線性關系式，建立刻度讀數模型；

（8）將步驟（4）得到的矯正后的原始圖像輸入U-net神經網絡進行圖像分割，獲得吃水線位置信息；

（9）將吃水線位置信息輸入步驟（7）建立的刻度讀數模型計算得到原始圖像水尺吃水線的刻度讀數；

其中步驟（3）是對水尺局部圖像采取邊緣檢測、二值化、膨脹腐蝕的圖像處理算法，獲得刻度字符區域的外界矩形，根據刻度字符區域的外界矩形的傾斜角度和旋轉中心，計算出水尺局部圖像傾斜矯正的旋轉平移矩陣M；

步驟（5）中對矯正后的水尺局部圖像進行刻度字符檢測的具體方法是：

利用YOLOv4字符目標檢測模型檢測字符目標，字符目標為0到9的數字、字母M和小數點，共計12類目標，根據字符目標檢測結果信息，獲得刻度字符檢測結果；

步驟（6）中對于刻度字符檢測結果進行矯正包括：

第一步，結合邊緣檢測的結果信息，對每一行刻度字符的邊界包圍框進行矯正，然后將每一行的刻度字符檢測結果合并，同時合并每一行刻度字符的識別結果；

第二步，對每一行刻度字符的識別結果進行矯正，利用水尺刻度從上到下數值大小排序的先驗知識剔除異常數據和修復錯誤數據；

所述第一步的具體步驟如下：

比對刻度字符的邊界包圍框和邊緣檢測的結果信息；若邊緣檢測的邊界在刻度字符的邊界包圍框內部，則按邊緣檢測的邊界更新刻度字符的邊界包圍框結果，得到最終的刻度字符邊界包圍框；否則不處理，直接使用刻度字符的邊界包圍框作為最終的刻度字符邊界包圍框；從而獲得更加貼合刻度字符的邊界包圍框；在獲得每個刻度字符更加貼合的邊界包圍框后，將每一行的刻度字符檢測結果合并，確保同一行的刻度字符共用一個大的邊界包圍框。

2.根據權利要求1所述的一種基于多模型融合的船舶水尺讀數自動識別方法，其特征在于，步驟（1）和步驟（2）的具體方法是：

利用YOLOv4水尺目標檢測模型檢測水尺目標，檢測目標為水尺，根據水尺目標檢測結果信息，從原始圖像中摳取水尺局部圖像。

3.根據權利要求2所述的一種基于多模型融合的船舶水尺讀數自動識別方法，其特征在于，YOLOv4水尺目標檢測模型的訓練方法是：人工標注巡檢原始圖像不少于5000張，YOLOv4神經網絡結構以Darknet53為主干結構，引入SPP和PANet結構加強特征提取和多尺度預測，網絡輸入為608*608分辨率的3通道圖像數據；訓練過程隨機抽取20%的樣本作為驗證集，80%的樣本作為訓練集，訓練平臺為darknet，訓練不少于200epoch；等待訓練完成之后，生成相應的深度學習水尺目標檢測模型，利用得到的深度學習水尺目標檢測模型對未訓練的原始圖像進行測試，得到測試結果，并根據測試結果優化調整深度學習水尺目標檢測模型，最終得到YOLOv4水尺目標檢測模型。