[發明專利]一種基于深度學習框架的船舶名稱識別系統及方法

有效

• 申請號: 202010783146.3
• 申請日: 2020-08-06
• 公開（公告）號: CN111985363B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 馬勇;王京;徐揚;嚴新平
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06V30/194
• 分類號: G06V30/194;G06V20/00;G06T7/73;G06N3/04;G06N3/08
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 劉秋芳;張宇

1.一種基于深度學習框架的船舶名稱識別方法，其通過基于深度學習框架的船舶名稱識別系統實現，其特征在于，所述系統包括：海事監管無人機、機載圖像處理模塊、機載通信模塊及海事監控中心；所述海事監管無人機搭載所述機載圖像處理模塊與所述機載通信模塊，所述機載通信模塊與所述海事監控中心相連；所述海事監管無人機采集目標船舶圖像并將所述目標船舶圖像傳遞至所述機載圖像處理模塊，其中，所述目標船舶圖像中包括船舶名稱信息；所述機載圖像處理模塊采用深度學習人工智能算法判斷出所述船舶名稱信息所處的位置，然后對船名位置區域包含的字符信息進行識別，得到所述目標船舶圖像中的船舶名稱信息，并通過所述機載通信模塊將所述船舶名稱信息傳遞至所述海事監控中心；所述海事監控中心根據所述船舶名稱信息向對應船舶發出警示信息，所述方法包括：

S1：通過海事監管無人機拍攝含有船舶名稱的目標船舶圖像；

S2：將所述目標船舶圖像作為訓練好的深度學習識別模型的輸入，提取所述目標船舶圖像中疑似船舶名稱的圖像特征，并形成目標物；

S3：檢測出目標物閾值，并對所述目標物進行標注，在所述目標船舶圖像中形成包含船舶名稱信息的標注框，基于所述訓練好的深度學習識別模型定位船舶名稱信息所處的位置，并結合所述標注框得到目標物的置信度，其中，由確定所述目標物的置信度，其中，P表示通過所述深度學習識別模型定位到的船舶名稱信息所處的位置，區域S表示通過標注得到的真實船舶名稱信息所處的位置；

S4：判斷所述目標物的置信度是否大于等于所述目標物閾值；若為否，則重新輸入船舶圖像至所述訓練好的深度學習識別模型；若為是，則判斷出所述船舶名稱信息所處的位置，然后對船名位置區域包含的字符信息進行識別，得到所述目標船舶圖像中的船舶名稱信息；

其中，步驟S3中對目標物進行標注通過以下方式實現：對含有船舶名稱的船舶圖形進行預處理，含有船舶名稱的圖像預處理主要包括對面向海事監管的船名圖像尺度的處理，具體為通過隨機裁剪的方式將船名圖片統一裁剪為目標大小；以及對船名位置區域標注，具體為選取Labelme對船名圖像區域進行標注并生成json文件，進一步將json文件轉化為可被網絡接收訓練的info.yaml及labnel.png文件；

所述深度學習識別模型包括：卷積層、循環層及轉錄層，所述卷積層對輸入的船舶圖像進行特征序列提取得到船舶名稱信息的特征序列，特征序列交由所述循環層進行預測并輸出單幀檢測結果，最后通過所述轉錄層將單幀預測結果轉錄為船舶名稱信息輸出，卷積層借鑒VGG-VeryDeep的網絡結構，且將VGG-VeryDeep的網絡結構中第3個和第4個最大池化層的池化窗口轉化為1×2的矩形池化窗口，訓練過程中在網絡的3個卷積層上添加了BN操作，循環層由兩個雙向LSTM結構組成，在轉錄層中，誤差通過前向-后向算法進行傳遞，使用ADADELTA優化方法對船名識別網絡進行優化。

2.根據權利要求1所述的方法，其特征在于，所述深度學習識別模型的訓練方法包括：

通過無人機拍攝與實地拍攝獲取含有船舶名稱的船舶圖像；

對各所述船舶圖像進行標注，生成與各所述船舶圖像對應的含有船舶名稱位置信息的目標格式文件，由各所述目標格式文件形成船舶名稱識別數據集；

由所述深度學習識別模型進行預處理定位所述船舶名稱識別數據集中各圖像中船舶名稱信息所處的位置，然后所述卷積層對船名位置區域包含的字符信息進行特征提取得到特征序列，特征序列交由所述循環層進行預測并輸出單幀檢測結果，最后通過所述轉錄層將單幀預測結果轉錄為船舶名稱信息輸出。

3.根據權利要求1所述的方法，其特征在于，所述機載圖像處理模塊包括船舶圖像信息存儲單元、識別模型存儲單元以及處理單元；

所述船舶圖像信息存儲單元存儲接收的所述目標船舶圖像以擴充船名識別系統數據集；

所述識別模型存儲單元用于存儲深度學習識別模型；

所述處理單元接收所述海事監管無人機傳遞的所述目標船舶圖像，并調用所述識別模型存儲單元存儲的所述深度學習識別模型，將所述目標船舶圖像作為所述深度學習識別模型的輸入，判斷出所述船舶名稱信息所處的位置，然后對船名位置區域包含的字符信息進行識別，得到所述目標船舶圖像中的船舶名稱信息。