[發明專利]一種基于深度學習的自然場景中船牌文字識別方法、裝置

有效

• 申請號: 201710690911.5
• 申請日: 2017-08-14
• 公開（公告）號: CN107491752B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 張衛山;孫浩云;李忠偉;崔雪榮;徐亮;王志超
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

1.一種基于深度學習的自然場景中船牌文字識別方法，其特征在于，包括：

獲取港口進出船舶的視頻；

將所述視頻分解成由船舶圖像幀組成的視頻流，采用訓練完成的船舶分類模型對視頻流進行分類，獲取指定類型的船舶圖像；

采用訓練完成的船牌檢測模型對所述指定類型的船舶圖像進行船牌檢測，獲取船牌檢測結果；

對所述船牌檢測的結果進行文字識別，得到自然場景中的船牌文字；

所述船牌檢測結果包括：船牌圖像和時間戳；

對所述船牌檢測的結果進行文字識別包括：首先采用CNN船牌分類模型對船牌圖像進行分類匹配，若匹配成功，則視為得到了自然場景中的船牌文字；若匹配失敗，則采用AIS區域檢測方法分析相鄰船牌圖像的時間戳，判斷兩個時間戳的誤差是否超過預定值，如果不超過預定值則識別成功，返回當前AIS中的船牌文字；如果超過預定值則重新請求操作AIS區域檢測；

所述如果超過預定值則重新請求操作AIS區域檢測包括：

進一步判斷相鄰請求操作AIS區域檢測的時間間隔是否超過預定值，若超過則視為船牌識別失敗，若不超過則重新請求操作AIS區域檢測；所述預定值不少于60s。

2.根據權利要求1所述的一種基于深度學習的自然場景中船牌文字識別方法，其特征在于：所述船舶分類模型的訓練過程包括：

通過挖掘歷史船舶視頻數據庫，提取有效視頻數據信息并進行圖像預處理構建SSD船舶分類數據庫；

利用SSD網絡模型和模型參數對船舶分類數據庫進行訓練，根據中間結果，對初始值、訓練速率和迭代次數不斷進行調整，獲得最優的SSD船舶分類網絡模型作為船舶分類模型。

3.根據權利要求1所述的一種基于深度學習的自然場景中船牌文字識別方法，其特征在于，所述船牌檢測模型的訓練過程包括：

通過挖掘歷史船舶視頻數據庫，提取有效船牌視頻數據信息并進行圖像預處理構建SSD船牌檢測數據庫；

利用SSD網絡模型和模型參數對船牌檢測數據庫進行訓練，根據中間結果，對初始值、訓練速率和迭代次數不斷進行調整，獲得最優的SSD船牌檢測網絡模型作為船牌檢測模型。

4.根據權利要求1所述的一種基于深度學習的自然場景中船牌文字識別方法，其特征在于，所述船牌分類模型，其模型訓練過程包括：

通過挖掘歷史船舶視頻數據庫，提取有效船牌圖像信息并進行圖像預處理構建CNN船牌分類數據庫；

利用CNN網絡模型和模型參數對船牌分類數據庫進行訓練，根據中間結果，對初始值、訓練速率和迭代次數不斷進行調整，獲得最優的CNN船牌分類網絡模型作為船牌分類模型。

5.一種存儲裝置，其中存儲有多條指令，其特征在于：該存儲裝置基于權利要求1-4任一項所述的一種基于深度學習的自然場景中船牌文字識別方法，所述指令由處理器加載并執行以下處理：

獲取港口進出船舶的視頻；

將所述視頻分解成由船舶圖像幀組成的視頻流，采用訓練完成的船舶分類模型對視頻流進行分類，獲取指定類型的船舶圖像；

采用訓練完成的船牌檢測模型對所述指定類型的船舶圖像進行船牌檢測，獲取船牌檢測結果；

對所述船牌檢測的結果進行文字識別，得到自然場景中的船牌文字。

6.一種基于深度學習的自然場景中船牌文字識別裝置，包括處理器和權利要求5所述的存儲裝置，其特征在于：處理器用于實現各指令；存儲裝置用于存儲多條指令，所述指令由處理器加載并執行以下處理：

獲取港口進出船舶的視頻；

將所述視頻分解成由船舶圖像幀組成的視頻流，采用訓練完成的船舶分類模型對視頻流進行分類，獲取指定類型的船舶圖像；

采用訓練完成的船牌檢測模型對所述指定類型的船舶圖像進行船牌檢測，獲取船牌檢測結果；

對所述船牌檢測的結果進行文字識別，得到自然場景中的船牌文字。