[發明專利]結合卷積神經網絡和數據融合的大橋方位識別方法及系統

在審

• 申請號: 202110050504.4
• 申請日: 2021-01-14
• 公開（公告）號: CN112733753A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 徐中明;鐘鳴;朱俊
• 申請（專利權）人: 江蘇恒澄交科信息科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 殷海霞

本發明公開了一種結合卷積神經網絡和數據融合的大橋方位識別方法及系統，其方法包括：獲取相機圖像數據；利用訓練好的卷積神經網絡判斷圖像中是否存在大橋；當存在大橋時，提取大橋圖像坐標；將海事雷達數據轉換到相機的圖像平面；在圖像平面上匹配大橋圖像坐標和海事雷達數據的圖像坐標；計算大橋在海事雷達中的方位。本發明結合卷積神經網絡和數據融合的大橋方位識別方法及系統通過卷積神經網絡判斷圖像中是否存在大橋，并將海事雷達數據轉換到相機的圖像平面，實現和大橋的圖像坐標的數據融合，從而求出大橋相對于智能船舶的方位信息。具有準確性高、可靠性好的優點。

技術領域

本發明涉及智能船舶技術領域，特別涉及一種結合卷積神經網絡和數據融合的大橋方位識別方法及系統。

背景技術

隨著人工智能產業的興起，智能船舶作為其中的一部分備受矚目。智能船舶航行于內河時，如果航道上有跨江大橋，海事雷達會獲取到跨江大橋的數據，從而會出現一條橫在航道的屏障，因此只從海事雷達的數據判斷，則該航道無法通行。為了消除這種影響，需要對于水面上的目標物體進行感知，不僅需要識別出物體的特征，還需要判斷出物體的方位，這樣才能夠對自主航行起到是否需要避障，還是忽略物體等輔助作用。

現有技術中使用卷積神經網絡識別航標，高架等物體，沒有用于識別跨江大橋，因此卷積神經網絡的構造不相同。而且現有技術只識別出物體的分類特征，比如說物體屬于航標，高架等，并不能知曉這些物體的方位，因此對智能船舶的自主航行的輔助作用不大。

發明內容

本發明要解決的技術問題是提供一種準確性高、可靠性好的結合卷積神經網絡和數據融合的大橋方位識別方法及系統。

為了解決上述問題，本發明提供了一種結合卷積神經網絡和數據融合的大橋方位識別方法，其包括：

獲取相機圖像數據；

利用訓練好的卷積神經網絡判斷圖像中是否存在大橋；

當存在大橋時，提取大橋圖像坐標；

將海事雷達數據轉換到相機的圖像平面；

在圖像平面上匹配大橋圖像坐標和海事雷達數據的圖像坐標；

計算大橋在海事雷達中的方位。

作為本發明的進一步改進，所述卷積神經網絡包括Conv層、ReLU層、Pool層、Affine層、Dropout層和Softmax層，所述Conv層為卷積層，用于對圖像數據做卷積運算；所述ReLU層為使用ReLU函數的激活函數層；所述Pool層為池化層；所述Affine層為全連接層，用于正向和反向傳播計算；所述Dropout層用于隨機地刪除一定數量的神經元；所述Softmax層為輸出層，利用適用于分類問題的Softmax函數，用于輸出圖像中是否存在跨江大橋的結果。

作為本發明的進一步改進，圖像數據在每個層之間的處理和傳遞的先后順序為：Conv層，ReLU層，Conv層，ReLU層，Pool層，Conv層，ReLU層，Conv層，ReLU層，Pool層，Affine層，ReLU層，Dropout層，Affine層，Dropout層，Softmax層。

作為本發明的進一步改進，所述將海事雷達數據轉換到相機的圖像平面，包括：將海事雷達數據轉換到相機坐標系，再將海事雷達數據從相機坐標系轉換到圖像平面。

作為本發明的進一步改進，利用以下公式將海事雷達數據轉換到相機坐標系：

其中，P_r∈R³，是海事雷達坐標系中的坐標；P∈R³，是相機坐標系中的坐標；C∈R^3*3，是海事雷達坐標系相對于相機坐標系的旋轉矩陣；R∈R³，是海事雷達坐標系相對相機坐標系的位移。