[發明專利]一種基于視頻的船橋及船間碰撞實時預警方法與系統

有效

• 申請號: 202011488394.1
• 申請日: 2020-12-16
• 公開（公告）號: CN112581795B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 張建;張博;吳剛
• 申請（專利權）人: 東南大學
• 主分類號: G08G3/02
• 分類號: G08G3/02;G08B31/00
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種基于視頻的船橋及船間碰撞實時預警方法，其特征在于：所述方法包括以下步驟：

S1：基于單應性變換的船舶定位；

S2：基于軌跡生成式對抗網絡的船舶軌跡數據增強；

S3：基于雙任務編碼解碼網絡的船舶軌跡異常檢測及預測；

所述步驟S1：基于單應性變換的船舶定位，具體如下：(1)利用無人機高空俯拍水面，其中航拍圖像中需包含橋梁及水面上至少四個航標；(2)利用橋面上已知位置的特征物來確定控制點，進而利用單應性變換對航拍圖像進行傾斜矯正，使矯正后的航拍圖像平行于橋面進而平行于水面；(3)建立水面二維世界坐標系，并利用水面上已知的兩點世界距離即橋墩間距離及矯正后航拍圖像上相應兩點的像素距離，計算世界距離與像素距離的比例系數，并基于該比例系數及航標與橋墩在矯正后航拍圖像上的像素距離獲得每個航標與至少兩個橋墩間的瞬時世界距離；(4)通過求解距離約束方程組(1)來得到每個航標的瞬時世界坐標，并在視頻圖像中獲得同步的航標像素坐標；(5)利用不少于四個航標像素坐標與對應的世界坐標，求解視頻圖像像素坐標系與水面二維世界坐標系間的單應性變換；(6)基于該單應性變換，可將視頻圖像中通過船舶分割與跟蹤方法獲得的船舶實時邊框中心點的像素坐標映射至相應的水面二維世界坐標，即實現了基于視頻圖像的船舶實時目標定位；

式中：(x_a,y_a)代表航標a的瞬時世界坐標；(x₁,y₁)及(x₂,y₂)分別代表不同橋墩的世界坐標；L_a,1與L_a,2分別表示a航標與不同橋墩的瞬時世界距離。

2.根據權利要求1所述的基于視頻的船橋及船間碰撞實時預警方法，其特征在于，步驟S1的步驟(6)，船舶分割與跟蹤方法，包括如下內容：(1)建立包含白天與夜間的船舶圖像數據庫，并基于該數據庫訓練圖像實例分割神經網絡，使網絡可在不同光線條件的視頻圖像中獲得船舶分割掩膜與邊框；(2)基于分割得到的船舶掩膜，利用掩膜交并比跨幀計算目標關聯代價矩陣，并利用匈牙利算法求該關聯代價矩陣的最優解，以完成目標關聯，實現船舶目標跟蹤。

3.根據權利要求1所述的基于視頻的船橋及船間碰撞實時預警方法，其特征在于，步驟S2中生成式對抗網絡的生成模型以循環神經網絡為基礎，將服從已知分布的隨機噪聲向量通過一個全連接層映射為循環神經網絡的初始隱藏狀態向量；生成模型中軌跡偽樣本起始點隨機采樣自真實軌跡起始點集，并在采樣的起始點上加入噪聲；生成模型輸出軌跡的絕對坐標與差分坐標生成模型訓練的損失函數為：

式中：G代表生成模型；C_i代表第i個評價模型；為軌跡偽樣本起始點標準化坐標；z代表已知分布的隨機噪聲向量；j代表批樣本中的樣本編號；m為訓練的批樣本大小。

4.根據權利要求1所述的基于視頻的船橋及船間碰撞實時預警方法，其特征在于，步驟S2中生成式對抗網絡中包含多評價模型，首先使用不同參數的一維卷積與一維自適應池化構成多種軌跡特征提取模塊，然后通過不同特征模塊的組合構成不同結構的評價模型對軌跡真實樣本與偽樣本進行評分；以其中第i個評價模型為例，其訓練的損失函數為：

式中：t為軌跡真實樣本；為生成的軌跡偽樣本；η～U(0,1)；λ為梯度懲罰系數。

5.根據權利要求1所述的基于視頻的船橋及船間碰撞實時預警方法，其特征在于，步驟S3中的雙任務編碼解碼網絡采用基于循環神經網絡的編碼與解碼結構；編碼器將已觀測到的軌跡編碼為一固定長度的向量，解碼器利用該向量來進行軌跡異常檢測與預測。

6.根據權利要求5所述的基于視頻的船橋及船間碰撞實時預警方法，其特征在于，步驟S3中，在編碼器中采用雙向門控循環單元來編碼已觀測的軌跡；將觀測軌跡的標準化絕對坐標與標準化差分坐標串聯一起作為編碼器的輸入；為了獲得觀測軌跡雙方向的信息，利用對位相加將雙向門控循環單元前向最后一個隱藏狀態和反向最后一個隱藏狀態融合為一固定長度的向量并傳遞給解碼器用于解碼。