[發(fā)明專利]一種基于可見光和紅外圖像的多船舶融合跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011348365.5
• 申請(qǐng)日: 2020-11-26
• 公開（公告）號(hào): CN112308883A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 張?chǎng)?/a>;賀金夯;何旭杰;張秋雨
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T5/50;G06T3/40;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于可見光和紅外圖像的多船舶融合跟蹤方法，其特征在于：步驟如下：

S1：檢測(cè)視頻的每幀圖像中的船舶對(duì)象，具體為：將一幀圖像作為檢測(cè)階段的輸入，并為該幀圖像中的船舶對(duì)象輸出一組邊界框，根據(jù)輸出的邊界框，計(jì)算出該幀圖像中目標(biāo)的中心位置；

S2：將所有待輸入的紅外和可見光圖像對(duì)進(jìn)行預(yù)處理；

S3：將預(yù)處理后的兩幀圖像對(duì)及圖像中船舶目標(biāo)的中心位置信息輸入特征提取網(wǎng)絡(luò)，提取船舶的特征向量，實(shí)現(xiàn)對(duì)船舶外觀特征的建模；

S4：將獲得的船舶的外觀特征輸入相似度估計(jì)模塊中，求取前后兩視頻幀的關(guān)聯(lián)矩陣，即當(dāng)前幀中的船舶與先前幀中的船舶之間的相似度矩陣；

S5：借助匈牙利算法關(guān)聯(lián)船舶目標(biāo)，增添新目標(biāo)，更新目標(biāo)跟蹤軌跡，實(shí)現(xiàn)多船舶的穩(wěn)定跟蹤。

2.根據(jù)權(quán)利要求1所述的一種基于可見光和紅外圖像的多船舶融合跟蹤方法，其特征在于：步驟S2具體包括：

S21：紅外圖像屬于單通道圖像，增加紅外圖像的通道數(shù)使之成為三通道圖像，即紅外圖像復(fù)制兩次，然后與原紅外圖像在通道維度上拼接，接著將紅外和可見光圖像對(duì)并行輸入后續(xù)的圖像預(yù)處理層，做相同的處理操作；

S22：首先光度失真處理，以隨機(jī)概率按順序?qū)斎雸D像進(jìn)行如下處理操作：圖像像素值縮放、轉(zhuǎn)換HSV格式、飽和度的縮放和轉(zhuǎn)換RGB格式；接著圖像放大處理，采用縮放因子為[1，1.2]的隨機(jī)值對(duì)圖像進(jìn)行放大，用數(shù)據(jù)的平均像素值來填充放大的圖像中的像素值；其次圖像裁剪處理，采用隨機(jī)比率裁剪圖片，只保留包含所有檢測(cè)目標(biāo)中心點(diǎn)的裁剪；最后將所有的輸入圖像調(diào)整為固定值大小并以0.5的概率進(jìn)行圖像的水平反轉(zhuǎn)操作。

3.根據(jù)權(quán)利要求1或2所述的一種基于可見光和紅外圖像的多船舶融合跟蹤方法，其特征在于：S3具體為：首先增添紅外圖像特征提取流，將圖像對(duì)并行輸入特征提取流以提取特征圖；在特征提取流的9個(gè)固定位置層抽取9對(duì)卷積層輸出的紅外和可見光特征圖對(duì)；將提取的9層不同空間尺度的特征圖對(duì)輸入引入的特征圖融合層，利用設(shè)計(jì)的融合策略分配融合權(quán)重，實(shí)現(xiàn)紅外和可見光特征圖對(duì)的自適應(yīng)融合；將融合后的特征圖輸入特征向量提取網(wǎng)絡(luò)，獲取每幀圖像的特征矩陣；具體步驟如下：

S31：特征圖提取部分以第t幀和第t-n幀兩幀紅外和可見光圖像對(duì)及其目標(biāo)的中心位置信息作為輸入；首先將兩幀圖像對(duì)分別從上下兩層特征提取流并行輸入并提取特征圖；針對(duì)前后兩幀圖像對(duì)，分別在特征提取流的9個(gè)固定位置層抽取9對(duì)卷積層輸出的紅外和可見光特征圖對(duì)；將抽取的特征圖通過附加卷積層實(shí)現(xiàn)在通道上的降維；特征圖提取層對(duì)輸入的前后兩個(gè)圖像對(duì)，分別提取了9層不同空間尺度的特征圖對(duì)；

S32：將S31中獲得的特征圖對(duì)輸入特征圖融合層，根據(jù)設(shè)計(jì)的基于L₁范數(shù)的融合策略給不同模態(tài)的特征圖分配不同的融合權(quán)重值，實(shí)現(xiàn)紅外和可見光特征圖對(duì)的自適應(yīng)融合；

S33：將融合后的特征圖輸入特征向量提取層；利用輸入的目標(biāo)中心位置信息，從融合特征圖中抽取目標(biāo)的中心像素值作為特征值，并將從9層融合特征圖中獲取的特征進(jìn)行拼接，這樣每個(gè)船舶目標(biāo)形成了520維的特征向量，每幀圖像中包含多個(gè)船舶目標(biāo)，將每幀圖像中所有船舶的特征向量放在一個(gè)二維矩陣中，形成一個(gè)Nm*520的特征矩陣，其中Nm表示規(guī)定的允許一幀圖像中最大目標(biāo)數(shù)；若幀中的目標(biāo)數(shù)目少于Nm，則特征矩陣中非真實(shí)的目標(biāo)的特征向量為零向量；實(shí)現(xiàn)了對(duì)每幀圖像中船舶的外觀特征的建模。