[發(fā)明專利]一種水下圖像識別跟蹤系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010118383.8
• 申請日: 2020-02-26
• 公開（公告）號: CN111445496B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計）人: 謝英紅;涂斌斌;韓曉微;唐璐;李華
• 申請（專利權(quán)）人: 沈陽大學(xué)
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T3/00
• 代理公司: 沈陽東大知識產(chǎn)權(quán)代理有限公司 21109
• 代理人: 李在川

1.一種水下圖像識別跟蹤系統(tǒng)，其特征在于：包括仿射變換模塊、候選框生成模塊、跟蹤模塊、訓(xùn)練模塊；

所述仿射變換模塊用于接收水下視頻圖像序列，并對所接收的水下視頻圖像序列中的圖像進(jìn)行仿射變換，根據(jù)上一幀圖像中標(biāo)記出的仿射框而在當(dāng)前幀上標(biāo)記出當(dāng)前幀中的仿射框；所述仿射變換模塊在標(biāo)記出各視頻圖像幀中的所述仿射框時，采用仿射變換表示各個圖像幀中的目標(biāo)的幾何變形；

所述候選框生成模塊，基于所述仿射框，利用隨機(jī)游走模型將仿射變換，形成M個候選框；

所述跟蹤模塊，將所述M個候選框所確定的候選圖像區(qū)域輸入到深度卷積神經(jīng)元網(wǎng)絡(luò),對深度卷積神經(jīng)元網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過深度卷積神經(jīng)元網(wǎng)絡(luò)，分別進(jìn)行卷積操作、激活操作、池化操作獲得M個得分，其中M為大于1的整數(shù)，并將得分最高的候選框確定為所要識別的對象，以及在當(dāng)前幀中劃出該候選框作為被識別跟蹤的對象；

所述訓(xùn)練模塊用于對深度卷積神經(jīng)元網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從預(yù)定訓(xùn)練集中選擇兩個對象區(qū)域-標(biāo)簽對輸入到所述深度卷積神經(jīng)元網(wǎng)絡(luò)；其中，所述兩個對象區(qū)域-標(biāo)簽對包括：在光照充足的環(huán)境下拍攝的無噪聲真值圖像，以及在光照不足的環(huán)境下拍攝的含噪聲訓(xùn)練圖像；將所述含噪聲訓(xùn)練圖像用作初始圖像以利用所述深度卷積神經(jīng)元網(wǎng)絡(luò)重建圖像，將重建圖像與所述無噪聲真值圖像進(jìn)行比較以獲得訓(xùn)練誤差，以及將所述訓(xùn)練誤差迭代反向傳播經(jīng)過所述深度卷積神經(jīng)元網(wǎng)絡(luò)以修正所述深度卷積神經(jīng)元網(wǎng)絡(luò)的參數(shù)，直至所述訓(xùn)練誤差滿足收斂條件。

2.根據(jù)權(quán)利要求1所述的一種水下圖像識別跟蹤系統(tǒng)，其特征在于：

所述仿射變換模塊采用仿射變換矩陣的形式進(jìn)行仿射變換，所述仿射變換矩陣具有3維的李群結(jié)構(gòu)。

3.一種水下圖像識別跟蹤方法，通過權(quán)利要求1所述一種水下圖像識別跟蹤系統(tǒng)實現(xiàn)，其特征在于，包括以下步驟：

步驟1：接收水下視頻圖像序列，對圖像進(jìn)行增強(qiáng)處理，在對每一幅圖像進(jìn)行直方圖均衡化之后，進(jìn)行縮放、旋轉(zhuǎn)、平移、剪裁中的一個或多個操作；

步驟2：對所接收的水下視頻圖像序列中的圖像進(jìn)行仿射變換，在當(dāng)前的圖像幀上標(biāo)記出仿射框；

步驟3：基于步驟2中所述仿射框，利用隨機(jī)游走模型將仿射變換形成M個候選框；

步驟4：將M個候選框所確定的候選圖像區(qū)域輸入到深度卷積神經(jīng)元網(wǎng)絡(luò)從而獲得M個得分，設(shè)計損失函數(shù)；

步驟5：將得分最高的候選框確定為所要識別的對象，并在該當(dāng)前幀中劃出該候選框作為被識別跟蹤的對象。

4.根據(jù)權(quán)利要求3所述的一種水下圖像識別跟蹤方法，其特征在于，所述步驟2具體包括：

步驟2.1：根據(jù)上一幀圖像中標(biāo)記出的仿射框而在當(dāng)前幀上標(biāo)記出當(dāng)前幀中的仿射框；

步驟2.2：在標(biāo)記出各視頻圖像幀中的所述仿射框時，采用仿射變換表示各個圖像幀中的目標(biāo)的幾何變形。

5.根據(jù)權(quán)利要求3所述的一種水下圖像識別跟蹤方法，其特征在于，所述步驟3具體包括：

步驟3.1：基于當(dāng)前圖像幀中的仿射框隨機(jī)生成多維向量u；

步驟3.2：對隨機(jī)生成的向量u進(jìn)行標(biāo)準(zhǔn)化處理；

步驟3.3：將上一幀的仿射變換與通過隨機(jī)生成的向量u進(jìn)行標(biāo)準(zhǔn)化處理得到的向量之和確定為所述當(dāng)前幀中的仿射變換；

步驟3.4：對下一幀進(jìn)行步驟3.1，重復(fù)步驟3.1-3.4直到產(chǎn)生M個候選框。

6.根據(jù)權(quán)利要求5所述的一種水下圖像識別跟蹤方法，其特征在于：所述多維向量u為6維向量。

7.根據(jù)權(quán)利要求3所述的一種水下圖像識別跟蹤方法，其特征在于，所述步驟4具體包括：

步驟4.1：將M個候選框所確定的候選圖像區(qū)域輸入到深度卷積神經(jīng)元網(wǎng)絡(luò)；

所述深度卷積神經(jīng)元網(wǎng)絡(luò)包括相互級聯(lián)的卷積層、激活層、池化層和全連接層；

步驟4.2：對深度卷積神經(jīng)元網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過所述深度卷積神經(jīng)元網(wǎng)絡(luò)，分別進(jìn)行卷積操作、激活操作、池化操作獲得所述M個得分。