[發(fā)明專(zhuān)利]一種無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110610286.5
• 申請(qǐng)日: 2021-06-01
• 公開(kāi)（公告）號(hào): CN113379797A
• 公開(kāi)（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 陳余慶;孫鈺涵;徐慧樸;紀(jì)勛;余明裕;劉田禾
• 申請(qǐng)（專(zhuān)利權(quán)）人: 大連海事大學(xué)
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246;G06N3/04
• 代理公司: 大連東方專(zhuān)利代理有限責(zé)任公司 21212
• 代理人: 李馨

1.一種無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤方法，其特征在于，包括：

通過(guò)無(wú)人機(jī)獲取目標(biāo)視頻序列，所述目標(biāo)視頻序列包含跟蹤目標(biāo)；

由所述目標(biāo)視頻序列識(shí)別出跟蹤目標(biāo)，并通過(guò)預(yù)先訓(xùn)練的孿生神經(jīng)網(wǎng)絡(luò)處理所述目標(biāo)視頻序列，得到后續(xù)視頻幀中跟蹤目標(biāo)的位置；

基于視頻序列中相鄰幀中跟蹤目標(biāo)的位置，計(jì)算跟蹤目標(biāo)偏移量；

對(duì)像素坐標(biāo)與大地坐標(biāo)系進(jìn)行轉(zhuǎn)換，根據(jù)所述跟蹤目標(biāo)偏移量獲取實(shí)際無(wú)人機(jī)對(duì)應(yīng)的移動(dòng)角度與移動(dòng)距離，從而實(shí)現(xiàn)目標(biāo)跟蹤。

2.根據(jù)權(quán)利要求1所述的無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤方法，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)包括兩條相同的特征提取通道，所述特征提取通道上設(shè)置有一個(gè)ResNet50殘差網(wǎng)絡(luò)座位特征提取網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤方法，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

通過(guò)無(wú)人機(jī)采集地面目標(biāo)視頻圖像作為訓(xùn)練數(shù)據(jù)集；

對(duì)所述目標(biāo)視頻圖像的每一幀中包含的跟蹤目標(biāo)進(jìn)行標(biāo)注，框選內(nèi)部區(qū)域作為正樣本，框選區(qū)域以外的部分作為負(fù)樣本，對(duì)所述孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤方法，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程還包括：

構(gòu)建損失函數(shù)，所述損失函數(shù)形式如下：

l(y,v)＝log(1+e^-yv)

其中y∈{1,-1}表示樣本的標(biāo)簽值，當(dāng)前點(diǎn)在目標(biāo)區(qū)域則為1，不在目標(biāo)區(qū)域則為-1；v表示相似度分布矩陣中該點(diǎn)對(duì)應(yīng)的相似度值。

5.一種無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤系統(tǒng)，其特征在于，包括：

視頻獲取單元，用于通過(guò)無(wú)人機(jī)獲取目標(biāo)視頻序列，所述目標(biāo)視頻序列包含跟蹤目標(biāo)；

位置識(shí)別單元，用于由所述目標(biāo)視頻序列識(shí)別出跟蹤目標(biāo)，并通過(guò)預(yù)先訓(xùn)練的孿生神經(jīng)網(wǎng)絡(luò)處理所述目標(biāo)視頻序列，得到后續(xù)視頻幀中跟蹤目標(biāo)的位置；

計(jì)算單元，用于基于視頻序列中相鄰幀中跟蹤目標(biāo)的位置，計(jì)算跟蹤目標(biāo)偏移量；

轉(zhuǎn)換單元，用于對(duì)像素坐標(biāo)與大地坐標(biāo)系進(jìn)行轉(zhuǎn)換，根據(jù)所述跟蹤目標(biāo)偏移量獲取實(shí)際無(wú)人機(jī)對(duì)應(yīng)的移動(dòng)角度與移動(dòng)距離，從而實(shí)現(xiàn)目標(biāo)跟蹤。

6.根據(jù)權(quán)利要求5所述的無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤系統(tǒng)，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)包括兩條相同的特征提取通道，所述特征提取通道上設(shè)置有一個(gè)ResNet50殘差網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求5所述的無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤系統(tǒng)，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

通過(guò)無(wú)人機(jī)采集地面目標(biāo)視頻圖像作為訓(xùn)練數(shù)據(jù)集；

對(duì)所述目標(biāo)視頻圖像的每一幀中包含的跟蹤目標(biāo)進(jìn)行標(biāo)注，框選內(nèi)部區(qū)域作為正樣本，框選區(qū)域以外的部分作為負(fù)樣本，對(duì)所述孿生神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

8.根據(jù)權(quán)利要求7所述的無(wú)人機(jī)觀測(cè)目標(biāo)的實(shí)時(shí)跟蹤系統(tǒng)，其特征在于，所述孿生神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程還包括：

構(gòu)建損失函數(shù)，所述損失函數(shù)形式如下：

l(y,v)＝log(1+e^-yu)

其中y∈{1,-1}表示樣本的標(biāo)簽值，當(dāng)前點(diǎn)在目標(biāo)區(qū)域則為1，不在目標(biāo)區(qū)域則為-1；v表示相似度分布矩陣中該點(diǎn)對(duì)應(yīng)的相似度值。