[發(fā)明專利]基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210534291.7
• 申請(qǐng)日: 2022-05-15
• 公開（公告）號(hào): CN114862913A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V20/40;G06V10/764;G06V10/74;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京創(chuàng)智合源知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 16092
• 代理人: 馬金華

1.基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法，其特征在于，包括如下步驟：

(1)檢測(cè)待定位目標(biāo)，采集目標(biāo)圖像，將采集出的目標(biāo)圖像為樣板圖像，將樣板圖像幀作為視頻序列的第一幀；

(2)采用全卷積網(wǎng)絡(luò)的孿生網(wǎng)絡(luò)對(duì)樣板圖像和視頻序列進(jìn)行特征提取；

(3)通過候選網(wǎng)絡(luò)的分類支路和回歸支路對(duì)提取的特征進(jìn)行分類回歸；

(4)計(jì)算每幀視頻序列的定位邊界框相似度，根據(jù)定位邊界框相似度進(jìn)行排名，通過非極大值抑制得到每幀視頻序列最后的定位邊界框，如果每一幀視頻序列最后的定位邊界框的值都大于邊界框閾值參數(shù)，則判定為定位成功，繼續(xù)執(zhí)行步驟(5)；如果每一幀視頻序列最后的定位邊界框的值中至少有一個(gè)小于等于定位邊界框閾值，則判定為定位不成功，重新執(zhí)行步驟(3)；

(5)檢測(cè)視頻序列的編號(hào)第G-a幀、第G-a+1幀、…、第G幀的視頻序列中相鄰兩幀的定位邊界框，判斷定位邊界框的幾何中心點(diǎn)在xy坐標(biāo)系下的平均位移變化，預(yù)測(cè)第G+1幀視頻序列相對(duì)于第G幀視頻序列的移動(dòng)方向，以第G幀視頻序列定位邊界框的幾何中心點(diǎn)坐標(biāo)為中心進(jìn)行放大，形成放大到視頻序列的圖像尺寸的圖，第G幀視頻序列圖像和大后的圖的重疊部分，判定為第G+1幀視頻序列的圖像的目標(biāo)定位范圍。

2.根據(jù)權(quán)利要求1所述的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法，其特征在于，所述的孿生網(wǎng)絡(luò)分為樣板支路和檢測(cè)支路，兩個(gè)支路的權(quán)重參數(shù)相同；其中樣板支路接收樣板圖像，輸入標(biāo)記為m；檢測(cè)支路接收檢測(cè)序列當(dāng)前幀的圖像，輸入標(biāo)記為k；樣板圖像和檢測(cè)序列經(jīng)過孿生網(wǎng)絡(luò)后得到孿生網(wǎng)絡(luò)特征輸出為樣板圖像孿生網(wǎng)絡(luò)特征輸出ι(m)和檢測(cè)序列孿生網(wǎng)絡(luò)特征輸出ι(k)。

3.根據(jù)權(quán)利要求1所述的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法，其特征在于，所述的步驟(3)具體包括如下步驟：

(3.1)采用FAST-RCNN的損失函數(shù)對(duì)候選網(wǎng)絡(luò)進(jìn)行訓(xùn)練，分類支路的損失函數(shù)采用交叉熵?fù)p失函數(shù)，回歸支路的損失函數(shù)采用回歸損失函數(shù)smooth L1 loss；

(3.2)通過訓(xùn)練后的候選網(wǎng)絡(luò)的兩個(gè)卷積層將ι(m)擴(kuò)展為樣板圖像孿生網(wǎng)絡(luò)特征輸出分類分支ι(m)_cls和樣板圖像孿生網(wǎng)絡(luò)特征輸出回歸分支ι(m)_reg；

(3.3)通過訓(xùn)練后的候選網(wǎng)絡(luò)的兩個(gè)卷積層將ι(k)擴(kuò)展為檢測(cè)序列孿生網(wǎng)絡(luò)特征輸出分類分支ι(k)_cls和檢測(cè)序列孿生網(wǎng)絡(luò)特征輸出回歸分支ι(k)_reg；

(3.4)確認(rèn)分類支路的通道向量個(gè)數(shù)為2X，確認(rèn)回歸支路的通道向量個(gè)數(shù)為4X；

(3.5)對(duì)分類支路進(jìn)行卷積運(yùn)算，運(yùn)算結(jié)果為：

(3.6)對(duì)回歸支路進(jìn)行卷積運(yùn)算，運(yùn)算結(jié)果為：

4.根據(jù)權(quán)利要求1所述的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法，其特征在于，所述的步驟(3.1)具體包括如下步驟：

(3.1.1)確認(rèn)候選網(wǎng)絡(luò)中錨箱的中心點(diǎn)坐標(biāo)(N_x,N_y)、寬N_w和高N_h；

(3.1.2)確認(rèn)實(shí)際定位邊界框的中心點(diǎn)坐標(biāo)(G_x,G_y)、高G_h和寬G_w；

(3.1.3)計(jì)算錨箱與定位邊界框的標(biāo)準(zhǔn)化距離：

(3.1.4)構(gòu)建smooth L1 loss函數(shù)：

ζ為邊界框閾值；

(3.1.5)回歸支路的損失函數(shù)為：