[發(fā)明專利]基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法

在審

• 申請?zhí)枺?/td>: 202210534291.7
• 申請日: 2022-05-15
• 公開（公告）號: CN114862913A
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V20/40;G06V10/764;G06V10/74;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 北京創(chuàng)智合源知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 16092
• 代理人: 馬金華

本發(fā)明屬于機(jī)器視覺目標(biāo)定位領(lǐng)域，具體涉及一種適用于復(fù)雜場景環(huán)境下的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法。包括(1)檢測待定位目標(biāo)，采集目標(biāo)圖像，將采集出的目標(biāo)圖像為樣板圖像，設(shè)樣板圖像幀作為視頻序列的第一幀；(2)采用全卷積網(wǎng)絡(luò)的孿生網(wǎng)絡(luò)對樣板圖像和視頻序列進(jìn)行特征提取；(3)通過候選網(wǎng)絡(luò)的分類支路和回歸支路對提取的特征進(jìn)行分類回歸等。本發(fā)明根據(jù)目標(biāo)前幾幀視頻圖像軌跡變化，來預(yù)測下一幀目標(biāo)定位范圍的預(yù)測策略，以有效地縮小復(fù)雜情況下目標(biāo)定位的范圍，減少圖像精度、對比度對目標(biāo)定位造成的錯誤定位、丟失目標(biāo)和定位漂移等影響，保證目標(biāo)定位的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器視覺目標(biāo)定位領(lǐng)域，具體涉及一種適用于復(fù)雜場景環(huán)境下的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法。

背景技術(shù)

隨著國家基礎(chǔ)設(shè)施建設(shè)水平的快速發(fā)展，復(fù)雜場景對跟蹤定位的要求連續(xù)提高，人工智能的跟蹤定位技術(shù)也隨之長足發(fā)展。目標(biāo)定位是人工智能機(jī)器視覺的重要組成部分，該技術(shù)是指利用視頻、圖像的邏輯信息，對目標(biāo)的軌跡和輪廓特征信息進(jìn)行建模，從而對目標(biāo)定位進(jìn)行預(yù)測和跟蹤。隨著人工智能機(jī)器深度學(xué)習(xí)在圖像和目標(biāo)檢測中的系統(tǒng)化使用，大量使用在目標(biāo)定位方法中。但是由于圖像清晰度、對比度差、背景復(fù)雜度等因素，都不利于圖像的高清處理，影響了圖像特征的提取精度，提升目標(biāo)定位的難度。所以在此領(lǐng)域?yàn)榭蒲腥藛T提出了如何進(jìn)一步減低計(jì)算成本，提升定位精度和魯棒性的技術(shù)問題。

近年來，由于深度特征對目標(biāo)擁有極強(qiáng)的表征能力，因此在人工智能的目標(biāo)定位方法中有極大比例是基于深度學(xué)習(xí)的。專利文獻(xiàn)“一種基于圖像系統(tǒng)的車輛特征深度學(xué)習(xí)識別軌跡跟蹤方法”對于濾波方法進(jìn)行了改進(jìn)，但是有可能帶來計(jì)算量增大但不能滿足實(shí)時性需求的風(fēng)險。專利文獻(xiàn)“一種目標(biāo)識別方法及裝置”，涉及到通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來確定目標(biāo)的方法，定位速度較慢，容易發(fā)生跟蹤漂移。

針對環(huán)境復(fù)雜，圖像清晰度和對比度差，工作時對于遮擋影響較大的問題，需要提出一種適用于復(fù)雜場景環(huán)境下的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種解決目標(biāo)定位正確率低的問題，并且降低定位成本，提高魯棒性的基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法。

本發(fā)明的目的是這樣實(shí)現(xiàn)的，基于人工智能網(wǎng)絡(luò)的機(jī)器視覺目標(biāo)定位方法，包括如下步驟：

(1)檢測待定位目標(biāo)，采集目標(biāo)圖像，將采集出的目標(biāo)圖像為樣板圖像，設(shè)樣板圖像幀作為視頻序列的第一幀；

(2)采用全卷積網(wǎng)絡(luò)的孿生網(wǎng)絡(luò)對樣板圖像和視頻序列進(jìn)行特征提取；

(3)通過候選網(wǎng)絡(luò)的分類支路和回歸支路對提取的特征進(jìn)行分類回歸；

(4)計(jì)算每幀視頻序列的定位邊界框相似度，根據(jù)定位邊界框相似度進(jìn)行排名，通過非極大值抑制得到每幀視頻序列最后的定位邊界框，如果每一幀視頻序列最后的定位邊界框的值都大于邊界框閾值參數(shù)，則判定為定位成功，繼續(xù)執(zhí)行步驟(5)；如果每一幀視頻序列最后的定位邊界框的值中至少有一個小于等于定位邊界框閾值，則判定為定位不成功，重新執(zhí)行步驟(3)；

(5)檢測視頻序列的編號第G-a幀、第G-a+1幀、…、第G幀的視頻序列中相鄰兩幀的定位邊界框，判斷定位邊界框的幾何中心點(diǎn)在xy坐標(biāo)系下的平均位移變化，預(yù)測第G+1幀視頻序列相對于第G幀視頻序列的移動方向，以第G幀視頻序列定位邊界框的幾何中心點(diǎn)坐標(biāo)為中心進(jìn)行放大，形成放大到視頻序列的圖像尺寸的圖，第G幀視頻序列圖像和大后的圖的重疊部分，判定為第G+1幀視頻序列的圖像的目標(biāo)定位范圍。

所述的孿生網(wǎng)絡(luò)分為樣板支路和檢測支路，兩個支路的權(quán)重參數(shù)相同；其中樣板支路接收樣板圖像，輸入標(biāo)記為m；檢測支路接收檢測序列當(dāng)前幀的圖像，輸入標(biāo)記為k；樣板圖像和檢測序列經(jīng)過孿生網(wǎng)絡(luò)后得到孿生網(wǎng)絡(luò)特征輸出為樣板圖像孿生網(wǎng)絡(luò)特征輸出ι(m)和檢測序列孿生網(wǎng)絡(luò)特征輸出ι(k)。

所述的步驟(3)具體包括如下步驟：