[發(fā)明專利]一種基于具有語義評(píng)估和區(qū)域建議的突變運(yùn)動(dòng)目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010440974.7
• 申請(qǐng)日: 2020-05-22
• 公開（公告）號(hào): CN111598928B
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計(jì)）人: 姜素霞;王延峰;張煥龍;李盼龍;凌丹;劉一君
• 申請(qǐng)（專利權(quán)）人: 鄭州輕工業(yè)大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V10/774;G06V10/764
• 代理公司: 鄭州萬創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 41135
• 代理人: 任彬

1.一種基于具有語義評(píng)估和區(qū)域建議的突變運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，其步驟如下：

步驟一：初始化區(qū)域建議網(wǎng)絡(luò)模型：將網(wǎng)絡(luò)模型選用VGG-16模型用來提取圖像特征，設(shè)置最大目標(biāo)建議數(shù)量、重疊閾值和測試量表，設(shè)定候選目標(biāo)建議輸出的閾值；

步驟二：采用語義評(píng)估和區(qū)域建議在全局內(nèi)獲得少量高質(zhì)量的含有目標(biāo)的區(qū)域建議：1)根據(jù)跟蹤目標(biāo)與目標(biāo)建議的圖像塊的語義信息判斷目標(biāo)的類別，將不屬于該目標(biāo)類別的候選區(qū)域去除；2)根據(jù)上下文位置信息在候選區(qū)域位置上截取與目標(biāo)圖像塊大小形同的區(qū)域作為候選圖像塊；

步驟三：采用混合跟蹤算法搜索候選圖像塊：1)將目標(biāo)區(qū)域候選圖像塊和當(dāng)前圖片上一幀目標(biāo)位置的圖像塊進(jìn)行對(duì)比；2)將于目標(biāo)圖像塊的相似度值最大的候選目標(biāo)圖像塊做為當(dāng)前幀的最后候選圖像塊的位置；3)在確定目標(biāo)圖像塊位置后，以圖像塊中點(diǎn)為中心，在當(dāng)前幀以固定步長截取與當(dāng)前目標(biāo)圖像塊具有相同寬高比例的一系列圖像塊，然后將這些圖像塊調(diào)整至與目標(biāo)圖像塊一樣的大小，再次與上一幀目標(biāo)圖像塊進(jìn)行對(duì)比，并將相似度值最大的圖像塊做為當(dāng)前幀圖像的目標(biāo)真實(shí)狀態(tài)；

步驟四：將步驟三輸出的最優(yōu)候選圖像塊作為當(dāng)前幀的目標(biāo)圖像塊及下一幀的目標(biāo)狀態(tài)參數(shù)，返回步驟二進(jìn)行下一幀圖像的跟蹤；

步驟五：重復(fù)步驟二…步驟四，直至達(dá)到最后一幀圖像，輸出每一幀圖像的最優(yōu)候選圖像塊，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的跟蹤。

2.根據(jù)權(quán)利要求1所述的一種基于具有語義評(píng)估和區(qū)域建議的突變運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于：所述步驟一中初始化目標(biāo)圖像塊的狀態(tài)參數(shù)的方法為：讀取第一幀圖像的數(shù)據(jù)信息，確定目標(biāo)圖像塊在第一幀圖像內(nèi)的狀態(tài)參數(shù)[x,y,w,h]，其中，x、y為目標(biāo)圖像塊在每幀圖像左上角像素點(diǎn)的坐標(biāo)值，w為目標(biāo)圖像塊的寬度，h為目標(biāo)圖像塊的高度。

3.根據(jù)權(quán)利要求1所述的一種基于具有語義評(píng)估和區(qū)域建議的突變運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于：所述步驟二中根據(jù)目標(biāo)語義信息判斷目標(biāo)類別篩選的方法是：根據(jù)計(jì)算目標(biāo)在上一時(shí)刻與候選區(qū)域建議的重疊率(IOU)：

其中其中i為候選建議的類別，j為第i類的第j個(gè)候選建議，p_a為目標(biāo)在前一幀中的位置信息，p_b(i,j)為上一幀中第類的第個(gè)候選區(qū)域邊界框位置信息，則可得到最大重疊率：

IOU_(t,j')＝max{IOU_(1,1),...IOU_(2,1),...IOU_(20,j)}

其中t是在當(dāng)前幀圖像中跟蹤的目標(biāo)的類別；因此當(dāng)前幀的候選區(qū)與建議經(jīng)過篩選后為：

p_t＝{p(t,1),p(t,2),...p(t,n)}

其中p_t是經(jīng)過語義評(píng)估后生成的對(duì)象級(jí)候選區(qū)域建議。

4.根據(jù)權(quán)利要求1所述的一種基于具有語義評(píng)估和區(qū)域建議的突變運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于：所述的候選目標(biāo)建議輸出的閾值設(shè)置為0.1。

5.根據(jù)權(quán)利要求1所述的一種基于具有語義評(píng)估和區(qū)域建議的突變運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于：所述步驟二中使用上下文空間位置信息獲取候選圖像塊的方法是：由目標(biāo)在上一幀的空間位置信息在當(dāng)前幀的對(duì)象級(jí)區(qū)域候選建議截取圖像塊，建立一個(gè)以目標(biāo)檢測框左上角為原點(diǎn)的坐標(biāo)系，目標(biāo)位置由中心點(diǎn)坐標(biāo)表示；目標(biāo)在檢測框中的相對(duì)位置表示為：

其中a₁和b₁分別為上一幀目標(biāo)檢測框的寬度和高度，a₀和b₀為目標(biāo)檢測框中的目標(biāo)位置；x_k和y_k是目標(biāo)在上一幀的空間位置信息；同樣的方法在當(dāng)前幀建立目標(biāo)檢測框的坐標(biāo)系；候選圖像塊由x_k和y_k確定；其位置估計(jì)為：

其中x和y為圖像塊的中心位置，c₁和d₁為當(dāng)前幀目標(biāo)檢測框的寬度和高度；由此在當(dāng)前幀中得到圖像塊對(duì)目標(biāo)進(jìn)行視覺跟蹤定位。