[發(fā)明專利]融合RGBD多模態(tài)信息的行人輪廓跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910389276.6
• 申請(qǐng)日: 2019-05-10
• 公開(kāi)（公告）號(hào): CN110111351B
• 公開(kāi)（公告）日: 2022-03-25
• 發(fā)明（設(shè)計(jì)）人: 周雪;周政;鄒見(jiàn)效;徐紅兵
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06T7/13
• 分類號(hào): G06T7/13;G06T7/12;G06T7/194;G06T7/246
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

本發(fā)明公開(kāi)了一種融合RGBD多模態(tài)信息的行人輪廓跟蹤方法，構(gòu)建包含RGB目標(biāo)分割卷積網(wǎng)絡(luò)模塊、Depth目標(biāo)分割卷積網(wǎng)絡(luò)模塊、特征圖疊加模塊、卷積模塊和置信圖融合模塊的行人目標(biāo)置信圖獲取模型，采用訓(xùn)練樣本對(duì)行人目標(biāo)置信圖獲取模型進(jìn)行訓(xùn)練，在實(shí)際應(yīng)用時(shí)，將RGB圖像與Depth圖像分別輸入行人目標(biāo)置信圖，將得到的融合置信圖作為引導(dǎo)主動(dòng)輪廓進(jìn)化的外部能量來(lái)獲取目標(biāo)輪廓。本發(fā)明引入了Depth圖像作為輸入，可以有效提高在背景光線不足或目標(biāo)表觀與背景表觀相似的跟蹤場(chǎng)景下的行人輪廓跟蹤效果。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，更為具體地講，涉及一種融合RGBD多模態(tài)信息的行人輪廓跟蹤方法。

背景技術(shù)

作為計(jì)算機(jī)視覺(jué)研究領(lǐng)域中極具重要意義的視覺(jué)任務(wù)之一，目標(biāo)跟蹤包含模式識(shí)別、圖像處理等先進(jìn)技術(shù)。目標(biāo)跟蹤任務(wù)的內(nèi)容為根據(jù)給定視頻序列指定幀中所感興趣目標(biāo)的位置信息，依次在后續(xù)連續(xù)幀中將目標(biāo)找出并給出其位置信息。近年來(lái)，隨著計(jì)算機(jī)學(xué)科技術(shù)的不斷發(fā)展且生活與工作中越來(lái)越多的實(shí)際應(yīng)用需求，目標(biāo)跟蹤算法的研究已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)大熱點(diǎn)。

在目前的目標(biāo)跟蹤算法中，絕大多數(shù)成熟的跟蹤算法都是基于RGB彩色圖像的，一是因?yàn)槟壳暗腞GB圖像成像技術(shù)是最成熟的，無(wú)論是手機(jī)或是相機(jī)都可以輕松獲取大量質(zhì)量很好的圖像，也正是因?yàn)槿绱嘶赗GB彩色圖像的視覺(jué)數(shù)據(jù)集也是極為豐富的，其次是因?yàn)樵赗GB圖像上攜帶了足夠豐富的信息，如可以在RGB圖像上提取如彩色直方圖、HOG、LBP等多種特征信息，這也是其成為視覺(jué)任務(wù)主要數(shù)據(jù)來(lái)源的最重要原因之一。然而，盡管其擁有如此多的優(yōu)點(diǎn)，但在現(xiàn)實(shí)場(chǎng)景中也存在僅依賴RGB圖像無(wú)法解決的問(wèn)題，如在RGB圖像中目標(biāo)物體與背景表觀比較相似或是環(huán)境光線較暗等等情況。為了彌補(bǔ)單一的RGB圖像信息帶來(lái)的跟蹤效果不足，目前很多的跟蹤算法也已經(jīng)引入了如光流圖或Depth(深度)圖像來(lái)作為RGB圖像的補(bǔ)充以提高跟蹤效果。

Depth圖像與RGB彩色圖像不同，Depth圖像從直觀上看是一種記錄距離數(shù)據(jù)的圖像，其圖片每個(gè)像素值記錄的是成像物體每個(gè)位置到攝像頭的距離。Depth圖像一般為16位單通道圖像，其顯示效果和常見(jiàn)的單通道灰度圖一樣，視覺(jué)上成像物體離攝像頭越近，Depth圖像的像素值越小所以灰度顯示越暗，離攝像頭越遠(yuǎn)像素值越大灰度顯示越亮。由于Depth圖像具有不受光照變化影響且只與距離有關(guān)等特性，在一些特定的跟蹤場(chǎng)景中如環(huán)境光線微弱，背景與目標(biāo)表觀相近等場(chǎng)景，融合Depth圖像可以幫助解決由于RGB圖像表觀信息失效而導(dǎo)致跟蹤效果變差的問(wèn)題。

在目標(biāo)的跟蹤形式上，主要分為基于boundingbox(目標(biāo)包圍框)的跟蹤與基于輪廓的跟蹤。所謂的基于boundingbox的跟蹤即在跟蹤目標(biāo)上使用矩形框或橢圓形框進(jìn)行跟蹤目標(biāo)的表達(dá)，該種跟蹤方式較為簡(jiǎn)單，但形態(tài)固定，對(duì)于非剛性目標(biāo)的表達(dá)缺乏靈活性。而對(duì)于輪廓的跟蹤方式，其是對(duì)于目標(biāo)形體邊緣的跟蹤，該種跟蹤方式需要進(jìn)行較為復(fù)雜的數(shù)學(xué)計(jì)算，但它對(duì)于非剛性目標(biāo)的表達(dá)確實(shí)十分靈活，能夠詳細(xì)的提供目標(biāo)形態(tài)的信息以及變化，是十分具有意義的跟蹤方式。就目前而言，如何將Depth圖像融入輪廓跟蹤中還是一個(gè)有待解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種融合RGBD多模態(tài)信息的行人輪廓跟蹤方法，結(jié)合使用RGB圖像與Depth圖像，提高在背景光線不足或目標(biāo)表觀與背景表觀相似的跟蹤場(chǎng)景下的行人輪廓跟蹤效果。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明融合RGBD多模態(tài)信息的行人輪廓跟蹤方法包括以下步驟：

S1：構(gòu)建行人目標(biāo)置信圖獲取模型，包括RGB目標(biāo)分割卷積網(wǎng)絡(luò)模塊，Depth目標(biāo)分割卷積網(wǎng)絡(luò)模塊，特征圖疊加模塊，卷積模塊和置信圖融合模塊，其中：

RGB目標(biāo)分割卷積網(wǎng)絡(luò)模塊以RGB圖像作為輸入，輸出為行人目標(biāo)分割的置信圖T_RGB，將最后一層特征圖F_RGB輸出至特征圖疊加模塊，將置信圖T_RGB輸出至融合模塊；