[發(fā)明專利]目標(biāo)追蹤系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611105151.9
• 申請日: 2016-12-05
• 公開（公告）號: CN108154522B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 姚頌
• 申請（專利權(quán)）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 張陽

本發(fā)明提出了一種目標(biāo)追蹤系統(tǒng)，包括：目標(biāo)特征訓(xùn)練模塊，在傅里葉域訓(xùn)練當(dāng)前視頻圖像幀中目標(biāo)區(qū)域的圖像信息以獲取當(dāng)前訓(xùn)練特征；候選特征訓(xùn)練模塊，在傅里葉域訓(xùn)練下一視頻圖像幀中多個候選目標(biāo)區(qū)域的圖像信息以獲取多個候選訓(xùn)練特征；目標(biāo)區(qū)域計算模塊，根據(jù)所述當(dāng)前訓(xùn)練特征和所述多個候選訓(xùn)練特征從多個候選目標(biāo)區(qū)域中選擇預(yù)測的下一目標(biāo)區(qū)域；其中，所述目標(biāo)特征訓(xùn)練模塊和所述候選特征訓(xùn)練模塊使用同一個由邏輯硬件實現(xiàn)的傅里葉變換模塊進(jìn)行傅里葉域的訓(xùn)練。傅里葉域內(nèi)的特征訓(xùn)練能夠在包含大量樣本以提升追蹤準(zhǔn)確性的同時保證極低的計算量，而復(fù)用的FFT硬件單元的實現(xiàn)則進(jìn)一步確保了極低的功耗和硬件資源使用量。

技術(shù)領(lǐng)域

本申請涉及圖像處理，尤其涉及一種通過圖像處理實現(xiàn)的目標(biāo)追蹤系統(tǒng)。

背景技術(shù)

目標(biāo)檢測和追蹤一直是學(xué)術(shù)界和工業(yè)界的一個重要研究方向。例如，基于計算機(jī)視覺的行人檢測由于其在車輛輔助駕駛系統(tǒng)中的重要應(yīng)用價值而成為當(dāng)前計算機(jī)視覺和智能車輛領(lǐng)域最為活躍的研究課題之一。不僅如此，目標(biāo)檢測和追蹤還在諸如安防、交通和游戲等領(lǐng)域內(nèi)有著巨大的實用空間和潛在意義。

近年來，目標(biāo)追蹤研究的一大突破是判別學(xué)習(xí)方法的廣泛采用。目標(biāo)跟蹤任務(wù)可被認(rèn)為是一個在線學(xué)習(xí)問題，針對給定包含目標(biāo)的初始圖像區(qū)域，訓(xùn)練出一個能夠分辨目標(biāo)外觀和環(huán)境的分類器。對于判別學(xué)習(xí)方法而言，對負(fù)樣本(背景環(huán)境)的學(xué)習(xí)與對正樣本(追蹤目標(biāo))的相同重要。

為了進(jìn)行準(zhǔn)確追蹤，希望包括更多的負(fù)樣本以學(xué)習(xí)更多的環(huán)境特征，但目標(biāo)追蹤的實時性又需要將計算量維持在一個較低的水平。傳統(tǒng)的目標(biāo)追蹤實現(xiàn)方法通過將圖片信息上傳服務(wù)器端，由服務(wù)器端完成計算后再將追蹤結(jié)果傳回本地進(jìn)行顯示。但這種方法通常有以下兩個缺點，一是花費了大量的時間用于數(shù)據(jù)傳輸上，導(dǎo)致跟蹤性能很差，難以實現(xiàn)跟蹤的實時性；二是由于跟蹤算法的計算量很大，小型的處理器通常難以擔(dān)任跟蹤計算的結(jié)果，因此目標(biāo)追蹤很難在小型嵌入式設(shè)備上達(dá)到很好的效果。由此此，目標(biāo)檢測和跟蹤系統(tǒng)如何在諸如無人機(jī)、汽車、機(jī)器人和手機(jī)等移動端獲得廣泛應(yīng)用仍然是業(yè)內(nèi)的一個研究熱點。

發(fā)明內(nèi)容

鑒于上述的至少一個問題，本發(fā)明提出了一種目標(biāo)追蹤方案，其采用邏輯硬件實現(xiàn)在傅里葉域進(jìn)行的追蹤算法，該算法本身能在確保包含大量樣本特征的情況下進(jìn)行快速追蹤，而使用并行度高的邏輯硬件實現(xiàn)傅里葉變換則能夠以極小的存儲和功耗實現(xiàn)極高的計算效率，從而進(jìn)一步為系統(tǒng)小型化應(yīng)用奠定基礎(chǔ)。

根據(jù)本發(fā)明的一個方面，提出了一種目標(biāo)追蹤系統(tǒng)，包括：目標(biāo)特征訓(xùn)練模塊，在傅里葉域訓(xùn)練當(dāng)前視頻圖像幀中目標(biāo)區(qū)域的圖像信息以獲取當(dāng)前訓(xùn)練特征；候選特征訓(xùn)練模塊，在傅里葉域訓(xùn)練下一視頻圖像幀中多個候選目標(biāo)區(qū)域的圖像信息以獲取多個候選訓(xùn)練特征；目標(biāo)區(qū)域計算模塊，根據(jù)所述當(dāng)前訓(xùn)練特征和所述多個候選訓(xùn)練特征從多個候選目標(biāo)區(qū)域中選擇預(yù)測的下一目標(biāo)區(qū)域；其中，所述目標(biāo)特征訓(xùn)練模塊和所述候選特征訓(xùn)練模塊使用同一個由邏輯硬件實現(xiàn)的傅里葉變換模塊進(jìn)行傅里葉域的訓(xùn)練。

優(yōu)選地，傅里葉域的訓(xùn)練包括二維快速傅里葉變換(FFT)的計算，并且傅里葉變換模塊包括兩個，更優(yōu)選地，僅包括一個快速傅里葉變換(FFT) 模塊單元來執(zhí)行所述二維FFT的計算。該FFT模塊單元還能夠執(zhí)行所述傅里葉域訓(xùn)練所需的IFFT計算。

目標(biāo)追蹤系統(tǒng)的處理對象優(yōu)選的是矩陣，所述訓(xùn)練模塊可以基于輸入的圖像矩陣獲取特征訓(xùn)練矩陣，并通過針對特征訓(xùn)練矩陣的運算從候選區(qū)域中確定最適目標(biāo)區(qū)域?？梢曰诙鄠€候選訓(xùn)練特征矩陣與所述當(dāng)前訓(xùn)練特征矩陣求得的多個區(qū)域計算結(jié)果矩陣，并通過結(jié)果矩陣中最大元素的選取來實現(xiàn)最適目標(biāo)區(qū)域的選擇。還可以獲取最大元素的相鄰元素信息，以進(jìn)一步優(yōu)化選擇的最適區(qū)域。最大元素的確定以及上述信息獲取可以優(yōu)選地僅由容納結(jié)果矩陣兩行元素信息的容量的移位寄存器實現(xiàn)，由此在確保計算效率的同時進(jìn)一步減小存儲需求。另外，IFFT計算可以將進(jìn)行逆向運算的同時將在二次FFT計算中轉(zhuǎn)置的矩陣再轉(zhuǎn)置回原來的方向，以進(jìn)一步優(yōu)化操作提升計算效率。

附圖說明