[發(fā)明專利]一種基于預(yù)檢測置信度的運動目標(biāo)檢測前跟蹤方法

有效

• 申請?zhí)枺?/td>: 202010017037.0
• 申請日: 2020-01-08
• 公開（公告）號: CN111210458B
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計）人: 鄭文濤;林姝含;李申達
• 申請（專利權(quán)）人: 北京天睿空間科技股份有限公司
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 北京市卓華知識產(chǎn)權(quán)代理有限公司 11299
• 代理人: 陳子英

本發(fā)明涉及一種基于深度學(xué)習(xí)預(yù)檢測的檢測前跟蹤方法，設(shè)置較低的置信度門限進行預(yù)檢測，逐幀進行目標(biāo)檢測，獲得檢測算法輸出的目標(biāo)及其置信度，以該目標(biāo)的置信度為觀測量，應(yīng)用多幀檢測前跟蹤算法進行目標(biāo)跟蹤運算，得到最終的目標(biāo)檢測結(jié)果和運動軌跡，優(yōu)選采用基于動態(tài)規(guī)劃的目標(biāo)跟蹤算法進行所述的目標(biāo)跟蹤運算，優(yōu)選采用深度學(xué)習(xí)算法進行所述的預(yù)檢測。把目標(biāo)看成質(zhì)點，將整幀圖像劃分成若干個分辨單元，所述分辨單元的大小依據(jù)目標(biāo)的最大運動速度確定，以分辨單元的坐標(biāo)作為落在該分辨單元內(nèi)的任何目標(biāo)的坐標(biāo)，在相鄰幀目標(biāo)運動狀態(tài)轉(zhuǎn)移中只考慮距離在一個分辨單元范圍內(nèi)的目標(biāo)。本發(fā)明具有較高魯棒性，數(shù)據(jù)處理量小，方便快捷。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于預(yù)檢測置信度的運動目標(biāo)檢測前跟蹤方法，屬計算機視覺技術(shù)領(lǐng)域。

背景技術(shù)

目標(biāo)檢測與跟蹤技術(shù)一直是計算機視覺領(lǐng)域的重要課題。目前,基于視覺的運動目標(biāo)檢測與跟蹤技術(shù)已廣泛應(yīng)用于視頻監(jiān)控、自動駕駛、行為理解等領(lǐng)域,并達到了良好的效果。隨著神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的飛速發(fā)展，目標(biāo)檢測與跟蹤技術(shù)的得到了學(xué)界和工業(yè)界的廣泛關(guān)注，相關(guān)研究層出不窮，在各大頂級期刊、會議占比巨大。另一方面，隨著顯卡算力的不斷提高，設(shè)計復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)成為可能，極大地提高了目標(biāo)檢測和跟蹤的性能。

運動目標(biāo)的檢測跟蹤技術(shù)按照檢測與跟蹤的先后關(guān)系可以分為三類主要方法。第一類為基于檢測的跟蹤(track-by-detection，TBD),即對視頻的每一幀進行目標(biāo)檢測，之后在時間維度上進行運動目標(biāo)的關(guān)聯(lián)，在每幀中的目標(biāo)檢測方法有背景差分法、基于特征提取的模板匹配法、深度學(xué)習(xí)方法等。第二類為跟蹤前檢測(Detect Before Track,DBT)。這種方法一般在一個固定周期內(nèi)只針對第一個視頻幀進行目標(biāo)檢測，對于檢測到的目標(biāo)在其余幀內(nèi)利用匹配、濾波等方法進行跟蹤。由于運動目標(biāo)的連續(xù)性，目標(biāo)在相鄰幀之間出現(xiàn)的位置非常接近，所以把檢測到的目標(biāo)進行跟蹤是非常合理的做法。對于檢測器檢測出的目標(biāo)，用跟蹤器進行跟蹤，可以減少目標(biāo)漏檢。同時，由于跟蹤需要的計算量遠遠小于檢測，這種方法能有效提高視頻檢測和跟蹤的效率。第三類為多幀檢測前跟蹤(Track BeforeDetect,TBD)，這類方法常用在雷達信號的目標(biāo)檢測和跟蹤中。在這種條件下，由于信噪比低，目標(biāo)很難通過單周期門限檢測。多幀檢測前跟蹤則是不在每個時刻進行門限檢測，而是聯(lián)合處理多幀數(shù)據(jù)輸出目標(biāo)檢測結(jié)果，因此可以更大程度地保留和利用目標(biāo)信息；另一方面，它能夠聯(lián)合利用目標(biāo)在多幀之間的運動相關(guān)性積累目標(biāo)能量同時抑制噪聲改善信噪比。多幀檢測前跟蹤通過提取檢測結(jié)果形成點跡，最后利用點跡數(shù)據(jù)進行航跡起始和跟蹤。常見方法包括三維匹配濾波、動態(tài)規(guī)劃、霍夫變換、粒子濾波等。

然而，上述各種方法依然有各自的局限性或不足。例如，第一類方法 (TBD)的問題是算法整體性能高度依賴于單幀的目標(biāo)檢測精度。如果某一幀上出現(xiàn)了漏檢或誤檢，沒有補救的方法。可以通過檢測的閾值可以調(diào)節(jié)漏檢率和誤檢率，當(dāng)對檢測的準(zhǔn)確率要求較高時，可以使用較高的閾值，這樣只有檢測器認為目標(biāo)存在的置信度較高時才會給出結(jié)果，可以有效減少誤檢，但這樣會增加漏檢；反之，當(dāng)對檢測的召回率要求較高時，可以使用較低的閾值，只要檢測器認為目標(biāo)存在的置信度超過這個較低的閾值便輸出結(jié)果，可以顯著降低漏檢，但會增加誤檢。另外，這種方法只能檢測出每幀中目標(biāo)的位置，無法得知每一幀中的目標(biāo)對應(yīng)上一幀的哪一個，也無法得知物體的運動軌跡，需要后續(xù)的關(guān)聯(lián)處理。如果檢測精度不足，關(guān)聯(lián)處理會變得十分困難。

上述第二類方法(DBT)同樣存在第一種方法中的問題，而且，由于只針對部分幀進行檢測，對于漏檢的目標(biāo)不能進行補救，對于中途新出現(xiàn)的目標(biāo)也無法及時發(fā)現(xiàn)。

上述第三類方法(TBD)聯(lián)合處理多幀數(shù)據(jù)，有更好的魯棒性，但目前為止只應(yīng)用于雷達、紅外成像這類信號強度與目標(biāo)存在直接相關(guān)的信號。對于一般的視頻，感興趣的目標(biāo)，如道路上的汽車、樹林中的小鳥等，無法通過信號強度與背景進行區(qū)分。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足，提出一種基于深度學(xué)習(xí)預(yù)檢測的檢測前跟蹤方法，以在獲得較高連續(xù)性和魯棒性的同時，減少數(shù)據(jù)處理量。