[發(fā)明專利]一種基于在線狀態(tài)學(xué)習(xí)與估計的目標(biāo)跟蹤方法

有效

• 申請?zhí)枺?/td>: 201710269951.2
• 申請日: 2017-04-24
• 公開（公告）號: CN107146237B
• 公開（公告）日: 2020-02-18
• 發(fā)明（設(shè)計）人: 權(quán)偉;高仕斌;陳小川;王牣;陳德明;熊列彬;韓正慶;林國松
• 申請（專利權(quán)）人: 西南交通大學(xué)
• 主分類號: G06T7/207
• 分類號: G06T7/207;G06N3/08
• 代理公司: 成都點(diǎn)睛專利代理事務(wù)所(普通合伙) 51232
• 代理人: 葛啟函

本發(fā)明提供了一種基于在線狀態(tài)學(xué)習(xí)與估計的目標(biāo)跟蹤方法，涉及計算機(jī)視覺，計算機(jī)圖形圖像技術(shù)領(lǐng)域。首先構(gòu)建一個目標(biāo)定位與狀態(tài)估計網(wǎng)絡(luò)，該網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)兩部分組成，特征提取網(wǎng)絡(luò)為預(yù)訓(xùn)練網(wǎng)絡(luò)AlexNet，回歸網(wǎng)絡(luò)為遞歸神經(jīng)網(wǎng)絡(luò)(RNN網(wǎng)絡(luò))。在初始網(wǎng)絡(luò)訓(xùn)練過程中，使用初始訓(xùn)練集和隨機(jī)梯度下降法對目標(biāo)定位與狀態(tài)估計網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練完成后網(wǎng)絡(luò)獲得了對目標(biāo)進(jìn)行定位和狀態(tài)估計的初始能力。在跟蹤過程中，目標(biāo)定位與狀態(tài)估計網(wǎng)絡(luò)對輸入圖像進(jìn)行正向處理，網(wǎng)絡(luò)將直接輸出該圖像對應(yīng)的目標(biāo)相關(guān)信息，其中獲得的目標(biāo)概率和狀態(tài)信息決定網(wǎng)絡(luò)是否進(jìn)行在線學(xué)習(xí)，而目標(biāo)位置和大小信息實(shí)現(xiàn)對目標(biāo)的定位，從而實(shí)現(xiàn)對目標(biāo)對象的跟蹤。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)視覺，計算機(jī)圖形圖像技術(shù)領(lǐng)域。

背景技術(shù)

視覺目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的重要研究課題，其主要任務(wù)是獲取目標(biāo)連續(xù)的位置、外觀和運(yùn)動等信息，進(jìn)而為進(jìn)一步的語義層分析(如行為識別、場景理解等)提供基礎(chǔ)。目標(biāo)跟蹤研究被廣泛應(yīng)用于智能監(jiān)控、人機(jī)交互、自動控制系統(tǒng)等領(lǐng)域，具有很強(qiáng)的實(shí)用價值。目前，目標(biāo)跟蹤方法主要包括經(jīng)典目標(biāo)跟蹤方法和深度學(xué)習(xí)目標(biāo)跟蹤方法。

經(jīng)典的目標(biāo)跟蹤方法主要分為生成式方法(Generative Methods)和判別式方法(Discriminative Methods)兩類。生成式方法假設(shè)目標(biāo)可以通過某種生成過程或者模型進(jìn)行表達(dá)，如主成分分析(PCA)，稀疏編碼(Sparse Coding)等，然后將跟蹤問題視為在感興趣的區(qū)域中尋找最可能的候選項(xiàng)。這些方法旨在設(shè)計一種利于魯棒目標(biāo)跟蹤的圖像表示方法。不同于生成式方法，判別式方法將跟蹤視為一個分類或者一種連續(xù)的對象檢測問題，其任務(wù)是將目標(biāo)從圖像背景中分辨出來。這類方法同時利用目標(biāo)和背景信息，是目前主要研究的一類方法。判別式方法通常包含兩個主要的步驟，第一步是通過選擇能夠辨別目標(biāo)和背景的視覺特征訓(xùn)練得到一個分類器及其決策規(guī)則，第二步是在跟蹤過程中將該分類器用于對視場內(nèi)的每一個位置進(jìn)行評價并確定最有可能的目標(biāo)位置。隨后將目標(biāo)框移動到該位置并重復(fù)這樣的過程，進(jìn)而實(shí)現(xiàn)跟蹤，該框架被用于設(shè)計出各種形式的跟蹤算法。總體來看，經(jīng)典跟蹤方法的主要優(yōu)勢在于運(yùn)行速度和對輔助數(shù)據(jù)較少的依賴，同時它們也需要在跟蹤的準(zhǔn)確性與實(shí)時性之間做出權(quán)衡。

深度學(xué)習(xí)(Deep Learning)是近年來機(jī)器學(xué)習(xí)研究的熱點(diǎn)，由于其強(qiáng)大的特征表達(dá)能力和不斷發(fā)展的數(shù)據(jù)集和硬件支持，深度學(xué)習(xí)已在許多方面取得了驚人的成功，例如語音識別、圖像識別、目標(biāo)檢測、視頻分類等。深度學(xué)習(xí)目標(biāo)跟蹤研究發(fā)展也十分迅速，但由于目標(biāo)跟蹤中先驗(yàn)知識的缺乏和實(shí)時性的要求，使得需要大量訓(xùn)練數(shù)據(jù)和參數(shù)計算為基礎(chǔ)的深度學(xué)習(xí)技術(shù)在這方面難以得到充分的施展，具有很大的探索空間。從目前的研究成果來看，深度學(xué)習(xí)跟蹤方法主要應(yīng)用了自編碼器網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，其研究主要有兩種思路，一種是對網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)再進(jìn)行在線微調(diào)，另一種是改造深度網(wǎng)絡(luò)的結(jié)構(gòu)以適應(yīng)跟蹤的要求。自編碼器網(wǎng)絡(luò)(AE)是典型的非監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò),因其特征學(xué)習(xí)能力和抗噪聲性能被首先應(yīng)用到目標(biāo)跟蹤中。綜合來看,自編碼器網(wǎng)絡(luò)比較直觀且體量適中，是一種優(yōu)秀的非監(jiān)督深度學(xué)習(xí)模型，在跟蹤中最先得以應(yīng)用并取得了較好的效果。與自編碼器網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種監(jiān)督型的前饋神經(jīng)網(wǎng)絡(luò)，它包含多個循環(huán)交替進(jìn)行的卷積、非線性變換和降采樣操作，在模式識別特別是計算機(jī)視覺任務(wù)中體現(xiàn)出非常強(qiáng)大的性能?？傮w來看，深度學(xué)習(xí)相比于經(jīng)典方法具有更強(qiáng)大的特征表達(dá)能力，其跟蹤方法中有關(guān)訓(xùn)練集的選取，網(wǎng)絡(luò)的選擇與結(jié)構(gòu)的改進(jìn)，算法的實(shí)時性，以及應(yīng)用遞歸神經(jīng)網(wǎng)絡(luò)等方面仍需要進(jìn)一步的研究。

為了能夠適應(yīng)目標(biāo)的變化，跟蹤方法通常都需要在線更新相應(yīng)的模型，然而目標(biāo)外觀的變化狀態(tài)會極大地影響模型學(xué)習(xí)的準(zhǔn)確性，即便在準(zhǔn)確定位了目標(biāo)位置的情況下，如果模型對目標(biāo)外觀狀態(tài)未加辨別的學(xué)習(xí)將會因不斷累積的學(xué)習(xí)錯誤而造成跟蹤漂移。

鑒于此，本發(fā)明提出一種基于在線狀態(tài)學(xué)習(xí)與估計的目標(biāo)跟蹤方法。

發(fā)明內(nèi)容