[發(fā)明專利]一種基于光譜特征的視覺(jué)追蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710670378.6
• 申請(qǐng)日: 2017-08-08
• 公開(kāi)（公告）號(hào): CN109389137B
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 曹汛;趙遠(yuǎn)遠(yuǎn);朱維新;陳林森
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06V10/762;G06V10/771;G06V10/764
• 代理公司: 南京知識(shí)律師事務(wù)所 32207
• 代理人: 李媛媛

本發(fā)明公開(kāi)了一種基于光譜特征的視覺(jué)追蹤方法。具體步驟如下：(1)輸入第一幀圖像及其對(duì)應(yīng)的光譜數(shù)據(jù)信息到CSK追蹤器中；(2)在頻域范圍內(nèi)求解系數(shù)；(3)進(jìn)行檢測(cè)之前對(duì)圖像塊進(jìn)行加窗預(yù)處理；(4)提取目標(biāo)的光譜特征；(5)簡(jiǎn)化光譜維特征；(6)將降維后的光譜維特征輸入到CSK追蹤器中進(jìn)行訓(xùn)練；(7)將后續(xù)圖像幀中的圖像塊輸入到追蹤器中，檢測(cè)輸出分值，找到使輸出分值最大的位置即目標(biāo)所在的位置；(8)利用當(dāng)前檢測(cè)幀的光譜特征重新訓(xùn)練跟蹤器，更新追蹤器的參數(shù)后，重復(fù)步驟(7)對(duì)后續(xù)圖像幀繼續(xù)檢測(cè)。利用本方法無(wú)論是在幀率上還是追蹤準(zhǔn)確程度上均能取得比較好的效果，可以有效應(yīng)對(duì)由于遮擋和光照變化帶來(lái)的挑戰(zhàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算攝像學(xué)領(lǐng)域，尤其涉及一種基于光譜特征的視覺(jué)追蹤方法。

背景技術(shù)

基于圖像序列的目標(biāo)追蹤是計(jì)算攝像領(lǐng)域一個(gè)具有挑戰(zhàn)性的問(wèn)題，被廣泛應(yīng)用于安防監(jiān)控、軍事識(shí)別、交通管理、人機(jī)交互、航天航空等。現(xiàn)有的先進(jìn)視覺(jué)追蹤器一般基于紋理、形狀、顏色等信息來(lái)對(duì)目標(biāo)進(jìn)行檢測(cè)和追蹤。其中，基于顏色的復(fù)雜追蹤問(wèn)題在于：其顏色特征應(yīng)具有高的判別力及一定程度的光度不變性，具有限制性。

光譜反映物質(zhì)的光學(xué)輻射，揭示物質(zhì)的本質(zhì)屬性，可以作為物質(zhì)的判別依據(jù)，具有豐富的細(xì)節(jié)特征，比傳統(tǒng)成像包含更多的信息。傳統(tǒng)的視覺(jué)追蹤器忽略了物體的光譜維度上的豐富信息，因此很難對(duì)追蹤物體進(jìn)行精確地檢測(cè)和追蹤，缺少魯棒性。由于光譜不是紅綠藍(lán)三通道的簡(jiǎn)單線性變換，而是物體本質(zhì)屬性的展現(xiàn)，因此可以在背景和目標(biāo)顏色很相似的情況下，在光譜維度區(qū)別顏色相似的不同物質(zhì)和材料，提高目標(biāo)識(shí)別的準(zhǔn)確率。如果在視覺(jué)追蹤中融入光譜信息會(huì)大大提高追蹤器的性能和效果。

但是，鑒于光譜數(shù)據(jù)量很大，利用光譜信息訓(xùn)練跟蹤器的時(shí)候會(huì)包含很多冗余信息。因此，如何有效利用光譜信息、提取目標(biāo)特征的主成分，并融入到追蹤器中是當(dāng)前的一個(gè)研究方向。

發(fā)明內(nèi)容

針對(duì)以上現(xiàn)有追蹤方法中存在的缺陷，本發(fā)明的目的在于提出一種基于光譜特征的視覺(jué)追蹤方法。

為達(dá)上述目的，本發(fā)明采用的技術(shù)方案如下：

一種基于光譜特征的視覺(jué)追蹤方法，包括如下步驟：

步驟1，將視頻幀的第一幀圖像及其對(duì)應(yīng)的光譜數(shù)據(jù)信息輸入到CSK追蹤器中，訓(xùn)練一個(gè)核化最小二乘分類器，充分利用循環(huán)矩陣結(jié)構(gòu)特性，提升在后續(xù)圖像幀中按塊尋找目標(biāo)的速度；其中，最小二乘分類器通過(guò)最小化代價(jià)函數(shù)得到特征向量的權(quán)值w；

步驟2，根據(jù)得到的權(quán)值w，在頻域范圍內(nèi)求解參數(shù)c(m,n)，其中，(m,n)表示上一幀目標(biāo)中心點(diǎn)的偏移位置；

步驟3，進(jìn)行檢測(cè)之前，對(duì)圖像塊進(jìn)行加窗預(yù)處理；

步驟4，根據(jù)第一幀圖像對(duì)光譜數(shù)據(jù)進(jìn)行處理：分析和比較目標(biāo)與背景在光譜維度的特征差異，找尋到目標(biāo)的光譜維特征；

步驟5，采用主成分分析法對(duì)步驟4的光譜維特征進(jìn)行降維映射，以降低數(shù)據(jù)的冗余；

步驟6，將步驟5中降維后的光譜維特征輸入到CSK追蹤器中進(jìn)行訓(xùn)練，并通過(guò)下式得到CSK追蹤器參數(shù)C：

其中，F(xiàn){c}是指對(duì)參數(shù)c(m,n)進(jìn)行傅里葉變換；Y是標(biāo)記y的頻域表示，而y是索引圖像塊的循環(huán)移位量x_m,n的標(biāo)記，x_m,n∈{0,1...,M-1}×{0,1...,N-1}，M×N指目標(biāo)圖像塊的大小；I是指單位陣；λ是正則化參數(shù)；表示第一幀圖像中偏移位置(m,n)處的特征向量；

步驟7，訓(xùn)練完成之后，對(duì)后續(xù)圖像序列進(jìn)行檢測(cè)，將后續(xù)圖像幀中的圖像塊z_m,n輸入到步驟6得到的追蹤器中，檢測(cè)輸出分值分值的計(jì)算公式為：