[發(fā)明專利]視頻目標(biāo)時(shí)空最大穩(wěn)定性判別性顏色區(qū)域匹配方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710272310.2
• 申請(qǐng)日: 2017-04-24
• 公開（公告）號(hào): CN107103301B
• 公開（公告）日: 2020-03-10
• 發(fā)明（設(shè)計(jì)）人: 張重陽;劉偉偉
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發(fā)明公開了一種視頻目標(biāo)時(shí)空最大穩(wěn)定性判別性顏色區(qū)域匹配方法和系統(tǒng)，包括：第一步，檢測(cè)視頻中的運(yùn)動(dòng)目標(biāo)，確定目標(biāo)所在區(qū)域；第二步，檢測(cè)提取目標(biāo)的最大穩(wěn)定性顏色區(qū)域MSCR；第三步，提取時(shí)空最大穩(wěn)定性顏色區(qū)域TS?MSCR；第四步，提取時(shí)空最大穩(wěn)定性判別性顏色區(qū)域TS?MSDCR；第五步，區(qū)域匹配。本發(fā)明利用區(qū)域匹配，可以得到目標(biāo)不同部位的相對(duì)空間位置變化，從而用來進(jìn)行包括但不限于姿態(tài)估計(jì)、行為分析等智能化應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻目標(biāo)特定區(qū)域檢測(cè)與匹配領(lǐng)域，尤其涉及一種視頻目標(biāo)時(shí)空最大穩(wěn)定性判別性顏色區(qū)域匹配方法和系統(tǒng)。

背景技術(shù)

伴隨著計(jì)算機(jī)技術(shù)和人工智能的飛躍發(fā)展，視頻成為了信息網(wǎng)絡(luò)尤其是安防不可或缺的一部分。從視頻中分析目標(biāo)具有現(xiàn)實(shí)意義，尤其是從監(jiān)控視頻中跟蹤并分析行人，得到人體姿態(tài)信息或者識(shí)別行人行為，這對(duì)于智能安防具有重要應(yīng)用價(jià)值。

目前較為成熟的目標(biāo)跟蹤算法分為基于區(qū)域的跟蹤、基于輪廓的跟蹤和基于特征的跟蹤算法等；基于特征的跟蹤算法是指提取特定特征，在一定范圍內(nèi)進(jìn)行特征度量、區(qū)域匹配，從而實(shí)現(xiàn)跟蹤；目前主要的特征包括特征點(diǎn)如Harris角點(diǎn)、SIFT和SURF等，區(qū)域特征主要包括顏色，紋理，面積和質(zhì)心。目前，由于區(qū)域特征提取時(shí)由于視頻中目標(biāo)尺度較小，造成目標(biāo)較模糊；視頻中目標(biāo)光照在單幀圖像上空間的變化和連續(xù)幀圖像時(shí)間上的變化，目標(biāo)姿態(tài)變化和目標(biāo)遮擋現(xiàn)象等造成某些區(qū)域的顏色、紋理特征不穩(wěn)定，給區(qū)域匹配造成一定困難。以下先對(duì)之前的方法和技術(shù)進(jìn)行簡(jiǎn)要的介紹：

一，Harris角點(diǎn)，SIFT特征和SURF特征

對(duì)于一幅灰度圖像，點(diǎn)特征是指具有明顯灰度變化的像素區(qū)域。經(jīng)典的KLT跟蹤算法就可以通過計(jì)算Harris角點(diǎn)處光流進(jìn)行目標(biāo)判斷與跟蹤；SIFT特征點(diǎn)是由Lowe在2004年提出的一種具有尺度和旋轉(zhuǎn)不變性的特征描述，該方法將不同半徑的高斯卷積核與不同尺度的圖像卷積，通過計(jì)算不同高斯卷積差值圖像(Difference of Gauss)上的極值點(diǎn)，與預(yù)設(shè)的對(duì)比度閾值和曲率閾值比較從而篩選特征點(diǎn)；最后根據(jù)特征點(diǎn)鄰域的梯度信息生成特征向量；以此來描述一幅圖像上的特征信息。SIFT特征由實(shí)驗(yàn)驗(yàn)證具有良好的尺度、旋轉(zhuǎn)不變性。后來Bay等人提出了速度更快的SURF算法，在運(yùn)算時(shí)間上進(jìn)行了較大提升；但是無論是Harris角點(diǎn)、SIFT特征還是SURF特征，這些點(diǎn)特征雖然能很大程度上對(duì)目標(biāo)進(jìn)行描述匹配，但是這些特征忽略了目標(biāo)的顏色信息和區(qū)域面積信息，并且伴隨著視頻中非剛體目標(biāo)發(fā)生姿態(tài)等形體變化，這些特征將隨之發(fā)生較大變化，難以實(shí)現(xiàn)基于上述特征點(diǎn)的準(zhǔn)確匹配。

二：MSCR特征

MSCR(Maximally Stable Colour Regions)特征是由Forssen在2007年提出的一種基于顏色的仿射不變的穩(wěn)定特征。該特征是對(duì)灰度圖像中最大穩(wěn)定極值區(qū)域(MSER)在彩色圖像上的拓展。最大穩(wěn)定極值區(qū)域的基本思想是對(duì)于對(duì)一幅圖像用連續(xù)不同的閾值進(jìn)行二值化處理，一般閾值范圍選取在{0,255}之間，對(duì)于在不同閾值下區(qū)域面積變化速率最小的區(qū)域即為最大穩(wěn)定區(qū)域。

對(duì)于一幅彩色圖像，利用卡方距離(Chi-squared distance)相似度準(zhǔn)則:

來確定像素(包括紅，綠和藍(lán)三個(gè)通道)之間的相似性閾值d_t，合并小于閾值d_t的區(qū)域，形成團(tuán)塊(blob)區(qū)域。穩(wěn)定性的判斷是由計(jì)算區(qū)域面積變化斜率s得到的：

當(dāng)a_t+1/a_t>1.01時(shí)，a_*和d_*將會(huì)被更新，取s值最小時(shí)對(duì)應(yīng)的區(qū)域a_*。通過刪除面積較小、過于狹長(zhǎng)的區(qū)域和設(shè)定最小閾值差，得到了一幅彩色圖像中MSCR(最大穩(wěn)定顏色區(qū)域特征)。Forssen實(shí)驗(yàn)表明，該特征能很好的代表目標(biāo)區(qū)域特征，并且具有良好的仿射不變特性。