[發(fā)明專利]一種視頻顯著性區(qū)域檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310407420.7
• 申請日: 2013-09-09
• 公開（公告）號: CN104424642B
• 公開（公告）日: 2017-09-12
• 發(fā)明（設(shè)計(jì)）人: 劉重陽;郝紅霞;劉卓欣;董曉藝
• 申請（專利權(quán)）人: 華為軟件技術(shù)有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/90;G06T17/00
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)44285
• 代理人: 徐翀

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，具體涉及一種視頻顯著性區(qū)域檢測、分割方法及系統(tǒng)。

背景技術(shù)

視頻編輯是多媒體商業(yè)應(yīng)用中常需要處理的問題之一，例如要改變某些圖像區(qū)域的色度、亮度來增加視覺效果，或者找出可疊加內(nèi)容的視頻區(qū)域。視頻顯著性檢測是檢測視頻中可編輯區(qū)域最直接的方式。顯著性區(qū)域是指視頻中攜帶重要內(nèi)容，直接引起視覺關(guān)注的區(qū)域。檢測并分割視頻顯著性區(qū)域后，即可對非顯著性區(qū)域進(jìn)行編輯處理。

目前，最常用的顯著性區(qū)域檢測主流方法有基于頻譜的檢測和基于對比度的檢測。其中，基于頻譜的檢測是提取圖像頻譜中的高頻部分作為顯著性區(qū)域。基于對比度的檢測可以分為像素級檢測顯著性區(qū)域、局部區(qū)域級檢測顯著性區(qū)域、全局級檢測顯著性區(qū)域；也可以是綜合這三個(gè)層次的檢測得到靜態(tài)顯著性特征，再計(jì)算動(dòng)態(tài)顯著性特征，進(jìn)一步結(jié)合靜態(tài)顯著性特征和動(dòng)態(tài)顯著性特征得到顯著性區(qū)域。

其中，在基于對比度計(jì)算靜態(tài)顯著性特征的方法中，首先，像素級顯著性區(qū)域檢測方法通常把圖像映射到多尺度空間里，在每個(gè)尺度下計(jì)算每個(gè)像素點(diǎn)和它周圍像素點(diǎn)平方差之和作為這個(gè)個(gè)尺度下的測量，再把不同尺度的測量相加作為像素級顯著性特征；其次，局部區(qū)域級顯著性檢測方法通常使用方形窗口指定一個(gè)局部區(qū)域和一個(gè)環(huán)形區(qū)域，并通過這個(gè)局部區(qū)域和環(huán)形區(qū)域顏色分布的距離標(biāo)注局部區(qū)域的顯著性；最后，全局級檢測顯著性區(qū)域檢測方法通常采用各個(gè)顏色在圖像中散布空間的擴(kuò)散程度作為測量結(jié)果。把這三種方法應(yīng)用在光流場中，可以獲得這三個(gè)級別的動(dòng)態(tài)顯著性特征。分割視頻顯著性區(qū)域分割時(shí)，現(xiàn)有方法對視頻中每一視頻幀用一個(gè)獨(dú)立的2D條件隨機(jī)場（2D conditional random field，2D CRF）建模，并以上述顯著性檢測結(jié)果作為觀測，分割出顯著性區(qū)域。

在實(shí)施上述現(xiàn)有技術(shù)的過程中，本發(fā)明發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)只適用于檢測亮度高于周邊的顯著性區(qū)域，無法檢測亮或暗的突變區(qū)，而且還可能出現(xiàn)漏檢的現(xiàn)象，而在分割視頻顯著性區(qū)域時(shí)也無法保證視頻顯著性區(qū)域分割結(jié)果的時(shí)間連貫性。

發(fā)明內(nèi)容

針對上述缺陷，本發(fā)明實(shí)施例提供了一種視頻顯著性區(qū)域檢測、分割方法及系統(tǒng)，提高視頻顯著性區(qū)域的檢測精度和分割精度，以及視頻顯著性區(qū)域分割結(jié)果在空間上的連續(xù)性和在時(shí)間上的連貫性。

本發(fā)明第一方面提供一種視頻顯著性區(qū)域檢測和分割的方法，包括：

根據(jù)像素奇異性對比度獲得像素級的靜態(tài)顯著性特征；根據(jù)局部區(qū)域內(nèi)像素特征的凝聚性、相對罕見性和重要性獲得局部區(qū)域級的靜態(tài)顯著性特征；根據(jù)視頻幀的顏色全局對比度、顏色空間分布值和每種顏色在所述視頻幀中的概率獲得全局級的靜態(tài)顯著性特征；

在光流場中，根據(jù)局部區(qū)域內(nèi)光流強(qiáng)度的凝聚性、相對罕見性和重要性獲得所述局部區(qū)域級的動(dòng)態(tài)顯著性特征；根據(jù)光流強(qiáng)度的全局對比度、光流強(qiáng)度空間分布值和光流強(qiáng)度在所述視頻幀中的概率獲得所述全局級的動(dòng)態(tài)顯著性特征；

結(jié)合獲得的靜態(tài)顯著性特征和動(dòng)態(tài)顯著性特征獲得視頻顯著性特征，利用相鄰視頻幀的外觀相關(guān)性對所述視頻顯著性特征進(jìn)行調(diào)制，以便根據(jù)調(diào)制后的視頻顯著性特征對視頻幀中視頻顯著性區(qū)域進(jìn)行分割。

結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述根據(jù)像素奇異性對比度獲得像素級的靜態(tài)顯著性特征，具體包括：

基于高斯核函數(shù)對視頻幀進(jìn)行多尺度變換得到至少兩層不同尺度的圖像；獲取尺度變換后圖像中每個(gè)像素點(diǎn)所對應(yīng)的變換系數(shù)值，計(jì)算每個(gè)坐標(biāo)位置上像素點(diǎn)對應(yīng)的變換系數(shù)值和該像素點(diǎn)的8個(gè)鄰域內(nèi)的像素點(diǎn)對應(yīng)的變換系數(shù)值的差值；對每個(gè)所述差值進(jìn)行q方處理后求和得到中心鄰域差，所述q為1或2的正整數(shù)；對每個(gè)尺度圖像的所有中心鄰域差求和得到奇異性對比度；對所有不同尺度圖像的奇異性對比度進(jìn)行插值處理后累加求和得到像素級的靜態(tài)顯著性特征。

結(jié)合第一方面，或第一方面的第一種可能的實(shí)現(xiàn)方式，在第二種可能實(shí)現(xiàn)的方式中，所述根據(jù)局部區(qū)域內(nèi)像素特征的凝聚性、相對罕見性和重要性獲得局部區(qū)域級的靜態(tài)顯著性特征，具體包括：

在視頻幀中選取窗口型第一局部區(qū)域，并在所述第一局部區(qū)域周邊選取第一環(huán)形區(qū)域，分別計(jì)算所述第一局部區(qū)域和第一環(huán)形區(qū)域內(nèi)像素特征的特征分布值，再根據(jù)所述特征分布值計(jì)算所述像素特征所攜帶的信息；根據(jù)所述特征分布值和所述像素特征所攜帶的信息計(jì)算所述第一局部區(qū)域內(nèi)像素特征的凝聚性的值、相對罕見性的值和重要性的值；所述像素特征的凝聚性的值與相對罕見性的值相加，再乘以所述像素特征的重要性的值獲得局部區(qū)域級的靜態(tài)顯著性特征。