[發(fā)明專利]一種基于顯著性檢測的立體視頻幀率提升方法

有效

• 申請?zhí)枺?/td>: 201610296823.2
• 申請日: 2016-05-06
• 公開（公告）號: CN105915881B
• 公開（公告）日: 2017-12-01
• 發(fā)明（設(shè)計）人: 張萍;南立園;王璟璟;田明;費春;彭真明
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 成都點睛專利代理事務(wù)所(普通合伙)51232
• 代理人: 葛啟函

技術(shù)領(lǐng)域

本發(fā)明屬于立體視頻幀率提升技術(shù)，具體的說涉及一種基于顯著性檢測的立體視頻幀率提升方法。

背景技術(shù)

立體視頻幀率提升技術(shù)起源于二維視頻幀率提升技術(shù)。幀率提升的目的是提高視頻信號的時間分辨率，即根據(jù)原有的低幀率序列產(chǎn)生一系列新圖像插入到原來的序列中，實現(xiàn)從低幀率到高幀率的轉(zhuǎn)換，典型的如30幀/秒向60幀/秒的轉(zhuǎn)換，內(nèi)插后出現(xiàn)的運動抖動和模糊現(xiàn)象一直是研究熱點。

國內(nèi)外學(xué)者對立體視頻幀率提升做了大量研究，劉玉濤(2013)等人提出了基于深度和立體視頻的運動矢量細化方法。首先，建立深度限制的雙向運動估計模型，然后采用深度導(dǎo)向的運動矢量濾波對運動矢量場進行處理。在原有的雙向估計的基礎(chǔ)上加上深度限制后，運動估計產(chǎn)生的運動矢量場更為準確，最后，通過相鄰塊的深度信息修正運動矢量，優(yōu)化后的運動矢量提高了運動矢量的準確性，在一定程度上提升了內(nèi)插序列的質(zhì)量，但是運動模的現(xiàn)象仍然未被消除。Lee(2013)等人提出了一種保留物體邊界的立體視頻幀率提升算法，首先用彩色序列和深度序列來運動估計并細化運動矢量，然后用雙向運動估計來避免空洞現(xiàn)象，該方法在一定程度上提高了視頻的質(zhì)量，但是運動模的現(xiàn)象仍然很明顯。楊曉暉(2014)用標(biāo)準差的方法將深度圖分為深度連續(xù)區(qū)域和深度不連續(xù)區(qū)域，并假設(shè)深度連續(xù)區(qū)域為背景，深度不連續(xù)區(qū)域為物體運動區(qū)域，然后對連續(xù)區(qū)域進行異常值的檢測和糾正，對不連續(xù)區(qū)域采用單向插幀，運動物體邊緣得到了改善，但是該方法的塊效應(yīng)現(xiàn)象較為突出。

上述幀率提升方法存在相同的缺陷，即得到內(nèi)插序列都有明顯的塊效應(yīng)和運動模糊現(xiàn)象。Jacobson將顯著性信息用到二維視頻的幀率提升中，本發(fā)明將顯著性應(yīng)用到立體視頻中，劉玉濤提出了深度限制的雙向運動估計，但是遮擋區(qū)域該方法還是有缺陷，對此，本發(fā)明提出了結(jié)合雙向運動估計和前向運動估計的深度約束雙重運動估計方法。運動矢量場的低準確度直接導(dǎo)致了塊效應(yīng)和運動模糊現(xiàn)象，針對立體視頻而言，如何有效的利用深度序列來進行估計，并且如何利用顯著性來對運動矢量場進行修正是本發(fā)明的主要工作。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提出了一種結(jié)合顯著性和深度信息的立體視頻幀率提升的方法，該方法利用立體視頻的顯著性對運動矢量場精細化處理，改善了內(nèi)插幀的質(zhì)量。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于顯著性檢測的立體視頻幀率提升方法，其特征在于，包括以下步驟：

a.對于所述的立體視頻，通過顯著性檢測，獲取顯著圖S；

b.根據(jù)獲得的顯著圖S，對運動矢量進行優(yōu)化，具體為：將顯著圖S劃分為顯著區(qū)域和非顯著區(qū)域，分別對顯著區(qū)域和非顯著區(qū)域運動矢量進行優(yōu)化；

c.根據(jù)步驟b中獲得的優(yōu)化后的運動矢量，采用重疊塊運動補償?shù)姆椒ㄟM行插幀。

進一步的，步驟a中所述獲取顯著圖S的具體方法為：

a1.將彩色圖像進行超像素分割，得到N個超像素區(qū)域，標(biāo)記為R＝{R₁,R₂,...,R_i,...,R_n}，根據(jù)如下公式6獲取初級顯著圖S(i)：

S(i)＝1-Norm(V(_i)+E(_i)) (公式6)

其中，V(i)為超像素塊的空間差異，E(i)為超像素塊到圖像中心的歐氏距離，Norm為歸一化函數(shù)，使得V(i)+E(i)的區(qū)間為0到1；V(i)可通過如下公式3計算：

其中，ω_ij為超像素塊R_i與R_j的相似度，n_j是第j超像素塊的像素個數(shù)，b_j＝[b_j^x,b_j^y]是超像素塊R_j的質(zhì)心，μ_j＝[μ_j^x,μ_j^y]是超像素塊R_j與鄰近超像素塊的空間均值；ω_ij可通過如下公式2計算：

其中，c_i和c_j分別表示超像素塊R_i和R_j的像素平均值，取σ＝0.05；