[發(fā)明專利]一種立體視頻幀率提升中運(yùn)動(dòng)矢量檢測與校正方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610976656.6
• 申請日: 2016-10-28
• 公開（公告）號: CN106358044B
• 公開（公告）日: 2017-07-21
• 發(fā)明（設(shè)計(jì)）人: 楊曉暉;馮志全
• 申請（專利權(quán)）人: 濟(jì)南大學(xué)
• 主分類號: H04N19/513
• 分類號: H04N19/513;H04N19/52;H04N19/577
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司37221
• 代理人: 黃海麗

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，尤其涉及一種立體視頻幀率提升中運(yùn)動(dòng)矢量檢測與校正方法及系統(tǒng)。

背景技術(shù)

立體視頻能夠?yàn)橛脩籼峁┤碌囊曈X感受，因而引起科研界和產(chǎn)業(yè)界的廣泛關(guān)注。立體視頻系統(tǒng)通常需要向用戶同時(shí)提供多個(gè)視點(diǎn)的彩色和深度視頻，所以相對于傳統(tǒng)視頻，數(shù)據(jù)傳輸量劇增。即便使用高效的編碼技術(shù)，在實(shí)際系統(tǒng)中，如無線傳輸系統(tǒng)，信道帶寬仍然嚴(yán)重不足，而這限制了立體視頻的幀率。由于顯示設(shè)備的物理特性和人體視覺系統(tǒng)的生理特性，當(dāng)視頻幀率較低時(shí)，會(huì)產(chǎn)生運(yùn)動(dòng)模糊或者偽影現(xiàn)象，嚴(yán)重影響了立體視頻的視覺質(zhì)量。

幀率提升是一種常見的視頻增強(qiáng)技術(shù)，通過對低幀率視頻處理，在兩個(gè)視頻幀之間插入一幀或者多幀，實(shí)現(xiàn)視頻播放幀率的提高。幀率提升方法有多種，其中最常用的是基于運(yùn)動(dòng)補(bǔ)償?shù)膸侍嵘椒ǎ谶\(yùn)動(dòng)補(bǔ)償?shù)膸侍嵘椒ㄓ挚梢苑譃閱蜗蜻\(yùn)動(dòng)補(bǔ)償幀率提升(如圖1(a)所示)和雙向運(yùn)動(dòng)補(bǔ)償幀率提升(如圖1(b)所示)。

單向運(yùn)動(dòng)補(bǔ)償幀率提升在插入幀中會(huì)出現(xiàn)空洞或者重疊現(xiàn)象，而雙向運(yùn)動(dòng)補(bǔ)償幀率提升不會(huì)出現(xiàn)這種現(xiàn)象。因此，雙向運(yùn)動(dòng)補(bǔ)償幀率提升方法在工程中被廣泛應(yīng)用。

在雙向運(yùn)動(dòng)補(bǔ)償幀率提升方法中，首先通過雙向運(yùn)動(dòng)估計(jì)獲取插入幀每個(gè)圖像塊的運(yùn)動(dòng)矢量，但是實(shí)際中并不能保證每一個(gè)運(yùn)動(dòng)矢量能夠表示相應(yīng)圖像塊的真實(shí)運(yùn)動(dòng)，因此在運(yùn)動(dòng)補(bǔ)償前首先要對運(yùn)動(dòng)矢量進(jìn)行處理，檢測出非真實(shí)運(yùn)動(dòng)矢量并進(jìn)行校正。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了解決上述問題，提供一種立體視頻幀率提升中運(yùn)動(dòng)矢量檢測與校正方法及系統(tǒng)，首先，利用空間相關(guān)性進(jìn)行運(yùn)動(dòng)矢量的檢測，其中包括兩步：基于方向相關(guān)性的錯(cuò)誤運(yùn)動(dòng)矢量檢測和基于幅度相關(guān)性的不可靠運(yùn)動(dòng)矢量檢測；其次，完成對插入幀整個(gè)運(yùn)動(dòng)矢量場的檢測后，采用融合空間、顏色和深度信息的方法對錯(cuò)誤運(yùn)動(dòng)矢量和不可靠運(yùn)動(dòng)矢量進(jìn)行校正。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種立體視頻幀率提升中運(yùn)動(dòng)矢量檢測與校正方法，包括以下步驟：

步驟(1)：利用基于空間相關(guān)性的運(yùn)動(dòng)矢量檢測方法對插入幀的運(yùn)動(dòng)矢量場進(jìn)行處理，檢測出插入幀的運(yùn)動(dòng)矢量場中的錯(cuò)誤運(yùn)動(dòng)矢量和不可靠運(yùn)動(dòng)矢量；

步驟(2)：利用融合空間、顏色和深度信息的方法對插入幀的運(yùn)動(dòng)矢量場中的錯(cuò)誤運(yùn)動(dòng)矢量和不可靠運(yùn)動(dòng)矢量進(jìn)行校正。

所述步驟(1)包括：

步驟(1-1)：基于方向相關(guān)性的運(yùn)動(dòng)矢量檢測：利用被檢測運(yùn)動(dòng)矢量和被檢測運(yùn)動(dòng)矢量的8鄰域運(yùn)動(dòng)矢量在方向上的關(guān)系計(jì)算運(yùn)動(dòng)矢量的可靠性，確定被檢測運(yùn)動(dòng)矢量是否為錯(cuò)誤運(yùn)動(dòng)矢量；若是錯(cuò)誤運(yùn)動(dòng)矢量，就將錯(cuò)誤運(yùn)動(dòng)矢量保存；若不是錯(cuò)誤運(yùn)動(dòng)矢量則進(jìn)入步驟(1-2)；

步驟(1-2)：基于幅度相關(guān)性的運(yùn)動(dòng)矢量檢測：利用被檢測運(yùn)動(dòng)矢量和被檢測運(yùn)動(dòng)矢量8鄰域運(yùn)動(dòng)矢量在幅度上的關(guān)系進(jìn)行進(jìn)一步檢測，并確定被檢測運(yùn)動(dòng)矢量是否為不可靠運(yùn)動(dòng)矢量，若是不可靠運(yùn)動(dòng)矢量，就將不可靠運(yùn)動(dòng)矢量保存，若不是不可靠運(yùn)動(dòng)矢量，則將運(yùn)動(dòng)矢量保存到真實(shí)運(yùn)動(dòng)矢量場中。

所述步驟(1-1)的步驟為：

v表示被檢測運(yùn)動(dòng)矢量，v_i表示被檢測運(yùn)動(dòng)矢量的8鄰域運(yùn)動(dòng)矢量，其中i＝1,…,8；則v與v_i之間的方向相似度用公式(1)表示：

其中，‖·‖表示矢量的歐氏距離，即矢量的幅度。γ_i反映了被檢測運(yùn)動(dòng)矢量v和被檢測運(yùn)動(dòng)矢量的8鄰域運(yùn)動(dòng)矢量v_i之間方向上的關(guān)系。

假設(shè)γ_i中正數(shù)的數(shù)量為n_p，假設(shè)γ_i中非正數(shù)的數(shù)量為n_n，如果n_p<n_n，則v被標(biāo)記為錯(cuò)誤運(yùn)動(dòng)矢量；如果n_p≥n_n，則v進(jìn)入步驟(1-2)基于幅度相關(guān)性的運(yùn)動(dòng)矢量檢測。

所述步驟(1-2)的步驟為：

首先，從被檢測運(yùn)動(dòng)矢量的8鄰域運(yùn)動(dòng)矢量v_i中選取所有滿足γ_i>0的運(yùn)動(dòng)矢量，組成集合V＝{‖v‖,‖v_i‖|γ_i>0}，若‖v‖是集合V中的最大值或者最小值，則標(biāo)記v為不可靠運(yùn)動(dòng)矢量；如果‖v‖不是集合V中的最大值或者最小值，則標(biāo)記v為真實(shí)運(yùn)動(dòng)矢量。所述不可靠運(yùn)動(dòng)矢量包括被步驟(1-1)漏檢的錯(cuò)誤運(yùn)動(dòng)矢量或被步驟(1-2)誤檢的真實(shí)運(yùn)動(dòng)矢量。

所述步驟(2)包括：