[發明專利]一種基于光流法的視頻插幀方法及系統

有效

• 申請號: 201580000102.6
• 申請日: 2015-05-25
• 公開（公告）號: CN105517671B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 湯傳新;王榮剛;王振宇;高文
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: H04N7/01
• 分類號: H04N7/01;H04N19/139;H04N19/513;H04N19/537;H04N19/553;H04N19/577;G06T3/40
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 郭燕

一種基于光流法的視頻插幀方法及系統，其過程為：對輸入的視頻的幀序列，采用光流法計算得到相鄰兩幀之間的雙向運動矢量；判斷相鄰兩幀之間的雙向運動矢量是否可靠，對光流法的鋸齒問題和噪聲問題進行處理；對相鄰兩幀中的“遮擋”和“暴露”區域進行標記，對不可靠的運動矢量進行更新處理；對于相鄰兩幀，根據“遮擋”和“暴露”區域的標記信息以及更新處理后所得的雙向運動矢量場，將前后幀向內插幀映射得到前向內插幀和后向內插幀；將前向內插幀和后向內插幀合成成內插幀；對內插幀中的洞點進行修補；得到最終的內插幀。本發明的幀率上轉換采用光流法計算得到相鄰兩幀之間的雙向運動矢量，其基于的是像素，因此更加精確，不存在塊效應等問題。

技術領域

本發明涉及視頻處理及傳輸領域，具體涉及一種基于光流法的視頻插幀方法及系統。

背景技術

隨著高清數字電視和高端多媒體信息系統的發展，現有的視頻信號節目源已經不能滿足人們對于視覺效果的需求，因此需要提高現有視頻節目源的幀率以達到更好的視覺效果；與此同時，盡管目前視頻傳輸中的編解碼技術已經可以獲得很高的壓縮比，然而為了適應一些網絡帶寬有限的應用，通常將視頻信號的時空分辨率降低使數據量更少，在時域中可以通過編碼端跳幀來實現。這樣，在解碼端的低幀率視頻必然會引起運動不連續、圖像質量的退化，尤其是在快速運動和復雜場景中更為明顯。為此，可以在解碼端采用視頻插幀，即幀率上轉換(FRUC，Frame Rate Up-convers ion)技術來恢復原來幀率以提高視頻圖像的主觀視覺效果。此外，該技術也可用于不同幀率視頻格式之間的轉換。通過在相鄰幀之間插入中間幀的方式，將低幀率的視頻提升至高幀率，實現不同幀率之間的轉換。

目前主流的幀率上轉換通常采用的方法是基于塊匹配的運動補償內插。但是塊匹配算法存在一個根本的缺陷，在物體邊緣處會將不屬于同一個物體的區域劃分到同一個塊并賦予相同的運動矢量，這樣就會導致內插幀存在塊效應問題。此外，由“遮擋”和“暴露”引起的“沖突”和“洞點”問題，也是目前主流方法所不能解決的。

有效降低塊效應問題和解決“遮擋”與“暴露”問題的方法一直是本領域的研究重點。

發明內容

一種基于光流法的視頻插幀方法，包括如下步驟：

運動矢量計算過程：對輸入視頻的幀序列，采用光流法計算得到相鄰兩幀之間的運動矢量；相鄰兩幀包括前向參考幀和后向參考幀；

內插幀映射過程：根據相鄰兩幀之間的運動矢量場，在相鄰兩幀之間映射得到內插幀。

基于光流法的視頻插幀方法還可以是以下步驟：

運動矢量計算過程為：對輸入視頻的幀序列，采用光流法計算得到相鄰兩幀之間的雙向運動矢量；

運動矢量計算過程之后還包括可靠性判斷處理過程：對相鄰兩幀之間的雙向運動矢量進行可靠性判斷，根據可靠性判斷的結果對相鄰兩幀中的閉塞區域進行標記，并更新閉塞區域的不可靠運動矢量；

內插幀映射過程為：根據閉塞區域的標記信息以及更新后所得的運動矢量場，將前向參考幀向內插幀映射得到前向內插幀，將后向參考幀向內插幀映射得到后向內插幀；將前向內插幀和后向內插幀合成成內插幀。

判斷前向運動矢量與后向運動矢量可靠性的方法是相同的，下面僅以判斷前向運動矢量可靠性為例來說明運動矢量可靠性的判別方法。取后向參考幀的某一像素為當前像素，當前像素從后向參考幀指向前向參考幀的運動矢量為當前像素的前向運動矢量；當前像素的前向運動矢量指向前向參考幀的像素為前向參考像素，前向參考像素從前向參考幀指向后向參考幀的運動矢量為前向參考像素的后向運動矢量。