[發(fā)明專利]一種基于光流法的視頻插幀方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201580000102.6
• 申請(qǐng)日: 2015-05-25
• 公開（公告）號(hào): CN105517671B
• 公開（公告）日: 2020-08-14
• 發(fā)明（設(shè)計(jì)）人: 湯傳新;王榮剛;王振宇;高文
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)深圳研究生院
• 主分類號(hào): H04N7/01
• 分類號(hào): H04N7/01;H04N19/139;H04N19/513;H04N19/537;H04N19/553;H04N19/577;G06T3/40
• 代理公司: 深圳鼎合誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 44281
• 代理人: 郭燕

1.一種基于光流法的視頻插幀方法，其特征在于，包括：

運(yùn)動(dòng)矢量計(jì)算過程：

對(duì)輸入視頻的幀序列，采用光流法計(jì)算得到相鄰兩幀之間的雙向運(yùn)動(dòng)矢量；所述相鄰兩幀包括前向參考幀和后向參考幀；

可靠性判斷處理過程：

取后向參考幀的某一像素為當(dāng)前像素，當(dāng)前像素從后向參考幀指向前向參考幀的運(yùn)動(dòng)矢量為當(dāng)前像素的前向運(yùn)動(dòng)矢量；

當(dāng)前像素的前向運(yùn)動(dòng)矢量指向前向參考幀的像素為前向參考像素，前向參考像素從前向參考幀指向后向參考幀的運(yùn)動(dòng)矢量為前向參考像素的后向運(yùn)動(dòng)矢量；

計(jì)算當(dāng)前像素在后向參考幀中的灰度值與前向參考像素在前向參考幀中的灰度值的差值，若該灰度值的差值大于等于灰度值差值的閾值，則判斷當(dāng)前像素的前向運(yùn)動(dòng)矢量是不可靠的；否則，若該灰度值的差值小于灰度值差值的閾值，則計(jì)算當(dāng)前像素的前向運(yùn)動(dòng)矢量和前向參考像素的后向運(yùn)動(dòng)矢量間的距離，若當(dāng)前像素的前向運(yùn)動(dòng)矢量和前向參考像素的后向運(yùn)動(dòng)矢量間的距離小于運(yùn)動(dòng)矢量閾值距離，則判斷當(dāng)前像素的前向運(yùn)動(dòng)矢量是可靠的，否則判斷當(dāng)前像素的前向運(yùn)動(dòng)矢量是不可靠的；

根據(jù)可靠性判斷的結(jié)果對(duì)所述相鄰兩幀中的閉塞區(qū)域進(jìn)行標(biāo)記，并更新所述閉塞區(qū)域的不可靠運(yùn)動(dòng)矢量；

內(nèi)插幀映射過程：

根據(jù)所述閉塞區(qū)域的標(biāo)記信息以及更新后所得的運(yùn)動(dòng)矢量場(chǎng)，將前向參考幀向內(nèi)插幀映射得到前向內(nèi)插幀，將后向參考幀向內(nèi)插幀映射得到后向內(nèi)插幀；將所述前向內(nèi)插幀和所述后向內(nèi)插幀合成內(nèi)插幀。

2.如權(quán)利要求1所述的方法，其特征在于，

所述當(dāng)前像素在后向參考幀中的灰度值與前向參考像素在前向參考幀中的灰度值的差值的計(jì)算式為

AD_t(x)＝|F_t(x)-F_t+1(x+V_x)|

其中，AD_t(x)為所述當(dāng)前像素在后向參考幀中的灰度值與前向參考像素在前向參考幀中的灰度值的差值，F(xiàn)_t(x)為當(dāng)前像素在后向參考幀中的灰度值，F(xiàn)_t+1(x+V_x)為前向參考像素在前向參考幀中的灰度值，V_x為當(dāng)前像素從后向參考幀到前向參考幀的前向運(yùn)動(dòng)矢量，x為當(dāng)前像素在后向參考幀中的位置，x+V_x為前向參考像素在前向參考幀中的位置，t為后向參考幀的序號(hào)，t+1為前向參考幀的序號(hào)；

所述當(dāng)前像素的前向運(yùn)動(dòng)矢量和前向參考像素的后向運(yùn)動(dòng)矢量間的距離的計(jì)算式為

其中，MVD_t(x)為所述當(dāng)前像素的前向運(yùn)動(dòng)矢量和前向參考像素的后向運(yùn)動(dòng)矢量間的距離，為當(dāng)前像素的前向運(yùn)動(dòng)矢量，為前向參考像素的后向運(yùn)動(dòng)矢量，x為當(dāng)前像素在后向參考幀中的位置，x′為前向參考像素在前向參考幀中的位置，t為后向參考幀的序號(hào)，t+1為前向參考幀的序號(hào)，||·||代表歐幾里得距離。

3.如權(quán)利要求1或2所述的方法，其特征在于，更新不可靠運(yùn)動(dòng)矢量的方式為：

用某像素的雙向運(yùn)動(dòng)矢量中的可靠運(yùn)動(dòng)矢量取反值來替換不可靠的運(yùn)動(dòng)矢量。

4.如權(quán)利要求1或2所述的方法，其特征在于，所述將前向參考幀向內(nèi)插幀映射得到前向內(nèi)插幀，將后向參考幀向內(nèi)插幀映射得到后向內(nèi)插幀包括：

對(duì)于前向參考幀或后向參考幀中的某一像素，判斷該像素的運(yùn)動(dòng)矢量是否可靠；

若該像素的運(yùn)動(dòng)矢量可靠，則進(jìn)一步判斷該像素是否發(fā)生″沖突″；

若該像素的運(yùn)動(dòng)矢量不可靠，則判斷該像素是否屬于″遮擋″和/或″暴露″區(qū)域；若屬于，則進(jìn)一步判斷該像素是否發(fā)生″沖突″；若不屬于，則丟棄該像素；

若判斷該像素是否發(fā)生″沖突″的結(jié)果為否，則對(duì)該像素進(jìn)行映射；

若判斷該像素是否發(fā)生″沖突″的結(jié)果為是，則判斷該像素的運(yùn)動(dòng)矢量是否比與其發(fā)生″沖突″的已經(jīng)被映射的像素更可靠，若是，則對(duì)該像素進(jìn)行映射；若否，則丟棄該像素；

″沖突″表示：在該像素之前，已經(jīng)有別的像素在該像素的位置被映射了。