[發(fā)明專利]用于可縮放的幀速率上轉(zhuǎn)換的方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 201180076145.4
• 申請日: 2011-12-30
• 公開（公告）號: CN104011771A
• 公開（公告）日: 2014-08-27
• 發(fā)明（設(shè)計(jì)）人: M.R.吉爾穆特迪諾夫;A.I.維塞洛夫
• 申請（專利權(quán)）人: 英特爾公司
• 主分類號: G06T7/20
• 分類號: G06T7/20;H04N5/14;G06T3/40;H04N7/01
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 葉曉勇;湯春龍

背景技術(shù)

現(xiàn)代的幀速率上轉(zhuǎn)換（FRUC）方案通常基于時(shí)間運(yùn)動補(bǔ)償?shù)膸瑑?nèi)插（MCFI）。此任務(wù)中的重要挑戰(zhàn)是反映真實(shí)運(yùn)動的運(yùn)動向量的計(jì)算、在連續(xù)幀之間的對象運(yùn)動的實(shí)際軌跡。典型的FRUC方案使用基于塊匹配的運(yùn)動估計(jì)（ME），由此通過剩余幀能量的最小化而獲得結(jié)果，但是不幸的是，它不反映真實(shí)運(yùn)動。

因此可存在對幀速率上轉(zhuǎn)換的新方法的需要。

附圖說明

當(dāng)結(jié)合附圖考慮時(shí)，通過參考下文的詳細(xì)描述可容易地得到本文描述的實(shí)施例和其很多附帶優(yōu)勢的理解，其中：

圖1是根據(jù)示范性和非限制性實(shí)施例的流程圖；

圖2是根據(jù)示范性和非限制性實(shí)施例的流程圖；

圖3是根據(jù)示范性和非限制性實(shí)施例的流程圖；

圖4是根據(jù)示范性和非限制性實(shí)施例的流程圖；

圖5是根據(jù)示范性和非限制性實(shí)施例的對連續(xù)幀的差值和（SAD）處理的圖示；

圖6A-圖6B是根據(jù)示范性和非限制性實(shí)施例的遮擋處理的圖示；

圖7是根據(jù)示范性和非限制性實(shí)施例的裝置的圖表。

具體實(shí)施方式

根據(jù)本文描述的各種示范性實(shí)施例，提供了用于提高復(fù)雜性可縮放幀速率上轉(zhuǎn)換（FRUC）的方法，特別是用于視頻序列的2X幀速率上轉(zhuǎn)換。

現(xiàn)代的幀速率上轉(zhuǎn)換方案很大程度上基于時(shí)間運(yùn)動補(bǔ)償?shù)膸瑑?nèi)插（MCFI）。此任務(wù)中的一個(gè)最重要的挑戰(zhàn)是反映真實(shí)運(yùn)動的運(yùn)動向量的計(jì)算，真實(shí)運(yùn)動是在連續(xù)幀之間的對象運(yùn)動的實(shí)際軌跡。如上所述，典型的FRUC方案使用基于塊匹配的運(yùn)動估計(jì)（ME）來最小化剩余幀的能量并且不反映真實(shí)運(yùn)動。根據(jù)各種示范性和非限制性實(shí)施例，本文描述了允許復(fù)雜性可縮放性并且利用雙向塊匹配搜索的迭代方案。這樣的方法增加了在運(yùn)動檢測的每個(gè)迭代處的所計(jì)算的運(yùn)動向量的準(zhǔn)確性。如以下更完整描述的，示范性實(shí)施例采用迭代搜索而改變圖像塊（包括幀的一部分）的大小。

在一個(gè)示范性實(shí)施例中，過程開始于相對大的幀塊大小來找到幀內(nèi)的全局運(yùn)動并且進(jìn)行到用于本地運(yùn)動區(qū)域的更小的塊大小。為避免與內(nèi)插的幀上的遮擋所造成的空洞有關(guān)的問題，使用雙向運(yùn)動估計(jì)。這顯著地降低了使用所計(jì)算的運(yùn)動向量的幀內(nèi)插的復(fù)雜性。

通過匹配當(dāng)前幀中的塊與先前幀中的對應(yīng)塊以及后續(xù)幀中的對應(yīng)塊，進(jìn)行典型的塊匹配運(yùn)動估計(jì)。與此相反，通過識別具有在計(jì)算的內(nèi)插和/或中間幀中的關(guān)聯(lián)的運(yùn)動向量的塊并且比較所識別的塊與先前幀和后續(xù)幀兩者中的類似塊（從該先前幀和該后續(xù)幀計(jì)算內(nèi)插幀），進(jìn)行雙向運(yùn)動估計(jì)（ME）。在雙向運(yùn)動估計(jì)的背后是幀間運(yùn)動是一致和線性的假設(shè)。

參考圖1，圖示了示范性和非限制性實(shí)施例的流程圖。以縮略形式討論的各種步驟在提交于______的美國專利申請第_________號（Gilmutdinov等人）中更詳細(xì)地描述，通過引用將其內(nèi)容并入本文。

請注意，圖示的示范性處理的輸入是兩個(gè)連續(xù)幀F(xiàn)_t-1、F_t+1，其中t代表形成輸出的內(nèi)插幀F(xiàn)_t的中間位置。根據(jù)這樣的示范性實(shí)施例，計(jì)算并且插入內(nèi)插幀有效地加倍引起2x幀速率上轉(zhuǎn)換的文件中的幀數(shù)量。如對于本領(lǐng)域的技術(shù)人員會是明顯的，本文討論的過程步驟可應(yīng)用于其中可對于不同的FRUC倍數(shù)重復(fù)一次或多次幀內(nèi)插的實(shí)例。

在步驟10處，執(zhí)行幀預(yù)處理。幀預(yù)處理可涉及移除如可出現(xiàn)在幀或多個(gè)幀中的黑色邊緣并且擴(kuò)展每個(gè)幀來適應(yīng)最大塊大小。在示范性和非限制性實(shí)施例中，最大的塊大小被選擇為二（2）的冪。幀擴(kuò)展可以用任何合適的方式來執(zhí)行。例如，可填充幀來適應(yīng)塊大小。在示范性實(shí)施例中，由塊大小均勻分割幀的尺寸。如本文所使用的，“幀”指代形成視頻序列的一系列圖像中的單個(gè)圖像而“塊”指代具有可識別的運(yùn)動向量的幀的一部分（其中運(yùn)動是可檢測的）。

在步驟12處，執(zhí)行分級運(yùn)動估計(jì)。參考圖2，圖示了圖示分級運(yùn)動估計(jì)的步驟的擴(kuò)展流程圖。請注意，到步驟20的輸入再次是兩個(gè)連續(xù)幀F(xiàn)_t-1、F_t+1。在步驟20處，執(zhí)行初始雙向運(yùn)動估計(jì)。

參考圖3，詳細(xì)圖示了步驟20的初始雙向運(yùn)動估計(jì)。在步驟30處，兩個(gè)連續(xù)幀F(xiàn)_t-1、F_t+1形成輸入。接著，在步驟32處，