[發明專利]基于雙向的局部和全局運動估計的幀率轉換

有效

• 申請號: 201010583657.7
• 申請日: 2010-12-08
• 公開（公告）號: CN102088589A
• 公開（公告）日: 2011-06-08
• 發明（設計）人: A·利維;A·米亞斯科夫斯基;B·赫維茨
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N7/01
• 分類號: H04N7/01;H04N5/14
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 趙騰飛;王英

技術領域

本發明總體上涉及處理視頻信息。

背景技術

可以以給定的幀率來提供視頻。該視頻由靜止幀的序列組成。該幀率是每秒的幀數量。

一些顯示器使用與輸入視頻的幀率不同的幀率。因此，幀率轉換將幀率向上或向下轉換，使得輸入幀率與顯示器的幀率匹配。

附圖說明

圖1是根據本發明的一個實施例的幀率轉換裝置；

圖2是根據一個實施例的運動估計單元的更詳細地描述；

圖3是根據一個實施例的運動補償設備的更詳細的描述；

圖4是根據本發明的一個實施例的時間預測值(predictor)及金字塔預測值的描述；

圖5是根據本發明的一個實施例的空間預測值的描述；

圖6是一個實施例的流程圖；以及

圖7是對于一個實施例的系統描述。

具體實施方式

幀率轉換用于改變視頻序列的幀率。典型的幀率轉換算法應用是，對于國家電視系統委員會(NTSC)系統而言，將影片內容從每秒24幀轉換為每秒60幀，或對于逐行倒相(PAL)系統而言，將影片內容從每秒25幀轉換為每秒50幀。高清晰度電視支持每秒120或240幀的顯示，這也需要幀的向上轉換。根據一些實施例，幀率轉換算法可以補償在視頻序列中描述的運動。

在一個實施例中，使用雙向的、分級的局部和全局運動估計和運動補償。“雙向”表示在前向和反向上在兩個錨定幀(anchor?frame)之間估計運動。“分級運動估計(hierarchical?motion?estimation)”指的是使用所提供的視頻信息的每一次不斷提高的分辨率來精煉運動估計的情況。雙向的、分級的局部和全局運動估計之后是最終運動補償階段，該階段將所述兩個錨定幀和所有的運動估計元素整合到一個內插階段內。

根據一個實施例，可以接收兩個視頻幀的輸入序列。這些幀可以包括由x、y和時間t坐標指定的一系列像素。運動矢量可以從第一幀至第二幀以及從第二幀至第一幀來確定，換句話說，在前向和反向上確定。本算法使用所得到的局部和全局運動、所提供的時間戳以及連續的幀數據來在這兩個幀之間創建內插幀。時間戳對應于幀率，并且具體地說，對應于輸出幀的期望幀率。

因此，前一幀P可以具有由x、y和t變量指定的像素，并且后一幀N可以具有采用x、y和t+1變量的像素。輸出幀C具有采用x、y、t’變量的像素。內插得到的輸出幀C可以具有時間t+q，其中，q小于1并且大于0。可以在x和y坐標中由p來指示像素位置。運動矢量MV_AB(x，y)是從幀A至幀B的、在屏幕空間中的坐標x和y處的運動矢量。全局運動矢量GM_AB是從幀A至幀B的主運動矢量(dominant?motion?vector)。

因此，參見圖1，向前向運動估計單元12a和反向運動估計單元12b提供前一幀P和后一幀N。每一個運動估計單元12的輸出是運動矢量場和全局運動矢量，該運動矢量場和全局運動矢量在前向運動估計單元12a的情況下是從前一幀P至后一幀N，或者在反向運動估計單元12b的情況下是從后一幀至前一幀，如圖1中所述。向運動補償設備22提供前向和反向運動估計的結果，運動補償設備22接收所述運動矢量和內插的輸出幀C的時間q。

參見圖2，運動估計單元12可以實現圖1的前向運動估計單元12a或反向運動估計單元12b。其可以以軟件或硬件來實現。在硬件實施例中，可以在一些實施例中使用硬件加速器。

輸入幀被指示為A和B，它們在一個實施例中僅包括Y、U、V顏色系統中的Y分量。也可以使用其他顏色方案。該運動估計單元的輸入還可以包括用于在分級系統的多個金字塔級的每一級處的每一個塊的時間預測值。時間預測值是根據先前的運動估計計算的在參考幀中的源塊的預期位置。如所指示，輸出是在每一個金字塔級處的每一個塊的運動矢量和在幀中的全局運動或主運動矢量。

各個子單元包括：金字塔單元16，用于根據輸入幀建立金字塔結構；以及，全局運動估計單元20，其計算從A至B的全局或主運動矢量。以下，更詳細地描述塊搜索單元15和投票單元18。

全局運動估計單元20通過使用參照原始幀分辨率的金字塔的最低一級的從A至B的運動矢量來計算從幀A至幀B的主運動。計算所有運動矢量的平均，然后，去除與該平均有顯著不同的所有運動矢量。再一次計算剩余運動矢量集合的平均，并且同樣去除與該新的平均不同的運動矢量。這個處理繼續進行，直到其收斂為止，這表示平均運動矢量從當前的迭代至下一個迭代不發生改變。最終的平均運動矢量即為全局或主運動矢量。