[發明專利]一種幀率上采樣中的運動估計方法和裝置

有效

• 申請號: 201410119914.X
• 申請日: 2014-03-27
• 公開（公告）號: CN103929648B
• 公開（公告）日: 2017-04-19
• 發明（設計）人: 李海莉;李凱;饒丹
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04N19/513
• 分類號: H04N19/513;H04N19/577;H04N19/139;H04N19/146
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙)44285
• 代理人: 唐華明

技術領域

本發明涉及數據處理領域，特別是涉及一種幀率上采樣中的運動估計方法和裝置。

背景技術

幀率上采樣（FRUC，Frame Rate Up Conversion）俗稱倍頻。幀率上采樣的一個主要功能是提高視頻幀率，并且，針對該功能，幀率上采樣的一個應用場景是，將標準幀率的視頻提高一倍或數倍，這樣可以顯著改善因為離散的視頻采樣所造成的畫面不連續的問題（特別是運動畫面不連續的問題），從而提高用戶觀賞體驗。幀率上采樣的另一個主要功能是有效地降低圖像數據在傳輸時所占用的帶寬，而針對該功能，幀率上采樣的另一個應用場景是，在圖像數據傳輸時，先將標準幀率降低（通過幀率下采樣），在圖像數據播放時，再恢復至原始的標準幀率（通過幀率上采樣）。

簡單的幀率上采樣方法有幀重復和幀平均。但是，這兩種方法更適用于靜止畫面，而對于運動畫面來說，采樣這兩種方法會導致畫面出現拖尾，無法滿足用戶的觀賞體驗。因此，為了適用于運動畫面，現有技術中還出現了運動補償的幀率上采樣（MC-FRUC，Motion Compensated Frame Rate Up Conversion）方法。

運動補償的幀率上采樣方法包括兩大部分，運動估計（ME，Motion Estimation）和運動補償插值（MCI，Motion Compensated Interpolation）。其中，由于插值出來幀的是一個未知幀，沒有原始幀可供計算，因此，運動估計的精度決定了運動補償插值的質量，運動估計在運動補償的幀率上采樣中非常重要。

運動估計的基本原理是先將圖像數據（或者圖像序列）的每一個幀分成許多互不重疊的宏塊（假設一個宏塊內所有像素的位移量都相同），然后針對每一個幀內的每一個宏塊，在一個最佳運動矢量的目標范圍（Search Range）內搜索該宏塊的最佳運動矢量。而每一個幀內的所有宏塊的最佳運動矢量就可以認為是每一個幀的最佳運動矢量。下面以一個幀內的一個宏塊為例，說明如何在一個最佳運動矢量的目標范圍內搜索該宏塊的最佳運動矢量。在該幀的前一個幀或后一個幀中的某一個給定的搜索區域（該搜索區域的大小由最佳運動矢量范圍決定，即，位于該搜索區域內的各個宏塊與當前宏塊之間的相對運動位移都在最佳運動矢量范圍內）內搜索與該宏塊最相似的宏塊（即該宏塊的匹配宏塊），該宏塊與其匹配宏塊之間的相對運動位移即為該宏塊的最佳運動矢量。該過程請參閱圖1所示。

在實現本發明的過程中，本發明的發明人發現現有技術中至少存在如下問題：在現有技術中，需要先以幀為單位，分別為每一個幀設定一個初始運動矢量，即，每一個幀內的所有宏塊具有設定的初始運動矢量。針對每一個幀內的每一個宏塊，基于該宏塊的初始運動矢量，在一個最佳運動矢量的目標范圍內搜索該宏塊的最佳運動矢量。其中，該宏塊的初始運動矢量越接近最佳運動矢量，越能快速地搜索到該宏塊的最佳運動矢量。但是，初始運動矢量往往是隨意設定的，其與最佳運動矢量之間存在較大差距，這樣就會導致搜索最佳運動矢量的時間過長，并且，過長時間的搜索過程也必然會消耗過多的系統開銷。

發明內容

為了解決上述技術問題，本發明實施例提供了一種幀率上采樣中的運動估計方法和裝置，以縮短運動估計中搜索最佳運動矢量的時間，進而也減少因過長的搜索過程所消耗的系統開銷。

本發明實施例公開了如下技術方案：

根據本發明實施例的第一方面，公開了一種幀率上采樣中的運動估計方法，即，在網絡傳輸時，除原始碼流之外，還增加一路參考碼流；所述方法包括：

接收原始碼流和參考碼流，所述參考碼流的幀率大于或等于原始碼流的幀率，且小于或等于視頻源的幀率；

根據所述參考碼流中的參考幀間的運動矢量，確定所述原始碼流中的原始幀相對于相鄰的內插幀的初始運動矢量；

針對所述原始碼流中的原始幀的各個宏塊，基于所述原始碼流中的原始幀相對于相鄰的內插幀的初始運動矢量，在最佳運動矢量的目標范圍內搜索所述宏塊的最佳運動矢量，以便最終得到所述原始碼流中的原始幀相對于相鄰的內插幀的最佳運動矢量。

結合本發明的第一方面，本發明還具有第一種可能，即所述參考碼流的分辨率比所述原始碼流的分辨率低；

則在根據所述參考碼流中的參考幀間的運動矢量，確定所述原始碼流中的原始幀相對于相鄰的內插幀的初始運動矢量之前，所述方法還包括：

對所述參考碼流進行分辨率上采樣，以便使所述參考碼流的分辨率等于所述原始碼流的分辨率。