[發明專利]用于提供可靠運動矢量的方法和系統

無效

• 申請號: 201010130106.5
• 申請日: 2010-03-05
• 公開（公告）號: CN101826211A
• 公開（公告）日: 2010-09-08
• 發明（設計）人: Y·因塞素;V·弗賴伯格;O·埃爾德勒
• 申請（專利權）人: 索尼株式會社
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉春元;李家麟

技術領域

本發明涉及用于提供可靠運動矢量的一種方法，并涉及用于提供可靠運動矢量的一種系統。具體而言，本發明涉及不可靠運動矢量的檢測和移除。

背景技術

運動矢量在圖像處理領域是重要的任務。常常需要進行圖片改善，其包括運動估計以及使用運動矢量來改善圖片品質的方法，比如運動補償內插技術。有一種技術把24赫茲/25赫茲/50赫茲/60赫茲變換為100赫茲/120赫茲以降低運動模糊和抖動效應，該技術需要連續改進算法，其中還包括運動估計。

運動估計方法和系統對于其中存在覆蓋或未覆蓋背景的情況的區域是無效的。分配給那些覆蓋或未覆蓋區域的運動矢量典型地是與圖片無關的且隨機分布的運動矢量。這在圖1中示例性地示出。

在圖1中示出了在不同時間的兩個圖像幀或者在不同時間的圖像幀的兩個部分。在時間上較早的點用t-1來表示，在時間上較晚的點用t來表示。所示的每個圖像幀具有對應于一個或多個像素的幾個塊63。因此，在圖1中所示的這兩個圖像幀或圖像幀的部分示出了在不同時間的相同塊63或像素。

塊63以不同方式著色，從而表明背景塊和對象64。該對象64通過黑色塊來表示，并且是移動的，即在較早時間的圖像幀61與較晚時間的圖像幀62之間在圖像內改變其位置。白色塊63是背景。

在所示的后向運動估計過程的情況中，給較晚時間的圖像幀62中的每個位置都分配較早時間的圖像幀61中的位置。這由運動矢量66、67來表示。如可看出的，比如通過運動矢量66給較晚時間的圖像幀62中的塊號6分配較早時間的圖像幀61中的塊號6。同樣，通過運動矢量66，給較晚時間的圖像幀62中的對象64的上部塊分配在較早時間的圖像幀61中的對象64的上部塊。

未覆蓋的區域65出現了問題，其中該區域在本例子中包括在較晚時間的圖像幀62中的背景塊號17至22。對于這些塊，在較早時間的圖像幀中沒有對應的塊。此時所發生的是，為未覆蓋區域65的背景塊生成隨機運動矢量67(在圖1中用虛線示出)，這些矢量并沒有正確地描述實際的運動。

沒有正確地描述實際運動的這些隨機運動矢量67仍然被用于稍后的基于運動矢量的處理中，所述處理比如是運動矢量的投影以及中間圖片內插。這大大降低了最終內插結果的品質，比如在具有全局平移運動的圖片的邊界處的品質。在前向運動估計的情況中在覆蓋區域也產生同樣的問題。

在文獻US?6487313中提出了通過基于運動矢量場和它的鄰域不連續性確定覆蓋區域和未覆蓋區域來改善內插結果的一種系統和方法。如前所述，在覆蓋或未覆蓋區域中的運動矢量具有與實際存在的運動無關的屬性。因此，這些區域不能用于可靠地檢測未覆蓋區域，并且從而內插圖片的品質或者任何其他基于運動矢量的處理都將受損。

在文獻US?6219436和US?2005163355中提供了一種系統和方法，其中運動矢量場不連續性被擴展以使用前向和后向估計的運動矢量場。該方法還涉及基于鄰域不連續性來檢測覆蓋和未覆蓋，其中也產生了上述的相同問題。

文獻US?20060244866A1致力于在其運動估計系統中移除隨機運動矢量。因此提出基于統計計算的隨機因素來檢查鄰域關系，并進行簡單的閾值處理。因此，運動矢量隨時間的鄰域關系被用來識別隨機性。因為與對象的實際運動相對應的運動矢量也可能被識別為隨機矢量，所以所提出的方法非常不可靠。

發明內容

因此本發明的目的是改進現有技術。具體而言，本發明的目的是減少現有技術的問題。

本發明涉及用于提供可靠移動矢量的一種方法，其包括以下步驟：利用后向和前向估計來確定兩個圖像幀之間的運動矢量；比較后向估計運動矢量和前向估計運動矢量；并基于比較結果來檢測不可靠的運動矢量。

本發明還涉及用于提供可靠運動矢量的一種系統，其包括用于利用后向估計來確定兩個圖像幀之間的運動矢量的后向估計裝置、用于利用前向估計來確定兩個圖像幀之間的運動矢量的前向估計裝置、用于比較后向估計運動矢量和前向估計運動矢量的比較裝置、以及用于基于比較結果來檢測不可靠運動矢量的檢測裝置。

優選地在一個圖像幀中選擇一個塊來作為測試塊，并比較與所選擇的塊相關的后向估計運動矢量和前向估計運動矢量。

有利地，不可靠的運動矢量被移除。另外有利的是用可靠的運動矢量替換移除的運動矢量。

在優選實施例中提供以下步驟：在較晚時間的圖像幀中選擇塊來作為測試塊，為該測試塊確定后向估計運動矢量，在較早時間的圖像幀中找到后向估計運動矢量所指向的塊，為所找到的塊確定前向估計運動矢量，并且比較所確定的后向估計運動矢量和所確定的前向估計運動矢量。