[發明專利]圖像處理裝置以及圖像處理方法

無效

• 申請號: 201210001856.1
• 申請日: 2012-01-05
• 公開（公告）號: CN102595047A
• 公開（公告）日: 2012-07-18
• 發明（設計）人: 沼田憐;小笠原貴;青木純一
• 申請（專利權）人: 索尼公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/217
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 周少杰

技術領域

本文公開的技術涉及檢測多個幀之間的圖像信號的相關性以便檢測這些幀之間的運動矢量的圖像處理裝置以及圖像處理方法。

背景技術

從圖像信息本身中確定兩個屏幕圖像之間的運動矢量的塊匹配技術已經使用很長時間了。塊匹配的發展主要與電視攝像機的搖鏡頭-傾斜檢測或圖像拾取對象跟蹤、MPEG(運動圖像專家組)系統的視頻編碼等聯系在一起來進行。并且，在九十年代，塊匹配技術通過圖像疊加在低照度圖像拾取時應用于像無傳感器攝像機晃動校正和降噪(下文稱為NR)那樣的各種應用。

塊匹配是計算兩個屏幕圖像之間的運動矢量的方法，這兩個屏幕圖像包括作為關注屏幕圖像的參考屏幕圖像和參考屏幕圖像的運動所基于的屏幕圖像(下文將后一種屏幕圖像稱為目標屏幕圖像)。一旦計算了兩個屏幕圖像之間的運動矢量，就通過計算參考屏幕圖像與目標屏幕圖像之間的相關性對預定尺寸的矩形區域的一個塊計算運動矢量。存在兩種情況，包括像按照MPEG系統的運動檢測的情況那樣目標屏幕圖像在時間上先于參考屏幕圖像的一種情況、以及像例如通過下文所述的圖像幀疊加降噪的情況那樣參考屏幕圖像在時間上先于目標屏幕圖像的另一種情況。

應該注意到，用在本文中的術語屏幕圖像表示由一個幀或一個場的圖像數據形成和作為一個圖像顯示在顯示裝置上的圖像。但是，為了便于本文描述起見，屏幕圖像有時稱為幀，假設屏幕圖像由一個幀形成。例如，參考屏幕圖像有時稱為參考幀，并且目標屏幕圖像有時也稱為目標幀。

在塊匹配方法中，將目標幀劃分成多個目標塊，并且對于每個目標塊，將搜索范圍設置成一個參考幀。然后，從圖像存儲器中讀出目標幀的目標塊和參考幀的搜索范圍內的參考塊，并為每個像素計算SAD(絕對差之和)值，以形成搜索范圍的程度的SAD值表。SAD值是絕對差值之和。然后，將SAD值的最小值確定為與目標塊有關的運動矢量。

已公開日本專利第2009-81596號(下文稱為專利文獻1)描述了檢測運動矢量的處理的例子。

發明內容

塊匹配處理電路消耗了大量硬件資源，并且為減少這樣資源的方法提出了各種建議。另一方面，塊匹配處理需要大量時間，并且決定整個電路的吞吐量。因此，資源和處理時間總具有折中關系，不能唯一地確定它們之間的平衡。

例如，如果將基于分層結構的匹配處理當作一個例子，則需要等于像對于VGA(640×480)等的圖像兩個分層或對于12M(4,000×3,000)的圖像三個分層那樣的分層數的變量數。

此外，一般說來，像加上靜止畫面的連續拍攝功能那樣，對付攝像機晃動引起的整個圖像模糊的應用也對付搜索范圍較大的較大攝像機晃動。

另一方面，在將塊匹配處理部分用作矢量檢測器的情況下，搜索范圍和所需處理速度取決于要使用的應用而變。因此，一般不能斷定寧愿保證較大搜索范圍。

尤其，當配置含有運動檢測引擎的系統時，最好是運動檢測部分的控制部分可以可編程地針對搜索范圍、分層數等改變分層塊匹配的配置。例如，控制部分最好像例如CPU(中央處理單元)或DSP(數字信號處理器)那樣依照程序來工作。

此外，在與像MPEG那樣的編解碼處理有關的領域中，基于處理器的運動檢測引擎或基于處理器的DCT處理引擎已經提出來很久了。例如，已經提出了將SAD算術運算單元和多個處理器并聯連接以實現可編程運動檢測處理的引擎。

然而，關于像MPEG編解碼或視頻幀NR那樣需要實時特性的處理，在需要可編程配置的同時，需要高速進行處理。

例如，專利文獻1提到了在進行分層塊匹配處理的情況下的處理時間的問題。專利文獻1解決了如果根據縮小面上的運動矢量檢測和基本面上的運動矢量檢測的過渡，不知道縮小面的運動矢量檢測的結果，則不能通過構建管線訪問用于基本面上的運動矢量檢測的參考塊的問題。

然而，為了編程這樣的復雜管線，要檢查內部處理中的各種狀態，這使CPU配置復雜化。

按照本公開技術的一個實施例，提供了一種圖像處理裝置，其包括圖像處理部分，適用于計算多個幀之間的圖像信號的運動矢量；第一控制部分，適用于可編程地控制所述圖像處理部分以便進行運動檢測；以及第二控制部分，適用于在事先確定的處理狀態下控制所述圖像處理部分以便進行運動檢測。

在該圖像處理裝置中，作為圖像處理部分對運動矢量的計算處理，可以通過組合或有選擇地使用可編程地控制運動矢量計算的處理狀態和事先確定的處理狀態進行適合圖像信號的狀態的適當運動矢量計算。