[發(fā)明專利]圖像處理設(shè)備和圖像處理方法

無效

• 申請?zhí)枺?/td>: 201010198437.2
• 申請日: 2010-06-07
• 公開（公告）號: CN101924873A
• 公開（公告）日: 2010-12-22
• 發(fā)明（設(shè)計）人: 橫山正幸
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N7/26
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 李曉冬;南霆

技術(shù)領(lǐng)域

本發(fā)明涉及用于檢測兩個不同畫面之間的運動(運動向量)的圖像處理設(shè)備和圖像處理方法。在本說明書中，術(shù)語“畫面”是指由在顯示器上作為單個圖像出現(xiàn)的一場(field)或一幀圖像數(shù)據(jù)構(gòu)成的圖像。

背景技術(shù)

各種圖像處理運算可以通過檢測兩個畫面之間的運動(運動向量)并使用所檢測到的運動向量來執(zhí)行。

例如，眾所周知，如果使用兩個畫面之間的運動向量，則在處理這樣的數(shù)據(jù)期間可以高效地壓縮運動圖像數(shù)據(jù)。還知道，所檢測的運動向量被用來檢測攝像機的搖動和傾斜并跟蹤對象。

此外，近年來，已經(jīng)看到運動向量越來越多地在各種應(yīng)用中使用，例如通過使用所檢測到的運動向量疊加圖像來在低照明下拍攝期間的進行無傳感器的晃動校正和噪聲去除。

塊匹配法和梯度法是已知的運動向量計算方法的示例。通常使用塊匹配法。

塊匹配法通過逐塊地計算所關(guān)心的參考畫面與作為參考畫面中的運動的起源的模板畫面之間的相關(guān)度，來計算參考畫面與模板畫面這兩個畫面之間的運動向量，一個塊是具有預(yù)定尺寸的長方形區(qū)域。

即，塊匹配法針對參考畫面的搜索區(qū)域中所設(shè)置的多個參考塊中的每個參考塊，得到模板畫面中所設(shè)置的模板塊與這多個參考塊之間的相關(guān)度。相關(guān)度表示這兩個塊相互之間有多相關(guān)。運動向量是相對于模板塊基于具有得到的所有相關(guān)度中的最大值的那個參考塊來計算出的。

應(yīng)當(dāng)注意，存在兩種情況，一種是模板畫面在參考畫面之前(例如，MPEG中的運動檢測)，另一種是參考畫面在模板畫面之前(例如，通過疊加圖像幀進行的降噪)。

如前所述，在本說明書中，術(shù)語“畫面”是指由一場或一幀圖像組成的圖像。為了以下本說明書中的描述方便，假定一個畫面由一幀組成。結(jié)果，畫面被稱為幀。因此，參考畫面被稱為參考幀，并且模板畫面被稱為模板幀。

以下，將參考圖27A至圖30來概要描述現(xiàn)有的普通塊匹配法。

這里所描述的塊匹配方法例如將模板幀100劃分成多個長方形區(qū)域(稱為塊)，每個塊具有預(yù)定的尺寸并且由多個水平像素和多個垂直行組成，如圖27A所示。模板幀100中的這多個塊102中的每一個被稱為模板塊。

塊匹配從參考幀101中的那些塊中搜索與模板塊102高度相關(guān)的塊。參考幀101中所設(shè)置的與模板塊102等同尺寸的塊被稱為參考塊。作為該搜索的結(jié)果被檢測為參考幀101中具有最高相關(guān)度的參考塊103(參考圖27B)被稱為運動補償塊。另一方面，模板塊102與運動補償塊103之間的位移(包括位移的大小和方向)被稱為運動向量(參考圖27B中的標(biāo)號104)。

當(dāng)假定每個模板塊102的投影圖像塊109在參考幀101中的位置與模板塊102在模板幀100中的位置相同時，運動向量104對應(yīng)于該模板塊的投影圖像塊109的位置(例如，中心)與運動補償塊103的位置(例如，中心)之間的位移。運動向量104還包含位移的大小分量和方向分量。

以下，將簡要概括塊匹配處理。如圖28中的虛線所示，假定每個模板塊102的投影圖像塊109在參考幀101中的位置與模板塊102在模板幀100中的位置相同。該模板塊的投影圖像塊109的中心的坐標(biāo)被設(shè)置為運動檢測原點105。假定運動向量104存在于運動檢測原點105的給定區(qū)域以內(nèi)，以運動檢測原點105為中心的預(yù)定區(qū)域被設(shè)置為搜索區(qū)域106(參考圖27B中的長短虛線)。

接著，在參考幀中設(shè)置與模板塊102等同尺寸的塊(參考塊)108。然后，參考塊108例如在搜索區(qū)域106中每次水平或垂直地移動一個或多個像素。因此，這多個參考塊108被設(shè)置在搜索區(qū)域106中。

這里，在搜索區(qū)域106中移動參考塊108是指在搜索區(qū)域106中移動參考塊108的中心，因為運動檢測原點105是該參考塊的中心。因此，組成參考塊108的像素被推離搜索區(qū)域106。

接著，在每個參考塊108的搜索區(qū)域中設(shè)置向量(稱為參考向量)107(參考圖27B)。參考向量107表示所關(guān)心的參考塊108與模板塊102之間的位移的大小和方向。然后，評估在由參考向量107之一指示的位置處的參考塊108的圖像內(nèi)容與模板塊102的圖像內(nèi)容之間的相關(guān)性。

如圖29中所示，當(dāng)參考塊108的水平位移(X方向上)是Vx并且其垂直位移(Y方向)是Vy時，參考向量107可以表示為向量(Vx，Vy)。

例如，如果參考塊108在X方向上從模板塊102移動一個像素，則參考向量107是向量(1，0)。另一方面，如果如圖30中所示，參考塊108從模板塊102在X方向上移動三個像素并且在Y方向上移動兩個像素，則參考向量107是向量(3，2)。