[發明專利]偵測遮擋區域的方法以及裝置

有效

• 申請號: 201410322857.5
• 申請日: 2014-07-08
• 公開（公告）號: CN104980759B
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 方弘吉;張芳甄
• 申請（專利權）人: 聯發科技股份有限公司
• 主分類號: H04N19/51
• 分類號: H04N19/51;H04N19/513
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張金芝;楊穎

一種用于遮擋區域偵測的方法與裝置，該方法與裝置依據與運動向量以及預測區塊差值有關的區塊差值來偵測遮擋區域。對于一幀的每一當前區塊，依據一個時序上先前幀以及一個時序上的后續幀來進行運動估計。依據獲得的運動向量，當前區塊的兩個參考區塊位于時序上的相鄰幀。對于當前區塊，計算兩個參考區塊之間的區塊差值。通過比較該區塊差值與該當前區塊的預測區塊差值，來決定當前區塊是否是遮擋區塊。該預測區塊差值通過平均非運動邊界區域的相鄰區塊的區塊差值來更新。本發明所提供的以區塊為基礎的方法的偵測方法與裝置能夠在偵測圖像的遮擋區域時提高偵測的準確性或者降低計算的復雜度。

技術領域

本發明有關于圖像處理。具體來說，有關于在視頻序列的圖像中偵測遮擋區域(occlusion area)。

背景技術

遮擋區域是場景(scene)的一部分，這一部分由于被前景物體堵塞(blockage)從而在連續的多個圖像中的一個幀中可見(visible)，而在其相鄰幀中不可見(invisible)。連續的多個圖像中的每一個是圖像系統獲取的圖像或者是依據獲取圖像獲得的插值圖像(或稱為插值幀)。對于相機獲取的連續的多個圖像來說，遮擋區域的存在的原因是物體與相機之間的相對位置的變化。當圖像的一部分是不可見時，由于投影，至少一個背景物體的至少一部分被距離相機更近的前景物體遮擋(cover)。相反，前景物體在場景中距離相機越遠，背景就越不被遮擋。背景中的在被遮擋或者未被遮擋中變化的一部分被稱為遮擋區域.當區域在遮擋與未被遮擋中變化時，在相鄰圖像中的唯一匹配區域就不能通過運動估計來成功找到。因此，需要關注遮擋的問題，否則在時序插值時可能出現偽影(artifacts)。

在傳統的方法中，遮擋的偵測是依據與兩個連續的圖像之間的兩個運動向量相關的像素差來進行的(美國專利申請號7,995,793)。兩個運動向量中的一個可以是0，其對應于背景，背景對于相機來說相對穩定。圖1舉例說明了依據兩個連續幀之間的兩個運動向量進行遮擋偵測，幀(t)與幀(t+1)是由圖像系統獲取。幀(t+δ)是依據幀(t)與幀(t+1)的時序插值幀。其中“b”表示背景區域，“f”表示前景區域，“o”表示遮擋區域。決定兩個運動向量(即MV1與MV2)來描述兩個幀之間的運動，其中MV1＝0對應于背景區域的0運動。

幀(t+δ)是依據兩個運動向量其中之一將幀(t)投影至幀(t+1)來形成。舉例來說，幀(t+δ)中的區域111是將幀(t)中的區域101依據運動向量MV1投影至幀(t+1)中的區域121，由于區域101與區域121之間通過使用運動向量MV1實現較佳匹配(在圖1中以實線雙向箭頭表示)。相似地，幀(t+δ)中的區域112是通過依據運動向量MV2將幀(t)中的區域102投影至幀(t+1)中的區域122，由于區域102與區域122之間通過使用運動向量MV2實現較佳匹配(在圖1中以實線雙向箭頭表示)。然而，對于幀(t+δ)中的區域113來說，沒有運動向量能夠實現幀(t)與幀(t+1)之間對應區域(例如幀(t+1)的區域123)的較佳匹配(在圖1中以虛線雙向箭頭表示)。換言之，無論使用兩個運動向量中的哪一個，與幀(t+δ)中的區域113相關的在幀(t)與幀(t+1)的對應區域之間的像素差較大。

盡管上述方法能夠在一定程度上成功，依然需要一種改進的遮擋偵測方法，來提高偵測的準確性以及/或者降低計算的復雜度。

發明內容

本發明的目的之一是提供一種在當前圖像中偵測遮擋區域的方法與裝置。

依據本發明的實施例，提出一種偵測當前圖像中的遮擋區域的方法，該方法包含：依據第一相鄰圖像以及第二相鄰圖像決定當前區塊的運動向量，其中該當前圖像在時序上位于該第一相鄰圖像以及該第二相鄰圖像之間；依據該第一相鄰圖像中的第一參考區塊以及該第二相鄰圖像中的第二參考區塊決定該當前區塊的區塊差值，其中該第一參考區塊以及該第二參考區塊使用該當前區塊以及該運動向量來定位；接收預測區塊差值；以及依據該區塊差值以及該預測區塊差值決定該當前區塊是否是遮擋區塊。