[發明專利]基于圖像序列的空洞填充方法

有效

• 申請號: 201410271105.0
• 申請日: 2014-06-17
• 公開（公告）號: CN104065946A
• 公開（公告）日: 2014-09-24
• 發明（設計）人: 劉然;曹東華;田逢春;李博樂;黃振偉;鄧澤坤;賈瑞雙;徐苗;譚迎春;譚偉敏
• 申請（專利權）人: 四川虹微技術有限公司;重慶大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平

1.一種基于圖像序列的空洞填充方法，其特征在于，包括以下步驟：

S1：根據三維圖像變換前后的參考圖像R_t和目標圖像D_t，計算各對應像素點的視差矢量，得到視差圖MV_D_tR_t；

S2：對目標圖像D_t進行小空洞預處理，包括以下步驟：

S2.1對目標圖像D_t進行中值濾波；

S2.2：按從左往右的順序遍歷視差圖MV_D_tR_t，檢測空洞，除圖像邊緣的空洞以外，當空洞的連續空洞點個數小于空洞長度閾值len，進入步驟S2.4，否則進入步驟S2.3；

S2.3：判斷該空洞兩端的像素點是否均為前景像素點，如果是，進入步驟S2.4，否則不作任何操作：

S2.4：對該空洞采用基于視差圖的空洞填充方法進行填充；

S3：基于圖像序列依次對剩余空洞進行填充，具體步驟包括：

S3.1：設置k＝1；

S3.2：根據圖像序列中的參考圖像R_t-k和參考圖像R_t+k，得到目標圖像D_t-k和目標圖像D_t+k；

S3.3：將當前目標圖像D_t的深度圖，分別與目標圖像D_t-k和D_t+k的深度圖求差，得到兩個深度差值矩陣，遍歷深度差值矩陣，當深度差值大于0且小于預設閾值時，將目標圖像D_t-k或D_t+k中的對應像素點的可用標記設置為1，否則設置為0；當目標圖像D_t-k或D_t+k不存在時，直接將對應像素點的可用標記設置為0；

S3.4：按行遍歷視差圖MV_D_tR_t，如果檢測到D_t(u,v)為空洞點，按以下方法進行填充：

Dt(u,v)=Dt+k(u,v),mt-k(u,v)=0,mt+k(u,v)=1Dt-k(u,v),mt-k(u,v)=1,mt+k(u,v)=0(Dt+k(u,v)+Dt-k(u,v))/2,mt-k(u,v)=1,mt+k(u,v)=10,mt-k(u,v)=0,mt+k(u,v)=0]]>

其中，D_t(u,v)表示目標圖像D_t的中像素點(u,v)，D_t-k(u,v)表示目標圖像D_t-k中的像素點(u,v)，m_t-k(u,v)表示目標圖像D_t-k中像素點(u,v)的可用標記，D_t+k(u,v)表示目標圖像D_t+k中的像素點(u,v)，m_t+k(u,v)表示目標圖像D_t+k中像素點(u,v)的可用標記；

同時將目標圖像中行方向上距離D_t(u,v)最近的背景像素點的視差值和深度值作為D_t(u,v)的視差值和深度值更新視差圖和深度圖；

S3.5：分別判斷參考圖像R_t-k、R_t+k與參考圖像R_t相比，前景是否相對于背景發生運動，如果是，則將參考圖像R_t-k或R_t+k記為圖像R′，對目標圖像D_t進行運動補償后進入步驟S3.6，否則進入步驟S3.6，運動補償的方法為：

遍歷當前目標圖像D_t的視差圖，得到所有空洞的非空洞端點中為背景像素的端點集合，依次選擇端點集合中的各個端點D_t(p,q)，通過視差值得到參考圖像中的對應像素點R_t(p′,q′)，選取以像素點R_t(p′,q′+αn)為中心、邊長為2n+1的圖像塊作為當前塊，其中n為正整數，α為偏移方向指示，當端點D_t(p,q)為空洞的左端點，α＝-1，當端點D_t(p,q)為空洞的右端點，α＝1；在圖像R′中搜索當前塊的最佳匹配塊，計算得到當前塊至匹配塊的運動矢量然后對目標圖像D_t中以D_t(p,q-αn)為中心、邊長為n的圖像塊中的空洞點進行填充，當D_t(p+i,q-αn+j)為空洞點，其中i、j的取值范圍分別為-n≤i≤n、-n≤j≤n，圖像R′中用于填充該空洞點的像素點為同時將目標圖像中行方向上距離D_t(p+i,q-αn+j)最近的背景像素點的視差值和深度值作為像素點D_t(u,v)的視差值和深度值更新視差圖和深度圖；

S3.6：遍歷視差圖MV_D_tR_t，檢測空洞，當空洞的連續空洞點個數小于空洞長度閾值len，采用基于視差圖的空洞填充方法對該空洞進行填充，否則不作任何操作；

S3.7：判斷是否k＝max(a,b)，其中a表示圖像序列中參考圖像R_t之前的可用圖像數量，b表示圖像序列中參考圖像R_t之后的可用圖像數量，如果是，進入步驟S4，否則令k＝k+1，返回步驟S3.2；

S4：采用圖像修復方法對步驟S3得到的目標圖像進行修復。

2.根據權利要求1所述的空洞填充方法，其特征在于，所述步驟S3.2中，還對得到的目標圖像D_t-k和目標圖像D_t+k采用步驟S2中的方法進行小空洞預處理。