[發(fā)明專利]一種基于稠密視差圖的立體圖像同步分割方法

有效

• 申請?zhí)枺?/td>: 201410328103.0
• 申請日: 2014-07-10
• 公開（公告）號: CN104091336B
• 公開（公告）日: 2017-05-17
• 發(fā)明（設計）人: 馬偉;楊璐維;段立娟
• 申請（專利權）人: 北京工業(yè)大學
• 主分類號: G06T7/194
• 分類號: G06T7/194
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 沈波

技術領域

本發(fā)明屬于計算機視覺、計算機圖形學和圖像處理等交叉領域，涉及一種基于稠密視差圖的立體圖像同步分割方法。

背景技術

立體圖像在各領域的普及對該類數據的智能處理提出了迫切的需求。交互式立體圖像智能分割是其中一項重要工作：用戶只需在立體圖中的一張圖像上指定少量前、背景，方法會自動完成兩張圖像的同步分割。分割算法的效果決定了視頻監(jiān)控應用中檢測、識別、分類以及跟蹤等問題的準確度。分割后的前景目標物可作為三維模型重建的輸入數據，去除背景在重建過程中的干擾。分割的算法和程序亦可幫助普通用戶對立體相機拍攝到的日常生活圖片進行編輯，幫助影視制作人員對立體電視、電影進行后期編輯。例如去除不想要的物體，將前景物體合成到新的背景中，以及拷貝和粘貼前景物體等。

目前針對單幅圖像的交互式分割方法相對已經較為成熟，有些已經實現實際應用，例如CS3中快速選擇(Quick Selection)工具。相比單幅圖像的分割，交互式立體圖像的智能分割起步較晚。現有針對立體圖像進行分割的基本框架是：首先通過立體匹配算法得到視差圖。視差圖中的每一個像素值表示參考圖(預先選定的兩幅圖中的其中一幅)中對應像素在匹配圖中的偏移量。即給定一對立體圖和左圖對應的視差圖，可得到左圖像素在右圖中的對應像素。得到視差圖之后，形式化視差線索，以及在單張圖像分割中常用的顏色、梯度等線索，構成能量函數。通過最優(yōu)化能量函數實現圖像分割問題求解。視差圖的好壞對于分割結果有重要的影響。然而，現有立體匹配方法得到的視差圖存在較多誤差，現有基于視差圖的立體圖像分割方法，例如Price等人在2011年的ICCV上發(fā)表的“StereoCut：Consistent Interactive Object Selection in Stereo Image Pairs”中，直接將視差圖決定的對應關系形式化在能量函數中，容易導致分割錯誤，影響分割的智能化。

發(fā)明內容

鑒于目前基于視差圖的立體圖像分割方法在視差使用方面的局限性，本發(fā)明在基于視差圖的立體圖像同步分割的理論框架下，探索新的分割方法，力圖減少匹配誤差對分割結果的影響，實現提高分割過程智能化的目的。

為實現這個目標，本發(fā)明的技術方案為：在用戶輸入一組立體圖像之后，方法自動通過立體圖像匹配算法得到視差圖。而后，用戶可在其中一圖中通過筆刷勾畫的方式，指定部分前、背景。并自動根據指定部分分別建立前、背景的顏色分布的先驗統(tǒng)計模型，以及前、背景的視差分布的先驗統(tǒng)計模型。以此為基礎，在圖割理論框架下形式化顏色、梯度以及視差等約束，構造能量函數。最后，采用圖的最大流/最小割算法求解最優(yōu)化結果。若用戶沒有得到理想的效果，還可以繼續(xù)對圖中錯誤區(qū)域進行勾畫，直到得到理想結果。

與現有技術相比，本發(fā)明具有以下優(yōu)點：本發(fā)明以視差圖為依據，建立前、背景視差分布統(tǒng)計模型，同時數學形式化圖像內視差的變化情況，結合傳統(tǒng)約束項構造能量函數，并通過圖割算法求解能量函數最小值實現分割。視差分布模型和變化模型均是視差統(tǒng)計信息，有效避免了視差計算誤差帶來的影響。實驗證明：相比現有方法，在同等交互量的前提下，本發(fā)明所述方法得到的分割結果更準確。

附圖說明

圖1為本發(fā)明所涉及方法的流程圖；

圖2為本發(fā)明應用實例實驗結果：(a)、(b)為輸入的左、右圖像，(c)、(d)是采用Price等人在2011年的ICCV上發(fā)表的“StereoCut：Consistent Interactive Object Selection in Stereo Image Pairs”中的方法計算的結果；(e)、(f)為本發(fā)明的分割結果；兩種方法所用的用戶輸入在(c)、(e)圖中顯示，目標物內部的實線標識前景，目標物區(qū)域外的虛線標識背景。

具體實施方式

下面結合附圖和具體實施方式對本發(fā)明做進一步說明。

本發(fā)明的流程如圖1所示，具體包括如下步驟：

步驟一，匹配立體圖像。

讀入一對立體圖像I＝{I^l，I^r}，I^l與I^r分別表示左、右圖像。利用立體匹配算法計算得到左、右圖像對應的視差圖，分別用D^l與D^r表示。立體匹配可以采用任意算法，例如Felzenszwalb等人在CVPR04上發(fā)表的論文“Efficient Belief Propagation for Early Vision”中提出的算法。

步驟二，添加前、背景線索。