[發(fā)明專利]用于立體匹配的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210092651.9
• 申請日: 2012-03-27
• 公開（公告）號: CN103366354A
• 公開（公告）日: 2013-10-23
• 發(fā)明（設(shè)計(jì)）人: 王炳融;白向暉;譚志明
• 申請（專利權(quán)）人: 富士通株式會社
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 宋鶴

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，更具體地涉及一種用于立體匹配的方法和系統(tǒng)。

背景技術(shù)

立體匹配是對某一場景拍攝兩個以上圖像，通過精確地找出圖像間的匹配像素來估計(jì)該場景的三維(3D)模型，并且將這些圖像間的匹配像素的二維(2D)位置轉(zhuǎn)換為3D深度的處理。在簡單的成像配置(例如，兩只眼睛或兩個相機(jī)向前直視的成像配置)中，兩只眼睛或兩個相機(jī)之間的視差與該兩只眼睛或兩個相機(jī)與觀察對象之間的距離(即，觀察對象在所拍攝的圖像中的立體深度)成反比。所以，視差圖通常被用來描述所拍攝圖像中的像素的立體深度。

在傳統(tǒng)的用于立體匹配的算法中，通常將分別由兩個眼睛或兩個相機(jī)獲取的兩個圖像中的一個圖像作為參考圖像、另一個圖像作為目標(biāo)圖像，并且輸出目標(biāo)圖像相對于參考圖像的視差圖。

盡管存在很多用于立體匹配的算法，但是它們一般都包括以下幾個步驟：匹配代價(jià)計(jì)算步驟、代價(jià)聚集(cost?aggregation)步驟、視差計(jì)算步驟、以及視差優(yōu)化步驟。其中：

匹配代價(jià)計(jì)算步驟計(jì)算與最小視差值(d_min)到最大視差值(d_max)之間的每個視差值相對應(yīng)的參考圖像和目標(biāo)圖像之間的像素差。從d_min到d_max之間的所有視差值和與這些視差值相對應(yīng)的所有像素差形成了初始的視差空間圖像(DSI)。傳統(tǒng)的匹配代價(jià)計(jì)算方法包括：1)計(jì)算強(qiáng)度差的平方(SD)的方法和計(jì)算光強(qiáng)差的絕對值(AD)的方法(這兩種方法對噪聲都比較敏感)。2)諸如分級變換和統(tǒng)計(jì)變換之類的非參數(shù)方法(這些方法對噪聲不太敏感，但是計(jì)算時(shí)間較長)。

代價(jià)聚集步驟通過對與每個視差值相對應(yīng)的匹配代價(jià)平面上的支持窗口中的匹配代價(jià)求和，來獲得更可靠的匹配代價(jià)。最常用的代價(jià)聚集方法是對匹配代價(jià)平面上的固定窗口中的匹配代價(jià)求和。但是該方法在很多方面都存在不足，因?yàn)?)其忽略了圖像上的像素的立體深度的不連續(xù)性；以及2)其沒有對圖像中的模糊區(qū)域進(jìn)行處理。所以，理想的代價(jià)聚集方法應(yīng)該使用這樣的支持窗口，該支持窗口包括匹配代價(jià)平面上的與同一視差值相對應(yīng)的盡可能多的點(diǎn)。為此，提出了諸如可移動窗口、多窗口、以及可變窗口之類的支持窗口。但是，所有的這些窗口都不能獲得令人滿意的結(jié)果，并且它們的效率不高。

視差計(jì)算步驟根據(jù)初始的DSI獲取圖像的視差圖。通常，對于拍攝一個場景所獲得的圖像上的某個像素點(diǎn)，選擇與該像素點(diǎn)相關(guān)聯(lián)的最小匹配代價(jià)聚集值所對應(yīng)的視差值作為該像素點(diǎn)的視差值。

視差優(yōu)化步驟對所獲取的視差值進(jìn)行后處理，進(jìn)一步包括子像素優(yōu)化步驟、遮擋檢測步驟、以及遮擋填充步驟。傳統(tǒng)的遮擋填充方法包括：1)選擇處于同一像素行的在空間上最接近的未被遮擋的像素的最低視差值作為被遮擋的像素的視差值(該方法會產(chǎn)生條紋狀的偽像)；以及2)使用雙邊濾波器對被遮擋的區(qū)域進(jìn)行平滑處理(該方法處理速度比較慢)。

發(fā)明內(nèi)容

鑒于以上所述的問題，本發(fā)明提供了一種新穎的用于立體匹配的方法和系統(tǒng)。

根據(jù)本發(fā)明實(shí)施例的用于立體匹配的方法，包括匹配代價(jià)計(jì)算步驟、代價(jià)聚集步驟、視差計(jì)算步驟、以及視差優(yōu)化步驟，其中匹配代價(jià)計(jì)算步驟利用左圖像和右圖像中每個像素的所有分量通道的強(qiáng)度值的水平梯度和豎直梯度，計(jì)算以左圖像為參考圖像的左視差空間圖像和以右圖像為參考圖像的右視差空間圖像。

根據(jù)本發(fā)明實(shí)施例的用于立體匹配的系統(tǒng)，包括匹配代價(jià)計(jì)算單元、代價(jià)聚集單元、視差計(jì)算單元、以及視差優(yōu)化單元，其中匹配代價(jià)計(jì)算單元用于利用左圖像和右圖像中每個像素的所有分量通道的強(qiáng)度值的水平梯度和豎直梯度，計(jì)算以左圖像為參考圖像的左視差空間圖像和以右圖像為參考圖像的右視差空間圖像。

利用本發(fā)明，可以快速獲取精確的視差圖。

附圖說明

從下面結(jié)合附圖對本發(fā)明的具體實(shí)施方式的描述中可以更好地理解本發(fā)明，其中：

圖1示出了根據(jù)本發(fā)明實(shí)施例的用于立體匹配的方法/系統(tǒng)的示意圖；

圖2示出了由匹配代價(jià)計(jì)算單元執(zhí)行的匹配代價(jià)計(jì)算步驟的示意圖；

圖3示出了確定左邊界像素x₁和右邊界像素x₂的過程；

圖4示出了由視差計(jì)算單元和視差優(yōu)化單元執(zhí)行的視差計(jì)算和優(yōu)化步驟的過程；以及

圖5示出了二次多項(xiàng)式的曲線圖。

具體實(shí)施方式