[發(fā)明專利]視差圖稠密化方法、裝置和計(jì)算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201710903464.7
• 申請日: 2017-09-29
• 公開（公告）號: CN109584166A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計(jì)）人: 李學(xué)鋒;劉殿超;張觀良;付萬豪
• 申請（專利權(quán)）人: 株式會社理光
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王珊珊

提供了視差圖稠密化方法、裝置和計(jì)算機(jī)可讀存儲介質(zhì)。該視差圖稠密化方法可以包括：根據(jù)目標(biāo)場景的左右圖像計(jì)算初始視差圖；根據(jù)像素相似性，將左右圖像中的參考圖像分割為多個像素塊；以每個像素塊內(nèi)具有視差值的像素為頂點(diǎn)，將每個像素塊再分為多個區(qū)域；根據(jù)每個區(qū)域的頂點(diǎn)像素的視差值，估計(jì)落在該區(qū)域內(nèi)的在該初始視差圖中無視差值的像素的視差值；利用所估計(jì)的視差值填充該初始視差圖，以獲得稠密視差圖。

技術(shù)領(lǐng)域

本公開涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地，涉及對稀疏視差圖進(jìn)行稠密化的方法、裝置和計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

立體視覺是計(jì)算機(jī)視覺領(lǐng)域的一個重要課題，它的目的在于重構(gòu)場景的三維幾何信息，使得人們能夠獲取物體和場景中的深度信息，其在三維環(huán)境感知與建模、機(jī)器人導(dǎo)航、物體跟蹤與檢測以及圖像分割等領(lǐng)域具有重要應(yīng)用。立體匹配是立體視覺的關(guān)鍵技術(shù)之一，它通過對兩幅或者多幅圖像進(jìn)行像素配準(zhǔn)，建立特征間的對應(yīng)關(guān)系，將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來，來獲取像素的深度信息。

在立體視覺的應(yīng)用領(lǐng)域中，一般都需要稠密的深度圖或視差圖以準(zhǔn)確獲知深度信息。基于特征匹配的算法得到的僅是一個稀疏而且分布并不均勻的視差圖。在這種意義下，基于區(qū)域相關(guān)匹配的算法更適合于獲得稠密的視差圖，但是該方法在那些幾乎沒有信息的區(qū)域上的匹配往往不可靠。

而且，在利用左右圖像的立體匹配過程中，由于遮擋等原因，有一些像素點(diǎn)只存在于其中的一幅圖像中，在另一幅圖像中不存在對應(yīng)的匹配點(diǎn)，這種情況下會產(chǎn)生匹配錯誤。另外，包括弱紋理、重復(fù)紋理等的一些其他原因也會導(dǎo)致匹配錯誤。因而，傳統(tǒng)的BM、SGBM算法所計(jì)算出的是稀疏或者半稠密的視差圖，其中包含因匹配錯誤而導(dǎo)致的一些無視差值的像素點(diǎn)，這樣的像素點(diǎn)可以稱為視差空洞。

發(fā)明內(nèi)容

因此，需要能夠?qū)ο∈枰暡顖D中的無視差值的像素點(diǎn)進(jìn)行填充以產(chǎn)生稠密視差圖的技術(shù)。

有鑒于上述情況，根據(jù)本公開的一個方面，提供了一種視差圖稠密化方法，該方法可以包括：根據(jù)目標(biāo)場景的左右圖像計(jì)算初始視差圖；根據(jù)像素相似性，將左右圖像中的參考圖像分割為多個像素塊；以每個像素塊內(nèi)具有視差值的像素為頂點(diǎn)，將每個像素塊再分為多個區(qū)域；根據(jù)每個區(qū)域的頂點(diǎn)像素的視差值，估計(jì)落在該區(qū)域內(nèi)的在該初始視差圖中無視差值的像素的視差值；利用所估計(jì)的視差值填充該初始視差圖，以獲得稠密視差圖。

在一個可選的實(shí)施例中，可以對所述參考圖像進(jìn)行超像素分割以獲得多個超像素塊。

在一個可選的實(shí)施例中，可以利用三角剖分法將每個像素塊劃分為多個三角形區(qū)域。

在一個可選的實(shí)施例中，估計(jì)落在該區(qū)域內(nèi)的在該初始視差圖中無視差值的像素的視差值可以包括：基于三角形區(qū)域的三個頂點(diǎn)像素的視差值，計(jì)算該三角形區(qū)域的代表視差值；對該代表視差值進(jìn)行優(yōu)化，將優(yōu)化后的代表視差值作為該無視差值的像素的視差值。

在一個可選的實(shí)施例中，可以將三角形區(qū)域的三個頂點(diǎn)像素的視差值的中值作為該三角形區(qū)域的代表視差值。在另一可選的實(shí)施例中，可以將三角形區(qū)域的三個頂點(diǎn)像素的視差值的平均值作為該三角形區(qū)域的代表視差值。

在一個可選的實(shí)施例中，對該代表視差值進(jìn)行優(yōu)化可以包括：在每個像素塊內(nèi)，以每個三角形區(qū)域作為節(jié)點(diǎn)，以該三角形區(qū)域的代表視差值作為該節(jié)點(diǎn)的視差值，計(jì)算相鄰三角形節(jié)點(diǎn)之間的相似性；基于每個像素塊內(nèi)的節(jié)點(diǎn)的視差值以及節(jié)點(diǎn)之間的相似性，設(shè)置能量函數(shù)和節(jié)點(diǎn)的視差值更新函數(shù)；迭代地計(jì)算每個節(jié)點(diǎn)的視差更新函數(shù)值以降低該能量函數(shù)的值，直到滿足預(yù)定迭代終止條件；將每個節(jié)點(diǎn)的滿足所示預(yù)定迭代終止條件的視差更新函數(shù)值作為優(yōu)化后的代表視差值。

該預(yù)定迭代終止條件可以包括但不限于：所述能量函數(shù)的變化小于第一預(yù)定閾值、每個節(jié)點(diǎn)視差值的變化小于第二預(yù)定閾值、或者迭代達(dá)到預(yù)定次數(shù)。