[發(fā)明專利]一種基于法向量和高斯權(quán)重約束的深度圖像補(bǔ)全方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110574430.4
• 申請(qǐng)日: 2021-05-25
• 公開（公告）號(hào): CN113269689B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 楊勐;任東冉;鄭南寧
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/11;G06T7/136;G06V10/44;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

1.一種基于法向量和高斯權(quán)重約束的深度圖像補(bǔ)全方法，其特征在于，包括以下步驟：

S1、輸入深度圖像對(duì)應(yīng)的彩色圖像，通過結(jié)構(gòu)預(yù)測(cè)網(wǎng)絡(luò)將深度圖像劃分為平滑區(qū)域和結(jié)構(gòu)區(qū)域；

S2、對(duì)于平滑區(qū)域，使用法向量預(yù)測(cè)網(wǎng)絡(luò)輸出法向量特征并構(gòu)建法向量約束項(xiàng)；

S3、對(duì)于結(jié)構(gòu)區(qū)域，使用高斯核在對(duì)應(yīng)彩色圖像中提取高斯結(jié)構(gòu)權(quán)重，構(gòu)成高斯約束項(xiàng)，具體為：

S301、針對(duì)深度圖像結(jié)構(gòu)區(qū)域，使用高斯核從對(duì)應(yīng)的彩色圖像中提取幾何結(jié)構(gòu)信息，對(duì)于給定的彩色圖像I，計(jì)算高斯權(quán)重ω_p,q；

S302、通過高斯權(quán)重提供的結(jié)構(gòu)信息構(gòu)建高斯權(quán)重約束E_G；

S303、在高斯權(quán)重約束項(xiàng)E_G中加入自適應(yīng)函數(shù)Ф(x²)，

高斯權(quán)重約束項(xiàng)E_G更新為如下公式：

其中，ω_p,q為像素點(diǎn)p和q之間的高斯權(quán)重，q表示深度圖像D中的某一像素點(diǎn)，p表示以q為中心點(diǎn)的7×7的窗口內(nèi)的像素點(diǎn)，D(p)和D(q)分別為像素點(diǎn)p和q處的深度值，自適應(yīng)函數(shù)Ф(x²)如下：

其中，μ為彩色紋理度量參數(shù)，x為自變量函數(shù)輸入數(shù)值；

S4、結(jié)合步驟S2的法向量約束項(xiàng)和步驟S3的高斯約束項(xiàng)構(gòu)建全局優(yōu)化目標(biāo)方程，將缺失深度圖像加入全局優(yōu)化目標(biāo)方程中，構(gòu)建數(shù)據(jù)約束項(xiàng)作為全局優(yōu)化目標(biāo)方程的輸入數(shù)據(jù)；

S5、迭代執(zhí)行全局優(yōu)化目標(biāo)方程，直到低于設(shè)定的提升率或達(dá)到最大迭代次數(shù)，輸出深度圖像補(bǔ)全結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S1具體為：

S101、輸入缺失深度圖像對(duì)應(yīng)的高質(zhì)量彩色圖像，使用結(jié)構(gòu)預(yù)測(cè)網(wǎng)絡(luò)生成邊界概率矩陣B；

S102、以邊界概率矩陣劃分平滑區(qū)域與結(jié)構(gòu)區(qū)域，根據(jù)設(shè)定的區(qū)域劃分閾值θ，邊界概率矩陣B中邊界概率大于θ的像素點(diǎn)被劃分為結(jié)構(gòu)區(qū)域，邊界概率小于θ的被劃分為平滑區(qū)域。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S2具體為：

S201、針對(duì)圖像平滑區(qū)域，使用法向量預(yù)測(cè)網(wǎng)絡(luò)生成圖像法向量N；

S202、通過相機(jī)內(nèi)外參數(shù)計(jì)算深度圖像中坐標(biāo)點(diǎn)D(x,y)在三維坐標(biāo)系中的位置P(x,y)；

S203、對(duì)三維坐標(biāo)系中的位置P(x,y)求偏導(dǎo)數(shù)，計(jì)算位置P(x,y)處x方向和y方向的切向量；

S204、通過法向量和切向量之間的正交關(guān)系建立法向量約束E_n；

S205、使用邊界概率矩陣B加權(quán)法向量約束項(xiàng)E_n，削弱法向量約束在結(jié)構(gòu)區(qū)域的約束作用。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟S204中，法向量約束項(xiàng)定義如下：

其中，q表示深度圖像D中的某一像素點(diǎn)，為像素點(diǎn)p處x方向的切向量，為像素點(diǎn)p處y方向的切向量，p表示以q為中心點(diǎn)的3×3的窗口內(nèi)的像素點(diǎn)，N_q為像素點(diǎn)q處的法向量。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S4中，數(shù)據(jù)項(xiàng)約束E_O計(jì)算如下：

其中，D′(q)和D_o(q)分別為像素點(diǎn)q在補(bǔ)全深度圖像和初始深度圖像中的深度值。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S4中，全局優(yōu)化問題的目標(biāo)函數(shù)為：

其中，E_O、E_NB和E_G分別為全局優(yōu)化模型的數(shù)據(jù)項(xiàng)、平滑項(xiàng)和結(jié)構(gòu)項(xiàng)，λ_O,λ_N,λ_G代表每一項(xiàng)的正則化參數(shù)，n表示優(yōu)化模型第n次迭代過程，D為方程求解后輸出的補(bǔ)全深度圖像。

7.一種基于法向量和高斯權(quán)重約束的深度圖像補(bǔ)全系統(tǒng)，其特征在于，包括：

劃分模塊，輸入深度圖像對(duì)應(yīng)的彩色圖像，通過結(jié)構(gòu)預(yù)測(cè)網(wǎng)絡(luò)將深度圖像劃分為平滑區(qū)域和結(jié)構(gòu)區(qū)域；

法向量約束模塊，對(duì)于劃分模塊劃分的平滑區(qū)域，使用法向量預(yù)測(cè)網(wǎng)絡(luò)輸出法向量特征并構(gòu)建法向量約束項(xiàng)；

高斯約束模塊，對(duì)于劃分模塊劃分的結(jié)構(gòu)區(qū)域，使用高斯核在對(duì)應(yīng)彩色圖像中提取高斯結(jié)構(gòu)權(quán)重，構(gòu)成高斯約束項(xiàng)；

針對(duì)深度圖像結(jié)構(gòu)區(qū)域，使用高斯核從對(duì)應(yīng)的彩色圖像中提取幾何結(jié)構(gòu)信息，對(duì)于給定的彩色圖像I，計(jì)算高斯權(quán)重ω_p,q；通過高斯權(quán)重提供的結(jié)構(gòu)信息構(gòu)建高斯權(quán)重約束E_G；在高斯權(quán)重約束項(xiàng)E_G中加入自適應(yīng)函數(shù)Ф(x²)；

高斯權(quán)重約束項(xiàng)E_G更新為如下公式：

其中，ω_p,q為像素點(diǎn)p和q之間的高斯權(quán)重，q表示深度圖像D中的某一像素點(diǎn)，p表示以q為中心點(diǎn)的7×7的窗口內(nèi)的像素點(diǎn)，D(p)和D(q)分別為像素點(diǎn)p和q處的深度值，自適應(yīng)函數(shù)Ф(x²)如下：

其中，μ為彩色紋理度量參數(shù)，x為自變量函數(shù)輸入數(shù)值；

優(yōu)化模塊，結(jié)合法向量約束模塊的法向量約束項(xiàng)和高斯約束模塊的高斯約束項(xiàng)構(gòu)建全局優(yōu)化目標(biāo)方程，將缺失深度圖像加入全局優(yōu)化目標(biāo)方程，構(gòu)建數(shù)據(jù)約束項(xiàng)作為全局優(yōu)化目標(biāo)方程的輸入數(shù)據(jù)；

輸出模塊，迭代執(zhí)行全局優(yōu)化目標(biāo)方程，直到低于設(shè)定的提升率或達(dá)到最大迭代次數(shù)，輸出深度圖像補(bǔ)全結(jié)果。