[發(fā)明專利]基于兩層全連接條件隨機(jī)場模型的深度圖結(jié)構(gòu)修復(fù)方法

有效

• 申請?zhí)枺?/td>: 202011057715.2
• 申請日: 2020-09-30
• 公開（公告）號: CN112164009B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設(shè)計）人: 楊勐;王昊天;鄭南寧
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

本發(fā)明公開了一種基于兩層全連接條件隨機(jī)場模型的深度圖結(jié)構(gòu)修復(fù)方法，向第一層全連接條件隨機(jī)場模型中輸入彩色圖和深度圖，通過最小化第一層全連接條件隨機(jī)場模型的能量函數(shù)，得到粗略恢復(fù)的深度圖；將粗略恢復(fù)的深度圖輸入第二層全連接條件隨機(jī)場模型，通過最小化第二層全連接條件隨機(jī)場模型的能量函數(shù)，得到精確恢復(fù)的深度圖。本發(fā)明不僅能精確地恢復(fù)包含嚴(yán)重結(jié)構(gòu)失真的深度圖，并且有效地解決了彩色圖紋理映射問題。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于兩層全連接條件隨機(jī)場模型的深度圖結(jié)構(gòu)修復(fù)方法。

背景技術(shù)

隨著深度數(shù)據(jù)獲取技術(shù)的發(fā)展，深度圖被廣泛的應(yīng)用于各種三維視覺任務(wù)中，例如：三維重建、機(jī)器人導(dǎo)航、虛擬現(xiàn)實(shí)等。目前主流的深度圖獲取方式主要分為兩種。第一種是根據(jù)一張或多張彩色圖來計算深度圖，如立體匹配或基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行估計的方法。第二種是通過物理傳感器來獲取深度圖，如TOF或結(jié)構(gòu)光傳感器。然而由于目前技術(shù)的不成熟，這兩類方法均存在許多缺陷。例如：立體匹配方法計算的深度圖在相應(yīng)彩色圖的弱紋理區(qū)域容易產(chǎn)生內(nèi)容缺失；基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行估計的深度圖的幾何結(jié)構(gòu)往往不夠準(zhǔn)確；TOF傳感器獲取的深度圖的分辨率通常較低且含有噪聲；結(jié)構(gòu)光傳感器獲取的深度圖通常含有大量的空洞區(qū)域。因此，如何修復(fù)深度圖已經(jīng)成為三維視覺領(lǐng)域的一道難題。

不同于彩色圖，深度圖的幾何結(jié)構(gòu)可以額外地提供物體的幾何結(jié)構(gòu)，因此深度圖的幾何結(jié)構(gòu)在其實(shí)際應(yīng)用中扮演著重要的角色。例如在3D-TV系統(tǒng)中，虛擬視點(diǎn)合成要求相同視點(diǎn)的彩色圖與深度圖的幾何結(jié)構(gòu)應(yīng)當(dāng)高度對齊，否則將會在合成圖像中引起嚴(yán)重的裂紋與空洞。然而由于上述深度圖獲取技術(shù)的不成熟，在實(shí)際場景中，深度圖的幾何結(jié)構(gòu)通常會受到各種各樣的嚴(yán)重?fù)p傷，進(jìn)而造成深度圖包含嚴(yán)重的結(jié)構(gòu)失真。因此，如何精準(zhǔn)地修復(fù)深度圖的幾何結(jié)構(gòu)已經(jīng)成為深度圖修復(fù)的關(guān)鍵問題之一。

傳統(tǒng)的圖像修復(fù)方法主要是基于圖像濾波與優(yōu)化框架來進(jìn)行修復(fù)工作的。但由于彩色圖與深度圖之間的特性不同，直接使用傳統(tǒng)方法的效果不佳，因此出現(xiàn)了大量針對于深度圖進(jìn)行修復(fù)的方法。目前主流的深度圖修復(fù)方法是通過彩色圖來引導(dǎo)深度圖的恢復(fù)，其主要分為三種：基于圖像濾波的修復(fù)方法、基于優(yōu)化的修復(fù)方法、基于神經(jīng)網(wǎng)絡(luò)的修復(fù)方法。基于圖像濾波的修復(fù)方法通常是通過改造傳統(tǒng)的圖像濾波器來進(jìn)行深度圖的恢復(fù)，如加權(quán)均值濾波器、加權(quán)中值濾波器、雙邊濾波器等。現(xiàn)存的此類方法通常在深度圖幾何結(jié)構(gòu)被嚴(yán)重?fù)p壞時無法工作。基于優(yōu)化的修復(fù)方法通常是利用馬爾科夫隨機(jī)場模型等全局優(yōu)化框架進(jìn)行深度圖修復(fù)，現(xiàn)存的此類方法主要專注于去噪、空洞填充、缺失內(nèi)容補(bǔ)全、超分辨率等問題，深度圖的幾何結(jié)構(gòu)仍然沒有被精準(zhǔn)地恢復(fù)。基于神經(jīng)網(wǎng)絡(luò)的修復(fù)方法通常是使用已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對深度圖進(jìn)行修復(fù)，但此類方法修復(fù)的深度圖精度不足，幾何結(jié)構(gòu)往往不夠準(zhǔn)確且存在邊界模糊等現(xiàn)象。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題在于針對上述現(xiàn)有技術(shù)中的不足，提供一種基于兩層全連接條件隨機(jī)場模型的深度圖結(jié)構(gòu)修復(fù)方法，能夠在深度圖包含嚴(yán)重結(jié)構(gòu)失真的情況下，精確修復(fù)失真的幾何結(jié)構(gòu)。

本發(fā)明采用以下技術(shù)方案：

基于兩層全連接條件隨機(jī)場模型的深度圖結(jié)構(gòu)修復(fù)方法，向第一層全連接條件隨機(jī)場模型中輸入彩色圖和深度圖，通過最小化第一層全連接條件隨機(jī)場模型的能量函數(shù)，得到粗略恢復(fù)的深度圖；將粗略恢復(fù)的深度圖輸入第二層全連接條件隨機(jī)場模型，通過最小化第二層全連接條件隨機(jī)場模型的能量函數(shù)，得到精確恢復(fù)的深度圖。

具體的，在第一層全連接條件隨機(jī)場模型中，深度圖恢復(fù)通過最小化能量函數(shù)來實(shí)現(xiàn)，能量函數(shù)形式如下：

其中，x是恢復(fù)后的深度圖，x_i是在恢復(fù)后的深度圖中像素點(diǎn)i的深度值，ω_u和ω_p是一元與二元勢函數(shù)的權(quán)重，ψ_u(x_i)是一元勢函數(shù)，ψ_p(x_i,x_j)是二元勢函數(shù)。