[發(fā)明專利]深度圖像生成方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910704402.2
• 申請(qǐng)日: 2019-07-31
• 公開（公告）號(hào): CN110415288B
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計(jì)）人: 王洛威;王愷;廉士國(guó)
• 申請(qǐng)（專利權(quán)）人: 達(dá)闥科技（北京）有限公司
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55
• 代理公司: 北京智晨知識(shí)產(chǎn)權(quán)代理有限公司 11584
• 代理人: 張婧

本發(fā)明涉及圖像技術(shù)領(lǐng)域，公開了一種深度圖像生成方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。其中，深度圖像生成方法，包括：獲取多個(gè)深度傳感器拍攝的實(shí)際深度圖像形成實(shí)際深度圖像集，所述實(shí)際深度圖像具有不包含深度數(shù)據(jù)的空洞區(qū)域；構(gòu)建深度圖像生成模型，將所述實(shí)際深度圖像集輸入所述深度圖像生成模型，訓(xùn)練所述深度圖像生成模型學(xué)習(xí)所述實(shí)際深度圖像集中空洞區(qū)域的分布；獲取訓(xùn)練完成的所述深度圖像生成模型輸出的深度圖像作為目標(biāo)深度圖像。本發(fā)明實(shí)施方式所提供的深度圖像生成方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有使得生成的虛擬深度圖像更接近真實(shí)深度傳感器采集到的實(shí)際深度圖像的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像技術(shù)領(lǐng)域，特別涉及一種深度圖像生成方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

深度傳感器已經(jīng)得到了普遍的運(yùn)用，例如，自動(dòng)駕駛，增強(qiáng)現(xiàn)實(shí)和場(chǎng)景重建等。盡管深度傳感器越來越先進(jìn)，然而商用級(jí)別的深度傳感器在采集數(shù)據(jù)時(shí)，受到物體材質(zhì)(如全黑色，玻璃全透明)，環(huán)境因素(燈光或者陽(yáng)光照射在物體表面)以及深度傳感器本身采集精度的影響，造成了采集的深度圖有空洞區(qū)域，即空洞區(qū)域處無深度數(shù)據(jù)。如圖1、圖2、圖3所示；其中，圖1為實(shí)際圖像，圖2為該實(shí)際圖像對(duì)應(yīng)的實(shí)際深度圖像，圖3為深度傳感器采集的深度圖像(白色部分為空洞區(qū)域)。總的來說，使用深度傳感器采集的深度圖一般都帶有空洞區(qū)域。

近年來，深度學(xué)習(xí)普遍運(yùn)用在各個(gè)領(lǐng)域。基于數(shù)據(jù)驅(qū)動(dòng)深度學(xué)習(xí)算法需要大量的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然而，大量數(shù)據(jù)采集和標(biāo)注是十分耗費(fèi)人力物力的，進(jìn)而，一些人工生成的圖像，即使用計(jì)算機(jī)動(dòng)畫等技術(shù)生產(chǎn)的虛擬圖像，越來越多的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)。然而，虛擬深度圖像的深度數(shù)據(jù)與真實(shí)深度傳感器采集的實(shí)際深度圖像相比，虛擬深度圖像并不存在深度數(shù)據(jù)缺失的情況、也沒有空洞區(qū)域；當(dāng)使用虛擬深度圖像訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練完成后，在真實(shí)場(chǎng)景中使用時(shí)，由于真實(shí)場(chǎng)景采集得到的深度圖是有空洞區(qū)域的，導(dǎo)致使用過程中容易出現(xiàn)錯(cuò)誤。為了解決這個(gè)問題，現(xiàn)有技術(shù)中通常在虛擬深度圖像中隨機(jī)的制造空洞區(qū)域，如依照高斯分布對(duì)圖片人為制造空洞區(qū)域。

然而，本發(fā)明的發(fā)明人發(fā)現(xiàn)，在不同場(chǎng)景下，空洞區(qū)域的分布是不同的，這樣人為制造的帶空洞區(qū)域的虛擬深度圖像與真實(shí)深度傳感器采集到的實(shí)際深度圖像有很大的差距。

發(fā)明內(nèi)容

本發(fā)明實(shí)施方式的目的在于提供一種深度圖像生成方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，使得生成的虛擬深度圖像更接近真實(shí)深度傳感器采集到的實(shí)際深度圖像。

為解決上述技術(shù)問題，本發(fā)明的實(shí)施方式提供了一種深度圖像生成方法，包含以下步驟：獲取多個(gè)深度傳感器拍攝的實(shí)際深度圖像形成實(shí)際深度圖像集，所述實(shí)際深度圖像具有不包含深度數(shù)據(jù)的空洞區(qū)域；構(gòu)建深度圖像生成模型，將所述實(shí)際深度圖像集輸入所述深度圖像生成模型，訓(xùn)練所述深度圖像生成模型學(xué)習(xí)所述實(shí)際深度圖像集中空洞區(qū)域的分布；獲取訓(xùn)練完成的所述深度圖像生成模型輸出的深度圖像作為目標(biāo)深度圖像。

本發(fā)明的實(shí)施方式還提供了一種深度圖像生成裝置，包括：至少一個(gè)處理器；以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如前述的深度圖像生成方法。

本發(fā)明的實(shí)施方式還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述的深度圖像生成方法。

本發(fā)明實(shí)施方式相對(duì)于現(xiàn)有技術(shù)而言，獲取多個(gè)具有空洞區(qū)域的實(shí)際深度圖像形成實(shí)際深度圖像集，將實(shí)際深度圖像集輸入構(gòu)建的深度圖像生成模型中、對(duì)深度圖像生成模型進(jìn)行數(shù)據(jù)訓(xùn)練，在數(shù)據(jù)訓(xùn)練的過程中，深度圖像生成模型逐漸學(xué)習(xí)實(shí)際深度圖像中的空洞區(qū)域的分布規(guī)律，獲取訓(xùn)練完成的深度圖像生成模型輸出的深度圖像作為目標(biāo)深度圖像，即可使得目標(biāo)深度圖像中的空洞區(qū)域分布更接近真實(shí)深度傳感器采集到的實(shí)際深度圖像中的空洞區(qū)域分布。