[發(fā)明專利]融合空洞修復(fù)的深度恢復(fù)方法、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210738513.7
• 申請日: 2022-06-28
• 公開（公告）號: CN114820393A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 李東洋;化雪誠;王海彬;劉祺昌;戶磊
• 申請（專利權(quán)）人: 合肥的盧深視科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/521
• 代理公司: 北京智晨知識產(chǎn)權(quán)代理有限公司 11584
• 代理人: 楊娟

本發(fā)明實施例涉及圖像處理領(lǐng)域，公開了一種融合空洞修復(fù)的深度恢復(fù)方法、電子設(shè)備及存儲介質(zhì)，通過在對物體散斑圖執(zhí)行一次區(qū)域增長后，針對未成功生長的像素點再次執(zhí)行區(qū)域增長；其中，所述再次執(zhí)行區(qū)域增長所采用的初始種子點是基于已確定的各種子點的視差值對應(yīng)的匹配代價值的置信度確定，所采用的生長閾值相較于前一次執(zhí)行區(qū)域增長時變小；基于對所述物體散斑圖執(zhí)行區(qū)域增長后所形成的視差圖恢復(fù)得到深度圖像；該方案能夠在深度恢復(fù)的同時，實現(xiàn)對深度圖空洞區(qū)域的修復(fù)，且空洞修復(fù)區(qū)域的深度值具有較高的可信度。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種融合空洞修復(fù)的深度恢復(fù)方法、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，機器視覺領(lǐng)域中最具活力的技術(shù)分支當屬深度感知技術(shù)，而散斑結(jié)構(gòu)光技術(shù)則是深度感知技術(shù)中的重要部分。散斑結(jié)構(gòu)光技術(shù)作為最常見主動式立體視覺的技術(shù)，在人臉識別、自動駕駛、安防監(jiān)控等領(lǐng)域具有廣泛應(yīng)用。散斑結(jié)構(gòu)光系統(tǒng)，是通過向被拍攝物體投射偽隨機散斑，然后根據(jù)特定的算法進行散斑的特征匹配得到視差信息，基于視差信息進一步獲取場景的深度信息。

在得到深度信息后，一般會使用濾波等操作來去除深度圖的噪聲，在去除噪聲后便會或多或少地出現(xiàn)深度空洞點。這些深度空洞點大多是由于該點區(qū)域的散斑不夠明顯，或因戶外太陽光過強淹沒散斑，或因人臉黑色眼鏡框降低散斑亮度，或因紅外傳感器的圖像噪聲過大，最終這些深度空洞點會嚴重影響到深度圖的質(zhì)量，使其在后續(xù)的三維重建或人臉3D防偽等應(yīng)用上效果不足。現(xiàn)在對深度圖中深度空洞點進行修復(fù)的方案主要有以下兩種：利用紅外或彩色等信息引導(dǎo)進行深度圖的空洞修復(fù)；只使用深度圖進行空洞區(qū)域的插值和填補。

但是這兩種方案都存在一定缺陷：一定程度上利用彩色圖或紅外圖的先驗信息，雖然在進行深度修復(fù)后修復(fù)區(qū)域的深度值具有一定的可信度，但是可信度也較低，并且整個過程計算量也偏大，在很多平臺無法達到實時效果；按照一定的規(guī)則直接用有深度值區(qū)域直接插值空洞區(qū)域，在進行深度修復(fù)后修復(fù)區(qū)域的深度值可信度很低，后續(xù)應(yīng)用到深度防偽等方面由于其可能填充的是錯誤的深度值，導(dǎo)致最終呈現(xiàn)的結(jié)果還不如不填充修補前得到的結(jié)果準確。

發(fā)明內(nèi)容

本發(fā)明實施方式的目的在于提供一種融合空洞修復(fù)的深度恢復(fù)方法、電子設(shè)備及存儲介質(zhì)，能夠在深度恢復(fù)的同時，實現(xiàn)對深度圖空洞區(qū)域的修復(fù)，且空洞修復(fù)區(qū)域的深度值具有較高的可信度。

為解決上述技術(shù)問題，本發(fā)明的實施方式提供了一種融合空洞修復(fù)的深度恢復(fù)方法，包括：

在對物體散斑圖執(zhí)行一次區(qū)域增長后，針對未成功生長的像素點再次執(zhí)行區(qū)域增長；其中，所述再次執(zhí)行區(qū)域增長所采用的初始種子點是基于已確定的各種子點的視差值對應(yīng)的匹配代價值的置信度確定，所采用的生長閾值相較于前一次執(zhí)行區(qū)域增長時變小；

基于所述物體散斑圖被執(zhí)行區(qū)域增長后所形成的視差圖恢復(fù)得到深度圖像。

本發(fā)明的實施方式還提供了一種電子設(shè)備，包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如上所述的融合空洞修復(fù)的深度恢復(fù)方法。

本發(fā)明的實施方式還提供了一種計算機可讀存儲介質(zhì)，存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上所述的融合空洞修復(fù)的深度恢復(fù)方法。