[發(fā)明專利]稀疏深度圖的深度補齊方法、裝置及三維重建方法、裝置

有效

• 申請?zhí)枺?/td>: 201910353712.4
• 申請日: 2019-04-28
• 公開（公告）號: CN110148086B
• 公開（公告）日: 2023-02-17
• 發(fā)明（設(shè)計）人: 陳崇雨;衛(wèi)彥智;趙東;林倞
• 申請（專利權(quán)）人: 暗物智能科技(廣州)有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李紅團

本發(fā)明公開了一種稀疏深度圖的深度補齊方法、裝置及三維重建方法、裝置，該稀疏深度圖的深度補齊方法包括：分別采用至少兩種插值算法對稀疏深度圖進行處理以得到對應(yīng)的經(jīng)處理的稀疏深度圖；分別獲取稀疏深度圖中各特征點在每個經(jīng)處理的稀疏深度圖的深度值；保留深度值的差異小于預(yù)定閾值的特征點；根據(jù)所保留的特征點獲取稠密深度圖。通過實施本發(fā)明，實現(xiàn)了一種對稀疏深度圖進行深度補齊得到稠密深度圖的簡單方法，為利用稠密深度圖進行三維重建提供了準確的數(shù)據(jù)基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，具體涉及稀疏深度圖的深度補齊方法、裝置及三維重建方法、裝置。

背景技術(shù)

三維重建是一種對三維物體建立適用于計算機處理的數(shù)學模型的技術(shù)，也是在計算機環(huán)境下對三維物體進行處理和分析的基礎(chǔ)，更是在計算機中建立用于表達客觀世界的虛擬現(xiàn)實的關(guān)鍵技術(shù)。三維重建是指利用物體的二維投影恢復該物體的三維信息(形狀等)的數(shù)學過程和計算機技術(shù)，包括數(shù)據(jù)獲取、預(yù)處理、點云拼接(融合)和特征分析等步驟。

目前，通過圖像采集設(shè)備在不同位置采集目標場景的圖像，得到目標場景的稀疏深度圖像，再通過對稀疏深度圖像進行深度補齊，得到稠密深度圖像，進而根據(jù)稠密深度圖像構(gòu)建出目標場景的三維模型是一種常規(guī)的三維重建方法之一。其中，對稀疏深度圖像進行深度補齊的方法，直接決定了對稠密深度圖像與真實場景圖像的匹配程度，進而直接影響最終三維模型的重建效果。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供了一種稀疏深度圖的深度補齊方法、裝置及三維重建方法、裝置以實現(xiàn)對稀疏深度圖的深度補齊，得到稠密深度圖像。

根據(jù)第一方面，本發(fā)明實施例提供了一種稀疏深度圖的深度補齊方法，包括：分別采用至少兩種插值算法對所述稀疏深度圖進行處理以得到對應(yīng)的經(jīng)處理的稀疏深度圖；分別獲取所述稀疏深度圖中各特征點在每個所述經(jīng)處理的稀疏深度圖的深度值；保留所述深度值的差異小于預(yù)定閾值的特征點；根據(jù)所保留的特征點獲取稠密深度圖。

可選地，所述深度值的差異包括：深度值的差值和/或深度值的平方差。

可選地，述根據(jù)所保留的特征點獲取稠密深度圖包括：各所述保留的特征點構(gòu)成完整深度圖；獲取所述稀疏深度圖對應(yīng)的原始圖像，并根據(jù)所述原始圖像對所述完整深度圖進行深度補齊，得到稠密深度圖。

可選地，所述獲取所述稀疏深度圖對應(yīng)的原始圖像，并根據(jù)所述原始圖像對所述完整深度圖進行深度補齊，得到稠密深度圖，包括：根據(jù)所述稀疏深度圖的分辨率對所述原始圖像進行處理；根據(jù)處理后的原始圖像對所述完整深度圖像進行濾波；根據(jù)所述處理后的原始圖像及濾波后的完整深度圖采用預(yù)設(shè)濾波算法對所述濾波后的完整深度圖進行迭代濾波，得到所述稠密深度圖。

可選地，所述稀疏深度圖的深度補齊方法還包括：判斷所述稠密深度圖的分辨率是否低于所述原始圖像的分辨率；當所述稠密深度圖的分辨率低于所述原始圖像時，將所述稀疏深度圖更新為所述稠密深度圖，并返回所述采用至少兩種預(yù)設(shè)插值算法分別對所述稀疏深度圖進行上采樣，得到各所述預(yù)設(shè)差值算法對應(yīng)的中間稀疏深度圖的步驟，直至所述稠密深度圖的分辨率與所述原始圖像的分辨率相同。

根據(jù)第二方面，本發(fā)明實施例還提供了一種獲取至少一組包含場景目標的等效雙目圖像信息；根據(jù)各組等效雙目圖像信息建立對應(yīng)的稀疏深度圖；采用上述方法實施例所述的稀疏深度圖的深度補齊方法，對各所述稀疏深度圖進行深度補齊，得到各稠密深度圖；根據(jù)所述等效雙目圖像信息將各所述稠密深度圖進行深度融合，得到所述場景目標的三維模型。