[發(fā)明專利]圖像的深度估計模型優(yōu)化、深度估計處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201910883574.0
• 申請日: 2019-09-18
• 公開（公告）號: CN110599532A
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計）人: 曾光;李駢臻;張長定;葉志鴻;張偉
• 申請（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/90;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 11463 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙)
• 代理人: 董艷芳

本申請?zhí)峁┮环N圖像的深度估計模型優(yōu)化、深度估計處理方法及裝置，涉及圖像處理技術(shù)領(lǐng)域。其中，該方法通過獲取由標注有任意兩個像素點的相對深度關(guān)系的第一樣本圖像所構(gòu)成的第一樣本圖像集合、以及標注有每個像素點深度值的RGB圖像所構(gòu)成的第二樣本圖像集合，并根據(jù)第一樣本圖像集合和第二樣本圖像集合，優(yōu)化訓(xùn)練預(yù)設(shè)深度估計模型，獲取優(yōu)化的深度估計模型，可以使得對預(yù)設(shè)深度估計模型進行優(yōu)化訓(xùn)練時，標注成本更低的第一樣本圖像可以減少標注成本較高的RGBD圖像在所采用的訓(xùn)練數(shù)據(jù)中的占比，從而可以降低對訓(xùn)練數(shù)據(jù)的標注成本。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種圖像的深度估計模型優(yōu)化、深度估計處理方法及裝置。

背景技術(shù)

二維圖像的深度估計是許多應(yīng)用中的基本任務(wù)，包括圖像虛化，場景理解和重建等。其中，深度估計的目標是為圖像中的每個像素分配觀察者與該像素所表示的場景點之間的距離。

現(xiàn)有技術(shù)中，對圖像進行深度估計的方法通常為：根據(jù)樣本圖像和樣本圖像對應(yīng)的深度圖，對卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)進行訓(xùn)練，得到預(yù)測模型；然后，獲取大量樣本圖像的紅綠藍(Red GreenBlue，RGB)圖像，并人工標注RGB圖像中每個像素點的深度值，使用標注有每個像素點深度值的RGB圖像對預(yù)測模型進行優(yōu)化訓(xùn)練，進而可以采用優(yōu)化訓(xùn)練后的預(yù)測模型對目標圖像進行深度估計，獲取目標圖像中每個像素點的深度值。

但是，現(xiàn)有的圖像深度估計方法中，在對預(yù)測模型進行優(yōu)化訓(xùn)練時，對大量RGB圖像中像素點的深度值進行人工標注的過程，會產(chǎn)生較高的標注成本。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N圖像的深度估計模型優(yōu)化、深度估計處理方法及裝置，可以以較低的成本實現(xiàn)對圖像的深度估計模型進行優(yōu)化。

第一方面，本申請實施例提供一種圖像的深度估計模型優(yōu)化方法，包括：

獲取第一樣本圖像集合和第二樣本圖像集合，第一樣本圖像集合包括：第一樣本圖像，第一樣本圖像標注有任意兩個像素點的相對深度關(guān)系；第二樣本圖像集合包括：第二樣本圖像，第二樣本圖像為標注有每個像素點深度值的紅綠藍RGB圖像；

根據(jù)第一樣本圖像集合和第二樣本圖像集合，優(yōu)化訓(xùn)練預(yù)設(shè)深度估計模型，獲取優(yōu)化的深度估計模型。

可選地，上述根據(jù)第一樣本圖像集合和第二樣本圖像集合，優(yōu)化訓(xùn)練預(yù)設(shè)深度估計模型，獲取優(yōu)化的深度估計模型，包括：

采用預(yù)設(shè)深度估計模型，分別獲取第一樣本圖像集合中第一樣本圖像對應(yīng)的第一預(yù)測結(jié)果、第二樣本圖像集合中第二樣本圖像對應(yīng)的第二預(yù)測結(jié)果；

根據(jù)第一樣本圖像中任意兩個像素點的相對深度關(guān)系、以及第一預(yù)測結(jié)果，計算獲取第一樣本圖像中任意兩個像素點與第一預(yù)測結(jié)果中相對應(yīng)的兩個像素點之間的深度值相對損失；

根據(jù)第二樣本圖像中各像素點的深度值與第二預(yù)測結(jié)果，計算獲取第二樣本圖像中像素點與第二預(yù)測結(jié)果中像素點之間的深度值均方差損失；

根據(jù)深度值相對損失、深度值均方差損失以及預(yù)設(shè)算法，優(yōu)化預(yù)設(shè)深度估計模型，獲取優(yōu)化的深度估計模型。

可選地，該方法還包括：

獲取第三樣本圖像集合，第三樣本圖像集合包括：第三樣本圖像，第三樣本圖像為分割出目標內(nèi)容的分割圖像，且第三樣本圖像標注有目標內(nèi)容的區(qū)域位置信息；

相應(yīng)地，上述根據(jù)第一樣本圖像集合和第二樣本圖像集合，優(yōu)化訓(xùn)練預(yù)設(shè)深度估計模型，獲取優(yōu)化的深度估計模型，包括：

根據(jù)第一樣本圖像集合、第二樣本圖像集合以及第三樣本圖像集合，優(yōu)化訓(xùn)練預(yù)設(shè)深度估計模型，獲取優(yōu)化的深度估計模型。