[發明專利]基于多模態無監督圖像內容解耦的單目深度估計方法

有效

• 申請號: 202010126070.7
• 申請日: 2020-02-27
• 公開（公告）號: CN111445476B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 王賀升;胡寒江;趙忠臣
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/50;G06T7/90;G06T5/50;G06N3/0464;G06N3/088
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種基于多模態無監督圖像內容解耦的單目深度估計方法，其特征在于，包括：

步驟1：選取現實RGB圖像、虛擬RGB圖像和對應的深度圖構成訓練集；

步驟2：根據訓練集構建多模態無監督圖像遷移網絡模型，并利用生成對抗網絡對網絡模型進行訓練；

步驟3：根據訓練集構建深度估計網絡模型并進行訓練；

步驟4：對現實RGB圖像進行編碼，并根據深度估計網絡模型得到深度估計圖；

所述步驟2包括：

步驟2.1：單一域圖像重建，訓練集現實RGB圖像域中圖像x_i分別經過圖像內容編碼器和圖像風格編碼器分解成圖像內容部分c_i和圖像風格部分s_i，內容編碼和風格編碼經解碼器G_i解碼重建出RGB圖像同樣對虛擬RGB圖像域中圖像x_j編碼得到內容c_j和風格s_j，并解碼得到重建圖像

步驟2.2：跨域圖像遷移，訓練集現實RGB圖像域、虛擬RGB圖像域中的兩張圖像x_i、x_j分別經圖像內容編碼器的得到其內容編碼信息c_i、c_j；

步驟2.3：構建損失函數，包括雙向重建損失、圖像對抗損失、內容對抗損失、圖像重建損失和內容風格重建損失，雙向重建損失確保編碼器和解碼器互為逆，圖像對抗損失使用圖像判別器確保遷移后圖像與目標域分布一致，內容對抗損失使用內容判別器確保遷移RGB圖像內容編碼與現實RGB圖像內容編碼分布一致。

2.根據權利要求1所述的基于多模態無監督圖像內容解耦的單目深度估計方法，其特征在于，所述多模態無監督圖像遷移網絡模型和深度估計網絡模型均包括：圖像內容編碼器、圖像風格編碼器和解碼器；

網絡模型分別利用圖像內容編碼器和圖像風格編碼器將RGB圖像解耦成圖像內容編碼和圖像風格編碼；

解碼器將圖像內容編碼與圖像風格編碼重新組合得到新的RGB圖像；

RGB圖像經圖像內容編碼器編碼后得到圖像內容編碼，圖像風格編碼通過解碼器得到風格遷移圖像，使用圖像生成對抗網絡來保證風格遷移圖像與原圖像分布一致，使用內容生成對抗網絡確保虛擬RGB圖像與現實RGB圖像分布一致。

3.根據權利要求1所述的基于多模態無監督圖像內容解耦的單目深度估計方法，其特征在于，所述步驟2.2包括：

按照高斯分布分別從現實RGB圖像域和虛擬RGB圖像域的風格編碼中的隨機獲取風格信息s_i、s_j，圖像x_i的內容c_i與圖像x_j的風格s_j經解碼器獲得遷移圖像x_i→j，即為圖像x_i風格遷移到虛擬RGB圖像域的圖像，包括原真實圖像的內容信息和虛擬RGB圖像域的風格信息，同樣得到包括虛擬圖像x_j的內容信息和現實RGB圖像域的風格信息的遷移圖像x_j→i；

對遷移圖x_i→j進行內容編碼和風格編碼，得到重建的圖像x_i內容信息和虛擬RGB圖像域的風格信息同樣得到遷移圖x_j→i的重建內容信息和重建風格信息