[發明專利]一種單視彩色圖像深度圖獲得方法及裝置

有效

• 申請號: 201910703005.3
• 申請日: 2019-07-31
• 公開（公告）號: CN110415284B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 陳雪錦;陳嘯天
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T5/50;G06N3/08;G06N3/04;G06V10/52;G06V10/77
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張建

1.一種單視彩色圖像深度圖獲得方法，其特征在于，包括：

從輸入的一張單視角彩色圖像中提取預設尺度隊列中的多個尺度下的初始特征圖，所述多個尺度按照尺度從細到粗的順序在所述尺度隊列中從下到上依次排列；

對所述多個尺度中的任一尺度：在該尺度下將提取的多個尺度下的初始特征圖進行融合，獲得該尺度下的融合特征圖；

根據所述多個尺度中的最粗尺度下的初始特征圖和所述最粗尺度下的融合特征圖獲得所述最粗尺度下的深度圖；

對所述多個尺度中的除所述最粗尺度外的任一尺度：根據該尺度下的融合特征圖獲得該尺度下的深度殘差圖，將該尺度下的深度殘差圖與所述預設尺度隊列中上一尺度下的深度圖融合后獲得該尺度下的深度圖；

將所述多個尺度中最細尺度下的深度圖確定為所述單視角彩色圖像的深度圖；

所述根據所述多個尺度中的最粗尺度下的初始特征圖和所述最粗尺度下的融合特征圖獲得所述最粗尺度下的深度圖，包括：

將所述多個尺度中的最粗尺度下的初始特征圖和所述最粗尺度下的融合特征圖進行通道合并，獲得所述最粗尺度下的通道合并特征圖；

使用訓練得到的第一卷積核組對所述最粗尺度下的通道合并特征圖進行卷積，獲得所述最粗尺度下的初始深度圖；

使用訓練得到的第二卷積核組對所述初始深度圖進行卷積，然后和所述最粗尺度下的初始深度圖相加，獲得所述最粗尺度下的細化深度圖；

所述對所述多個尺度中的除所述最粗尺度外的任一尺度：根據該尺度下的融合特征圖獲得該尺度下的深度殘差圖，將該尺度下的深度殘差圖與所述預設尺度隊列中上一尺度下的深度圖融合后獲得該尺度下的深度圖，包括：

對所述多個尺度中的除所述最粗尺度外的任一尺度：使用訓練得到的、與該尺度匹配的第三卷積核組對該尺度下的融合特征圖進行卷積，獲得該尺度下的深度殘差圖，對所述預設尺度隊列中上一尺度下的細化深度圖進行上采樣，將上采樣后的細化深度圖與該尺度下的深度殘差圖相加，獲得該尺度下的初始深度圖，使用訓練得到的、與該尺度匹配的第四卷積核組對該尺度下的初始深度圖進行卷積，然后和該尺度下的初始深度圖相加，獲得該尺度下的細化深度圖。

2.根據權利要求1所述的方法，其特征在于，所述第三卷積核組包括第一卷積核和第二卷積核，所述第一卷積核的大小為3×3，所述第一卷積核的通道數與所述第三卷積核組匹配的尺度下的融合特征圖的通道數相同；所述第二卷積核為一個通道數為1的3×3的卷積核；

所述第四卷積核組包括第三卷積核、第四卷積核和第五卷積核，所述第三卷積核、所述第四卷積核和所述第五卷積核的大小均為3×3，所述第三卷積核和所述第四卷積核的通道數均為與所述第四卷積核組匹配的尺度下的融合特征圖的通道數的一半，所述第五卷積核的通道數為1。

3.根據權利要求1所述的方法，其特征在于，所述對所述多個尺度中的任一尺度：在該尺度下將提取的多個尺度下的初始特征圖進行融合，獲得該尺度下的融合特征圖，包括：

對所述多個尺度中的任一尺度：將提取的多個尺度下的初始特征圖通過雙線性插值調整到該尺度的分辨率下，將調整后的多個初始特征圖輸入自適應稠密特征融合模塊進行融合，獲得該尺度下的融合特征圖。