[發明專利]深度圖生成方法和裝置

在審

• 申請號: 201911115722.0
• 申請日: 2019-11-14
• 公開（公告）號: CN112802078A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 毛亞敏;劉志花;高天豪;金允泰;李洪碩;全明帝;王強
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 于翔;曾世驍

1.一種深度圖生成方法，包括：

基于雙目圖像產生第一深度圖；

獲取深度相機采集的第二深度圖；

通過將第一深度圖與第二深度圖融合來產生最終深度圖。

2.如權利要求1所述的深度圖生成方法，其中，獲取第二深度圖的步驟包括：

從第二深度圖提取深度特征；

通過對提取的深度特征進行由相似矩陣引導的濾波，來產生深度補全的第三深度圖，

其中，相似矩陣是基于雙目圖像產生的。

3.如權利要求2所述的深度圖生成方法，其中，產生深度補全的第三深度圖的步驟包括：基于相似矩陣獲得深度圖的當前像素與當前像素的相鄰像素之間的相似度，并基于相鄰像素的深度特征和所述相似度按照預定方向對當前像素的深度特征進行濾波。

4.如權利要求3所述的深度圖生成方法，其中，所述預定方向包括從上到下的方向、從下到上的方向、從左到右的方向和從右到左的方向中的至少一個方向。

5.如權利要求1所述的深度圖生成方法，其中，產生第一深度圖的步驟包括：

獲得雙目圖像包括的每個單目圖像的第一特征圖；

基于單目圖像的第一特征圖，來獲得匹配代價矩陣；

對匹配代價矩陣進行代價聚合；

基于代價聚合的匹配代價矩陣來產生每個單目圖像的深度圖。

6.如權利要求5所述的深度圖生成方法，其中，產生第一深度圖的步驟還包括：

對每個單目圖像的深度圖進行一致性檢測以獲得每個單目圖像的可信深度圖。

7.如權利要求5所述的深度圖生成方法，其中，獲得第一特征圖的步驟包括基于注意力機制的神經網絡對雙目圖像進行特征提取。

8.如權利要求5所述的深度圖生成方法，其中，獲得匹配代價矩陣的步驟包括：基于單目圖像的第一特征圖獲得初始匹配代價矩陣，并將初始匹配代價矩陣輸入到預定神經網絡進行卷積來獲得匹配代價矩陣。

9.如權利要求5所述的深度圖生成方法，其中，進行代價聚合的步驟包括基于圖神經網絡(GNN)對匹配代價矩陣進行代價聚合。

10.如權利要求9所述的深度圖生成方法，其中，進行代價聚合的步驟包括：根據距離獲得與作為匹配代價矩陣的元素的每個中心節點的鄰域節點，基于每個鄰域節點的權重和鄰域節點的匹配代價，來更新每個中心節點的匹配代價以獲得第一代價聚合的匹配代價矩陣。

11.如權利要求10所述的深度圖生成方法，其中，進行代價聚合的步驟還包括使用第二特征圖引導代價聚合。

12.如權利要求11所述的深度圖生成方法，其中，第二特征圖是基于語義分割神經網絡生成的，或者第二特征圖與第一特征圖相同。

13.如權利要求12所述的深度圖生成方法，其中，進行代價聚合的步驟包括：根據距離獲得與第二特征圖的每個像素的鄰域像素，按照第二特征圖與匹配代價之間的像素對應關系，找到作為匹配代價矩陣的元素的每個中心節點的鄰域節點，基于鄰域節點的權重和匹配代價來更新每個中心節點的匹配代價以獲得第二代價聚合的匹配代價矩陣，并將第一代價聚合的匹配代價矩陣與第二代價聚合的匹配代價矩陣聚合以獲得第三代價聚合的匹配代價矩陣。

14.如權利要求10或13所述的深度圖生成方法，其中，所述距離為空間距離、特征向量距離、或者空間距離與特征向量距離的加權和。

15.如權利要求5所述的深度圖生成方法，其中，進行代價聚合的步驟包括：根據多個不同尺度的匹配代價矩陣獲得臨時匹配代價矩陣，獲得臨時匹配代價矩陣的每個元素對應于預定視差的概率，根據所述概率與臨時匹配代價矩陣獲得第四匹配代價矩陣。