[發明專利]深度信息處理方法、裝置、設備、存儲介質和程序產品

有效

• 申請號: 202110018277.7
• 申請日: 2021-01-07
• 公開（公告）號: CN112837360B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 宋希彬;張良俊
• 申請（專利權）人: 北京百度網訊科技有限公司;百度(美國)有限責任公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種深度信息處理方法，包括：

獲取目標場景的輸入深度信息和像素信息；

分別對所述目標場景的輸入深度信息和像素信息進行編碼，得到深度編碼特征和像素編碼特征；

對所述深度編碼特征和所述像素編碼特征進行解碼，得到目標場景的補充深度信息；

其中，所述對所述深度編碼特征和所述像素編碼特征進行解碼，得到目標場景的補充深度信息，包括：

對所述深度編碼特征和所述像素編碼特征進行能量融合，得到能量融合結果；

對所述能量融合結果進行特征強化，得到特征強化結果，并對所述特征強化結果進行解碼，得到目標場景的補充深度信息；

對所述能量融合結果進行特征強化，得到特征強化結果，包括：

根據所述能量融合結果，確定通道級權重矩陣和/或像素級權重矩陣；所述通道級權重矩陣的行數和列數均為卷積層的通道數量；所述像素級權重矩陣的行數和列數均為卷積層中單個通道的像素點數量

根據所述通道級權重矩陣，對所述能量融合結果進行通道特征強化；和/或，根據所述像素級權重矩陣，對所述能量融合結果進行像素特征強化；

根據通道特征強化的結果和/或像素特征強化的結果，確定特征強化結果；

所述根據所述通道級權重矩陣，對所述能量融合結果進行通道特征強化，包括：

對所述能量融合結果進行卷積，得到中間能量特征；

根據所述中間能量特征和所述通道級權重矩陣，確定第一增量能量特征；

根據所述中間能量特征和所述第一增量能量特征進行疊加，得到通道特征強化的結果。

2.根據權利要求1所述方法，其中，獲取目標場景的輸入深度信息，包括：

將所述目標場景的稀疏深度信息作為深度信息補充模型中首部子模型單元的輸入深度信息；

針對所述深度信息補充模型中除首部子模型單元外的每一其他子模型單元，將該其他子模型單元的上一子模型單元所確定的補充深度信息作為該其他子模型單元的輸入深度信息。

3.根據權利要求1所述的方法，其中，所述分別對所述目標場景的輸入深度信息和像素信息進行編碼，得到深度編碼特征和像素編碼特征，包括：

針對編碼器中每一卷積層，選擇該卷積層所輸出的一半通道的深度編碼特征和一半通道的像素編碼特征，作為該卷積層的深度融合特征；

選擇該卷積層所輸出的另一半通道的深度編碼特征和另一半通道的像素編碼特征，作為該卷積層的像素融合特征；

將卷積層的深度融合特征和像素融合特征，分別確定為深度編碼特征和像素編碼特征。

4.根據權利要求1所述的方法，其中，對所述深度編碼特征和所述像素編碼特征進行能量融合，得到能量融合結果，包括：

針對每一通道中的每一像素點，確定所述深度編碼特征中該像素點的深度能量窗口，以及所述深度能量窗口中各像素點的總像素值；

確定所述像素編碼特征中該像素點的像素能量窗口，以及所述像素能量窗口中各像素點的總像素值；

比較所述深度能量窗口中各像素點的總像素值和所述像素能量窗口中各像素點的總像素值，并根據比較結果，將深度編碼特征中的該像素點值或像素編碼特征中的該像素點值作為該像素點的能量像素值，將各通道中的各像素點的能量像素值的集合作為能量融合結果。

5.根據權利要求1所述的方法，其中，所述根據所述像素級權重矩陣，對所述能量融合結果進行像素特征強化，包括：

對所述能量融合結果進行卷積，得到中間能量特征；

根據所述中間能量特征和所述像素級權重矩陣，確定第二增量能量特征；

根據所述中間能量特征和所述第二增量能量特征進行疊加，得到像素特征強化的結果。