[發明專利]深度重建方法、裝置及存儲介質

在審

• 申請號: 202210399320.3
• 申請日: 2022-04-15
• 公開（公告）號: CN114758072A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 喬汝坤;查紅彬;姜翰青
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種深度重建方法，其特征在于，包括：

提取當前幀的特征，得到所述當前幀的特征矩陣，所述當前幀為當前處理的對預設的結構光模式的空間投影拍攝得到的圖像；

采用所述當前幀的特征矩陣和前一幀的特征矩陣進行預測，得到所述當前幀的預測視差圖；

采用所述當前幀的特征矩陣和所述結構光模式的特征矩陣對所述當前幀的預測視差圖進行修正，得到所述當前幀的修正視差圖。

2.根據權利要求1所述的方法，其特征在于，

所述采用所述當前幀的特征矩陣和前一幀的特征矩陣進行預測，得到所述當前幀的預測視差圖包括：

采用所述當前幀的特征矩陣和前一幀的特征矩陣計算所述當前幀與所述前一幀之間的模式流，所述模式流為所述結構光模式的空間投影在所述當前幀與所述前一幀之間的變化引起的光流；

采用所述模式流對所述前一幀的修正視差圖進行變換，得到所述當前幀的預測視差圖。

3.根據權利要求2所述的方法，其特征在于，

所述采用所述當前幀的特征矩陣和前一幀的特征矩陣計算所述當前幀與所述前一幀之間的模式流包括：

通過第一循環更新塊迭代計算得到所述模式流，所述第一循環更新塊的輸入包括所述當前幀的特征矩陣和所述前一幀的特征矩陣，并將所述第一循環更新塊本次的輸出結果作為下一次迭代計算的輸入，直至迭代次數達到預設值。

4.根據權利要求2所述的方法，其特征在于，

所述采用所述模式流對所述前一幀的修正視差圖進行變換，得到所述當前幀的預測視差圖包括：

基于所述模式流確定所述當前幀的視差圖像與所述前一幀的視差圖像之間的第一差值，所述當前幀的視差圖像為所述當前幀與所述結構光模式之間的視差圖像，所述前一幀的視差圖像為所述前一幀與所述結構光模式之間的視差圖像；

對所述第一差值與所述前一幀的修正視差圖求和，得到所述當前幀的預測視差圖。

5.根據權利要求1所述的方法，其特征在于，

所述采用所述當前幀的特征矩陣和所述結構光模式的特征矩陣對所述當前幀的預測視差圖進行修正包括：

采用所述當前幀的特征矩陣和所述結構光模式的特征矩陣進行預測，得到所述當前幀的第一視差圖；

利用所述當前幀的第一視差圖與所述當前幀的預測視差圖得到所述當前幀的第二視差圖；

采用所述當前幀的特征矩陣和所述結構光模式的特征矩陣對所述當前幀的第二視差圖進行修正。

6.根據權利要求5所述的方法，其特征在于，

所述利用所述當前幀的第一視差圖與所述當前幀的預測視差圖得到所述當前幀的第二視差圖包括：

將所述當前幀的第一視差圖與所述當前幀的預測視差圖融合得到所述當前幀的第二視差圖。

7.根據權利要求5所述的方法，其特征在于，

所述采用所述當前幀的特征矩陣和所述結構光模式的特征矩陣對所述當前幀的第二視差圖進行修正包括：

通過第二循環更新塊迭代計算得到所述當前幀的修正視差圖，所述第二循環更新塊的輸入包括所述當前幀的第二視差圖、所述當前幀的特征矩陣和所述結構光模式的特征矩陣，并將所述第二循環更新塊本次的輸出結果作為下一次迭代計算的輸入，直至迭代次數達到預設值。

8.根據權利要求1-7中任一項所述的方法，其特征在于，

所述結構光模式為偽隨機二進制模式，并且在行和列其中一個的方向上具備唯一性，在另一個方向上周期性重復。

9.根據權利要求1-7中任一項所述的方法，其特征在于，進一步包括：

利用所述當前幀與所述結構光模式的光度誤差對特征提取模塊、第一預測模塊和修正模塊中的至少一種進行自監督訓練，所述特征提取模塊用于提取所述當前幀的特征，所述第一預測模塊用于采用所述當前幀的特征矩陣和前一幀的特征矩陣進行預測，所述修正模塊用于采用所述當前幀的特征矩陣和所述結構光模式的特征矩陣對所述當前幀的預測視差圖進行修正。