[發明專利]深度重建方法、裝置及存儲介質

在審

• 申請號: 202210399320.3
• 申請日: 2022-04-15
• 公開（公告）號: CN114758072A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 喬汝坤;查紅彬;姜翰青
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

本申請公開了一種深度重建方法、裝置及計算機可讀存儲介質。該方法包括：提取當前幀的特征，得到當前幀的特征矩陣，當前幀為當前處理的對預設的結構光模式的空間投影拍攝得到的圖像；采用當前幀的特征矩陣和前一幀的特征矩陣進行預測，得到當前幀的預測視差圖；采用當前幀的特征矩陣和結構光模式的特征矩陣對當前幀的預測視差圖進行修正，得到當前幀的修正視差圖。通過上述方式，能夠減少深度重建所需的計算量，從而提高重建的幀率。

技術領域

本申請涉及機器視覺技術領域，特別是涉及一種深度重建方法、裝置及計算機可讀存儲介質。

背景技術

三維動態場景的深度信息恢復是計算機視覺領域的重要問題。動態場景的三維信息在AR/VR、運動分析、數字醫療等應用場景都有著高度的需求。很多進一步的分析和識別都需要實時獲得高精度、稠密的三維信息作為算法的基礎。結構光是單目立體視覺的一種實現方式。結構光系統一般包括光源(也可以被稱為投影光源)和單個相機。光源將設計好的結構光模式，或者說結構光圖案投射出去，若空間中存在物體，結構光投射在物體表面，由單個相機采集結構光的投影圖像，結構光的投影會隨著物體表面各部分的深度(即與結構光系統之間的距離)而產生畸變，對畸變進行分析可以得到物體的位置和深度信息。

盡管加入了投影后，相比較單純的相機圖像恢復的深度更加準確和魯棒，但對于動態場景而言，達到實時在線的要求依然是非常困難的。在每一幀圖像中變形模式均需要與原模式進行整幅圖像的全局匹配和優化，這種運算量會導致重建的幀率下降，難以滿足實時的要求。

發明內容

本申請提供一種深度重建方法、裝置及計算機可讀存儲介質，能夠解決現有的結構光深度重建難以實時動態重建視差圖像的問題。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種深度重建方法。該方法包括：提取當前幀的特征，得到當前幀的特征矩陣，當前幀為當前處理的對預設的結構光模式的空間投影拍攝得到的圖像；采用當前幀的特征矩陣和前一幀的特征矩陣進行預測，得到當前幀的預測視差圖；采用當前幀的特征矩陣和結構光模式的特征矩陣對當前幀的預測視差圖進行修正，得到當前幀的修正視差圖。

可選的，采用當前幀的特征矩陣和前一幀的特征矩陣進行預測，得到當前幀的預測視差圖包括：采用當前幀的特征矩陣和前一幀的特征矩陣計算當前幀與前一幀之間的模式流，模式流為結構光模式的空間投影在當前幀與前一幀之間的變化引起的光流；采用模式流對前一幀的修正視差圖進行變換，得到當前幀的預測視差圖。

可選的，采用當前幀的特征矩陣和前一幀的特征矩陣計算當前幀與前一幀之間的模式流包括：通過第一循環更新塊迭代計算得到模式流，第一循環更新塊的輸入包括當前幀的特征矩陣和前一幀的特征矩陣，并將第一循環更新塊本次的輸出結果作為下一次迭代計算的輸入，直至迭代次數達到預設值。

可選的，采用模式流對前一幀的修正視差圖進行變換，得到當前幀的預測視差圖包括：基于模式流確定當前幀的視差圖像與前一幀的視差圖像之間的第一差值，當前幀的視差圖像為當前幀與結構光模式之間的視差圖像，前一幀的視差圖像為前一幀與結構光模式之間的視差圖像；對第一差值與前一幀的修正視差圖求和，得到當前幀的預測視差圖。

可選的，采用當前幀的特征矩陣和結構光模式的特征矩陣對當前幀的預測視差圖進行修正包括：采用當前幀的特征矩陣和結構光模式的特征矩陣進行預測，得到當前幀的第一視差圖；利用當前幀的第一視差圖與當前幀的預測視差圖得到當前幀的第二視差圖；采用當前幀的特征矩陣和結構光模式的特征矩陣對當前幀的第二視差圖進行修正。

可選的，利用當前幀的第一視差圖與當前幀的預測視差圖得到當前幀的第二視差圖包括：將當前幀的第一視差圖與當前幀的預測視差圖融合得到當前幀的第二視差圖。