[發明專利]一種單目視頻深度圖計算方法

在審

• 申請號: 201710351600.6
• 申請日: 2017-05-18
• 公開（公告）號: CN107481279A
• 公開（公告）日: 2017-12-15
• 發明（設計）人: 曹治國;張潤澤;肖陽;鮮可;楊佳琪;李然;趙富榮;李睿博
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73
• 代理公司: 武漢東喻專利代理事務所(普通合伙)42224
• 代理人: 李佑宏

1.一種單目視頻深度圖計算方法，其特征在于，包括下列步驟，

S1將待恢復的視頻按幀分解成圖片；

S2提取每一幀的圖片特征點，其中，提取時對整體紋理豐富的視頻幀采用SIFT描述子，對整體紋理不豐富的視頻幀采用AKAZE描述子；

S3匹配每一幀的特征點，形成特征點軌跡，其中，若步驟S2中提取時采用SIFT描述子，則匹配時采用快速級聯Hash匹配方法，若步驟S2中提取時采用AKAZE描述子，則匹配時采用基于Hamming距離的匹配方法；

S4計算每一幀的全局旋轉矩陣，所述全局旋轉矩陣為世界坐標系的坐標軸相對于相機坐標系的方向；

S5計算每一幀的全局平移向量，所述全局平移向量為世界坐標系坐標軸相對于相機坐標系的位置坐標；

S6獲取相機優化參數；

S7計算選定幀的稠密光流；

S8根據所述相機優化參數和所述稠密光流，計算選定幀的深度值，并進一步地獲得其深度圖；

所述步驟S5中包括，

S51利用最小化重投影誤差的方法計算三視圖關系，利用全局旋轉矩陣和所述三視圖關系計算局部相對平移向量；

S52建立線性規劃模型求解全局平移向量。

2.根據權利要求1所述的一種單目視頻深度圖計算方法，其中，所述步驟S3中包括，

S31匹配每一幀的特征點；

S32剔除匹配錯誤的匹配對；

S33模擬形成特征點軌跡。

3.根據權利要求1或2所述的一種單目視頻深度圖計算方法，其中，所述步驟S4中包括，

S41計算任意兩幀的相對旋轉矩陣和相對平移向量；

S42剔除計算錯誤的相對旋轉矩陣；

S43根據所述相對旋轉矩陣和相對平移向量計算全局旋轉矩陣。

4.根據權利要求1或2所述的一種單目視頻深度圖計算方法，其中，所述步驟S6將所述全局平移向量、所述全局旋轉矩陣以及空間點坐標進行聯合優化，即光束平差，從而實現相機參數的優化。

5.根據權利要求1或2所述的一種單目視頻深度圖計算方法，其中，所述步驟S8采用三角測量方法計算深度值。

6.一種單目視頻深度圖計算系統，其特征在于，包括，

視頻分解模塊，用于將待恢復的視頻按幀分解成圖片；

特征提取模塊，用于提取每一幀的圖片特征點，其中，提取時對整體紋理豐富的視頻幀采用SIFT描述子，對整體紋理不豐富的視頻幀采用AKAZE描述子；

特征匹配模塊，用于匹配特征點，形成特征點軌跡，其中，若步驟S2中提取時采用SIFT描述子，則匹配時采用快速級聯Hash匹配方法，若步驟S2中提取時采用AKAZE描述子，則匹配時采用基于Hamming距離的匹配方法；

旋轉矩陣模塊，用于計算全局旋轉矩陣，所述全局旋轉矩陣為世界坐標系的坐標軸相對于相機坐標系的方向；

平移向量模塊，用于利用最小化重投影誤差的方法計算三視圖關系，利用全局旋轉矩陣和所述三視圖關系計算局部相對平移向量，建立線性規劃模型求解全局平移向量，所述全局平移向量為世界坐標系坐標軸相對于相機坐標系的位置坐標；

參數優化模塊，用于優化相機參數；

稠密光流模塊，用于計算選定幀的稠密光流；

深度圖模塊，用于計算選定幀的深度值，并進一步地獲得其深度圖。