[發明專利]一種結合深度學習和幾何優化的位姿計算方法和系統

有效

• 申請號: 201911376183.6
• 申請日: 2019-12-27
• 公開（公告）號: CN111145255B
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 張蘭清;李宏
• 申請（專利權）人: 浙江省北大信息技術高等研究院;杭州未名信科科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/50
• 代理公司: 浙江英普律師事務所 33238
• 代理人: 毛愛東

1.一種結合深度學習和幾何優化的位姿計算方法，其特征在于，包含位姿估計模塊PoseNet和深度估計模塊DepthNet，包括以下步驟：

S1，預備單目視頻序列,將單目視頻序列分段，預訓練位姿估計模塊PoseNet和深度估計模塊DepthNet；

S2，將S1分段后的視頻段輸入位姿估計模塊得到連續相鄰幀之間的位姿變化；將S1分段后的視頻段輸入深度估計模塊得到每幀的深度估計；

S3，計算S1分段后的視頻段中的每幀圖像的像素梯度，選擇像素梯度大于閾值的像素點集作為邊緣像素，與S2中的深度估計配合，將邊緣像素中的像素點反投影到三維空間中，得到邊緣像素路標點，邊緣像素路標點的坐標為其中u,v為像素坐標，f,c為相機內參,d為像素所在點的深度值，然后將該路標點向后一幀投影，計算邊緣像素路標點在相鄰幀之間的光度誤差，構建光度非線性函數，輸入S2中的位姿變化，進行優化，輸出位姿變化量；提取S1分段后的視頻段中每幀的特征點，計算特征點的描述子，通過描述子之間的距離，得到相鄰幀上特征點之間的匹配關系，通過匹配關系得到路標點，計算該路標點對應的特征點集，然后通過三角化函數計算路標點的坐標；

S4，將S3的路標點向視頻段每幀投影，計算重投影誤差，構建幾何非線性函數，所述幾何非線性函數為：

其中n是局部地圖幀的數目，m是路標點的數目，p_ij表示一次觀測，π是投影函數，輸入S3中的位姿變化量，進行優化，輸出優化后位姿；

S5，將視頻段的優化后位姿串聯得到最終位姿。

2.根據權利要求1所述的結合深度學習和幾何優化的位姿計算方法，其特征在與，該閾值為120。

3.根據權利要求1所述的結合深度學習和幾何優化的位姿計算方法，其特征在于，所述步驟S3中光度非線性函數為：

其中M是選擇路標點的數目，e_j是第j個空間點的光度值,為對應像素的光度值，x_j是第j個空間點的三維坐標，I_i表示獲取某個像素點的光度值。

4.根據權利要求1所述的結合深度學習和幾何優化的位姿計算方法，其特征在于，所述步驟S3中，對每一個路標點將得到的路標坐標作均值運算。

5.根據權利要求1所述的結合深度學習和幾何優化的位姿計算方法，其特征在于，所述步驟1中，將單目視頻序列分成長度相同的視頻段。

6.一種結合深度學習和幾何優化的位姿計算系統，其特征在于，包含位姿估計模塊PoseNet和深度估計模塊DepthNet，PoseNet為卷積神經網絡結構，每一層卷積層之后都連接激活函數；DepthNet包括編碼器和解碼器，編碼器結構與解碼器結構排列相反；包括以下步驟：

S1，預備單目視頻序列,將單目視頻序列分段，預訓練位姿估計模塊PoseNet和深度估計模塊DepthNet；

S2，將S1分段后的視頻段輸入位姿估計模塊得到連續相鄰幀之間的位姿變化；將S1分段后的視頻段輸入深度估計模塊得到每幀的深度估計；

S3，計算S1分段后的視頻段中的每幀圖像的像素梯度，選擇像素梯度大于閾值的像素點集作為邊緣像素，與S2中的深度估計配合，將邊緣像素中的像素點反投影到三維空間中，得到邊緣像素路標點，邊緣像素路標點的坐標為其中u,v為像素坐標，f,c為相機內參,d為像素所在點的深度值，然后將該路標點向后一幀投影，計算邊緣像素路標點在相鄰幀之間的光度誤差，構建光度非線性函數，輸入S2中的位姿變化，進行優化，輸出位姿變化量；提取S1分段后的視頻段中每幀的特征點，計算特征點的描述子，通過描述子之間的距離，得到相鄰幀上特征點之間的匹配關系，通過匹配關系得到路標點，計算該路標點對應的特征點集，然后通過三角化函數計算路標點的坐標；

S4，將S3的路標點向視頻段每幀投影，計算重投影誤差，構建幾何非線性函數，所述幾何非線性函數為：

其中n是局部地圖幀的數目，m是路標點的數目，p_ij表示一次觀測，π是投影函數，輸入S3中的位姿變化量，進行優化，輸出優化后位姿；

S5，將視頻段的優化后位姿串聯得到最終位姿。