[發明專利]一種視覺里程計測量方法

有效

• 申請號: 202011122212.9
• 申請日: 2020-10-20
• 公開（公告）號: CN112233179B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李鵬;伍仲祥;劉宗明;武冠群;徐加軍;蔡成林;周彥;盤宏斌;陳洋卓;劉琪
• 申請（專利權）人: 湘潭大學;浙江羅比科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/55;G06T7/269;G06T7/246;G01C21/20
• 代理公司: 湖南天地人律師事務所 43221
• 代理人: 楊萍

1.一種視覺里程計測量方法，其特征在于，包括以下步驟：

步驟1、獲取視覺里程計拍攝的圖像；

步驟2、對各連續的前后幀圖像，分別獲取其像素對應關系，即2D-2D匹配關系，從而得到對應的相機相對位姿；

利用訓練好的深度預測模型獲取各幀圖像的預測深度；

所述深度預測模型訓練過程中，先利用三角測量的方法從樣本圖像的2D-2D匹配關系中得到樣本圖像的三角化深度；再基于樣本圖像的三角化深度對深度預測模型輸出的樣本圖像的預測深度進行尺度轉換，并將樣本圖像經尺度轉換后的預測深度與三角化深度之間的深度誤差加入深度預測模型的損失函數中，作為深度預測模型訓練過程的監督，優化深度預測模型；

步驟3、根據各幀圖像的預測深度生成點云，并結合前后幀圖像對應的相機相對位姿，確定各點的空間坐標和相機的運動軌跡；

所述步驟2中，獲取前后幀圖像對應的相機相對位姿包括以下步驟：

步驟2.1、將當前幀圖像和前一幀圖像輸入訓練好的光流估計網絡模型進行光流估計，得到這兩幀圖像對應的前后向光流圖；

步驟2.2、基于前后向光流一致性評估中表現最好的一部分像素點得到兩幀圖像間的像素對應關系，即形成2D-2D匹配關系；

步驟2.3、根據得到的2D-2D匹配關系，采用對極幾何方法求解本質矩陣，從而得到這兩幀圖像對應的相機相對位姿[R,t]，其中R表示旋轉矩陣，t表示平移矩陣；

所述光流估計網絡模型包括特征金字塔提取網絡、光流估計網絡和上下文網絡；其中光流估計網絡包括扭曲層、代價體積層、遮擋估計器和光流估計器；其計算方法為：

特征金字塔提取網絡以兩幀圖像I₁和I₂為輸入，對兩幀圖像分別進行卷積下采樣，將它們編碼為空間分辨率逐層降低的特征金字塔，特征金字塔中第0層特征即為原始圖像，第1層～第L層為L個特征層；

遮擋估計器與光流估計器根據分辨率從低到高的順序從特征金字塔中逐層提取特征，采用從低分辨率到高分辨率的方式逐層工作，最終輸出原始分辨率的光流和遮擋圖，具體過程如下：

首先，計算第L層估計光流：

先從金字塔頂中提取兩幀圖像I₁和I₂的第L層特征，將其輸入代價體積層；再將當前代價體積層的輸出輸入遮擋估計器，得到第L層遮擋圖；

將第L層遮擋圖、當前代價體積層的輸出和圖像I₁的第L層特征輸入光流估計器，得到第L層估計光流；

然后，對于k＝L-1,L-2,…,0，依次執行以下步驟，逐層計算各層估計光流，最終得到第0層估計光流：

先將第k+1層估計光流的上采樣光流和圖像I₂的第k層特征輸入扭曲層；再將扭曲層的輸出和圖像I₁的第k層特征輸入代價體積層；

將第k+1層遮擋圖的上采樣遮擋圖、第k+1層估計光流的上采樣光流和當前代價體積層的輸出輸入遮擋估計器，得到第k層遮擋圖；

將圖像I₁的第k層特征、第k+1層估計光流的上采樣光流、當前代價體積層的輸出、第k層遮擋圖作為光流估計器的輸入，得到第k層估計光流；

計算過程中，令上述兩幀圖像I₁和I₂分別為t時刻和t+1時刻采集到的圖像，則通過上述方法得到的為第0層估計光流為前向光流；令兩幀圖像I₁和I₂分別為t+1時刻和t時刻采集到的圖像，則通過上述方法得到的為第0層估計光流為后向光流。

2.根據權利要求1所述的視覺里程計測量方法，其特征在于，所述步驟2.2中，每個像素點對應的前后向光流一致性評估標準為：

M_s＝1/(0.1+d_f)

其中，d_f為該像素點在前后向光流上對應的兩個光流矢量之間的距離，距離越小，表示該像素點對應的前后向光流差異越小，該像素點對應的前后向光流一致性程度M_s越高，即該像素點在前后向光流一致性評估中表現越好。