[發(fā)明專利]一種融合特征點法和直接法的快速單目視覺里程計導航定位方法

有效

• 申請?zhí)枺?/td>: 201811178602.0
• 申請日: 2018-10-10
• 公開（公告）號: CN109544636B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計）人: 朱靜;汪程輝;呂鵬浩;蘇啟彬;花明;吳羽;姚佳岷
• 申請（專利權(quán)）人: 廣州大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/33;G01C22/00
• 代理公司: 廣州市華學知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種融合特征點法和直接法的快速單目視覺里程計導航定位方法，其特征在于，包括下述步驟：

S1、開啟視覺里程計并獲取第一幀圖像I₁，轉(zhuǎn)化為灰度圖，并提取ORB特征點，構(gòu)建初始化關(guān)鍵幀；

S2、判斷是否已初始化；若已初始化，則轉(zhuǎn)到步驟S6，否則轉(zhuǎn)到步驟S3；

S3、定義參考幀和當前幀，提取ORB特征，并進行特征匹配；步驟S3中，采用計算BRIEF描述子提取ORB特征點，具體方法為：

BRIEF是一種二進制描述子，其描述向量由許多0和1組成，這里的0和1編碼了關(guān)鍵點附近的兩個像素p和q的大小關(guān)系：如果p比q小，取1；反之取0，其計算過程如下：

1）選定建立描述子的區(qū)域；即特征點的一個正方形鄰域；

2）對該正方形鄰域用σ=2的高斯核卷積，以消除一些噪聲；

3）以一定的隨機化算法生成點對p,g，若點p的亮度小于點q的亮度，則返回值1，否則返回0；

4）重復步驟3）若干次，得到一個256位的二進制編碼，即該特征點的描述子；

特征匹配的方法如下：

S3.2.1.計算機兩相鄰關(guān)鍵幀的BRIEF描述子的漢明距離；

S3.2.2、使用FLANN快速近似最近鄰算法對特征點匹配；

S4、用并行線程同時求單應矩陣H和基礎(chǔ)矩陣F，計算判斷模型得分RH，若RH大于閾值時選用單應矩陣H，否則選用基礎(chǔ)矩陣F，并根據(jù)選用的模型估計相機運動；

所述步驟S4中，單應矩陣H和基礎(chǔ)矩陣F分別滿足下列關(guān)系：

為了評估哪個模型更合適，在每次迭代中，計算每個模型M的得分SM， SH和SF分別表示單應矩陣H和基礎(chǔ)矩陣F的分數(shù),則SM統(tǒng)一表示SH和SF為：

其中，和表示從一幀到另一幀的對稱的轉(zhuǎn)換誤差，分別是從當前幀到參考幀的變換誤差和參考幀到當前幀的變換誤差，這里：

當場景是一個平面、或近似為一個平面、或者視差較小的時候，使用單應矩陣H，而使用基礎(chǔ)矩陣F恢復運動，需要場景是一個非平面、視差大的場景；

S5、求相機位姿和初始3D點；

S6、判斷是否已提取特征點，若未提取特征點，則使用直接法進行跟蹤，否則用特征點法進行跟蹤；步驟S6具體為：

S6.1、若未提取特征點，使用直接法最小化圖像塊重投影殘差來獲取初始位姿估計；即通過不斷優(yōu)化位姿Tk,k?1最小化殘差損失函數(shù)，其公式如下：

其中,

S6.2、計算像素點對齊，基于光度不變性假設(shè)，特征塊在以前參考幀中的亮度應該和new frame中的亮度差不多，所以可以重新構(gòu)造一個殘差，對特征預測位置進行優(yōu)化：

S6.3、若已提取特征點或者直接法跟蹤失敗，則改用特征點法的恒速模型進行跟蹤；

S6.4、若恒速模型跟蹤失敗，則改用特征點法的參考幀模型進行跟蹤；

S6.5、若參考幀模型跟蹤失敗，則進行重定位；

步驟S6.1具體為：

S6.1.1、準備工作，假設(shè)相鄰幀之間的位姿Tk,k?1已知，初始化為上一相鄰時刻的位姿或者假設(shè)為單位矩陣，通過之前多幀之間的特征檢測以及深度估計，已經(jīng)知道第k-1幀中特征點位置以及它們的深度；

S6.2.2、重投影，知道Ik?1中的某個特征在圖像平面的位置(u,v)，以及它的深度d，能夠?qū)⒃撎卣魍队暗饺S空間pk?1，該三維空間的坐標系是定義在Ik?1攝像機坐標系的；所以，將它投影到當前幀Ik中，需要位姿轉(zhuǎn)換Tk,k?1，得到該點在當前幀坐標系中的三維坐標pk，最后通過攝像機內(nèi)參數(shù)，投影到Ik的圖像平面(u′,v′)，完成重投影；

S6.3.3、迭代優(yōu)化更新位姿，不斷優(yōu)化位姿使得這個殘差最小，就能得到優(yōu)化后的位姿Tk,k?1；

S7、完成初始相機位姿估計；

S8、若通過一種模型完成了初始相機的位姿估計，則進一步跟蹤局部地圖，即和當前幀相關(guān)聯(lián)的地圖點做聯(lián)合優(yōu)化，獲得一個較為準確的相機位姿；

S9、獲取下一幀圖像并轉(zhuǎn)到步驟S2。