[發(fā)明專利]一種基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011151965.2
• 申請(qǐng)日: 2020-10-26
• 公開(kāi)（公告）號(hào): CN112308918A
• 公開(kāi)（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 周文暉;王威盛;孫煨;張樺;戴國(guó)駿
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/77;G06N3/04;G06N3/08;G06F7/523;G06F17/16
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開(kāi)了一種基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)方法。本發(fā)明包括如下步驟：S1：準(zhǔn)備KITTI數(shù)據(jù)集并進(jìn)行預(yù)處理；S2：基于位姿解耦估計(jì)公式，設(shè)計(jì)位姿解耦估計(jì)網(wǎng)絡(luò)；S3：設(shè)計(jì)基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)；S4：定義基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)的損失函數(shù)；S5：使用KITTI數(shù)據(jù)集中的訓(xùn)練集訓(xùn)練基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)。本發(fā)明從相機(jī)位姿估計(jì)的級(jí)聯(lián)解耦結(jié)構(gòu)設(shè)計(jì)開(kāi)始，以實(shí)現(xiàn)精確的位姿估計(jì)；并將其擴(kuò)展到無(wú)監(jiān)督單目視覺(jué)里程計(jì)，實(shí)現(xiàn)相鄰幀間相機(jī)位姿的旋轉(zhuǎn)矩陣和平移矩陣解耦估計(jì)；為提高旋轉(zhuǎn)矩陣估計(jì)的魯棒性，旋轉(zhuǎn)矩陣采用單位四元數(shù)表示；最終在KITTI數(shù)據(jù)庫(kù)上完成訓(xùn)練和測(cè)評(píng)。

技術(shù)領(lǐng)域

本發(fā)明是關(guān)于深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)領(lǐng)域，特別涉及了一種基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)方法。

背景技術(shù)

深度學(xué)習(xí)是近年來(lái)人工智能領(lǐng)域中的一項(xiàng)重要突破，已在圖像分類、圖像理解、語(yǔ)音識(shí)別、自然語(yǔ)言處理等多個(gè)方向取得了突破性進(jìn)展。相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)方法的主要過(guò)程為：構(gòu)建數(shù)據(jù)集；使用卷積層、全連接層、激活層等設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)損失函數(shù)；利用數(shù)據(jù)集訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，采用誤差反傳技術(shù)和梯度下降的優(yōu)化方法更新深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)，使得深度神經(jīng)網(wǎng)絡(luò)沿著損失函數(shù)最小的方向?qū)W習(xí)。訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)模型可擬合出高維復(fù)雜函數(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)輸入到輸出的期望映射，并在測(cè)試數(shù)據(jù)集上進(jìn)行預(yù)測(cè)。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)方法中發(fā)展最成功的網(wǎng)絡(luò)結(jié)構(gòu)之一，它利用卷積層提取輸入圖像的低維和高維語(yǔ)義特征，然后利用這些語(yǔ)義特征完成分類、回歸等任務(wù)。無(wú)監(jiān)督學(xué)習(xí)是深度學(xué)習(xí)方法中的一類學(xué)習(xí)機(jī)制，可從無(wú)標(biāo)記的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到語(yǔ)義特征。

基于視覺(jué)的定位方法通常有視覺(jué)里程計(jì)(Visual Odometry,VO) 和視覺(jué)同時(shí)定位與地圖構(gòu)建方法(Visual Simultaneous Localization and Mapping,V-SLAM)。視覺(jué)里程計(jì)由Nister提出，通過(guò)分析圖像序列中前后幀圖像來(lái)估計(jì)相機(jī)自運(yùn)動(dòng)。視覺(jué)里程計(jì)無(wú)需相機(jī)運(yùn)動(dòng)和場(chǎng)景的先驗(yàn)信息，并且能避免傳統(tǒng)里程計(jì)中的缺點(diǎn)和局限。如果只使用一個(gè)相機(jī)進(jìn)行定位估計(jì)，稱為單目視覺(jué)里程計(jì)。如果使用立體視覺(jué)相機(jī)，則稱為雙目視覺(jué)里程計(jì)。一般使用立體視覺(jué)相機(jī)的情況時(shí)，根據(jù)兩個(gè)相機(jī)在水平軸上的位置關(guān)系，稱在左邊的相機(jī)為左相機(jī)，在右邊的相機(jī)為右相機(jī)。視覺(jué)里程計(jì)目標(biāo)是根據(jù)相機(jī)拍攝的圖像序列估計(jì)相機(jī)運(yùn)動(dòng)。相機(jī)運(yùn)動(dòng)表示為相鄰圖像幀間相機(jī)的空間位置變化，包括相機(jī)的平移距離和旋轉(zhuǎn)角度。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)方法。本發(fā)明具體實(shí)現(xiàn)包括如下步驟：

步驟S1：準(zhǔn)備KITTI數(shù)據(jù)集并進(jìn)行預(yù)處理；

步驟S2：基于位姿解耦估計(jì)公式，設(shè)計(jì)位姿解耦估計(jì)網(wǎng)絡(luò)；

步驟S3：設(shè)計(jì)基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)；

步驟S4：定義基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)的損失函數(shù)；

步驟S5：使用KITTI數(shù)據(jù)集中的訓(xùn)練集訓(xùn)練基于位姿解耦估計(jì)的無(wú)監(jiān)督單目視覺(jué)里程計(jì)。

進(jìn)一步的，所述步驟S2具體實(shí)現(xiàn)包括：

步驟S2-1：所述的位姿解耦估計(jì)公式是將兩幀間的相機(jī)位姿矩陣分解為解耦平移矩陣和解耦旋轉(zhuǎn)矩陣的級(jí)聯(lián)相乘，從而將相機(jī)位姿估計(jì)分解為解耦平移矩陣和解耦旋轉(zhuǎn)矩陣的級(jí)聯(lián)估計(jì)；具體表述為：