[發(fā)明專利]一種基于深度學(xué)習(xí)估計(jì)機(jī)器人位姿的方法

在審

• 申請?zhí)枺?/td>: 201910565280.3
• 申請日: 2019-06-27
• 公開（公告）號: CN111508024A
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 劉勇;翟光耀;劉亮;張林箭
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06N3/04;G06N3/08
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 劉曉春

本發(fā)明提供了一種基于深度學(xué)習(xí)估計(jì)機(jī)器人位姿的方法，采用深層級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)和棧式循環(huán)卷積神經(jīng)網(wǎng)絡(luò)結(jié)合串聯(lián)，利用數(shù)據(jù)驅(qū)動，端到端的摒棄了傳統(tǒng)方法中特征提取、特征匹配、相機(jī)標(biāo)定、圖優(yōu)化等步驟，通過特征提取模塊編碼圖片中紋理的幾何信息形成特征二維向量的記憶輸入至“記憶傳播模塊”進(jìn)行長期記憶的傳播，最終輸出預(yù)測的機(jī)器人上相機(jī)的位姿。本發(fā)明在訓(xùn)練網(wǎng)絡(luò)模型之前進(jìn)行了數(shù)據(jù)增強(qiáng)，包括兩種方式：隔幀增強(qiáng)和時序增強(qiáng)，可模擬機(jī)器人速度變化，速度逆向的情況，使數(shù)據(jù)更豐富，給網(wǎng)絡(luò)預(yù)測增加了約束令預(yù)測位姿更準(zhǔn)確。

技術(shù)領(lǐng)域

本發(fā)明涉及所述估計(jì)機(jī)器人位姿方法，特別涉及一種基于深度學(xué)習(xí)估計(jì)機(jī)器人位姿的方法。

背景技術(shù)

對于智能機(jī)器人的自主導(dǎo)航來說，機(jī)器人在運(yùn)動過程中的自定位能力非常重要。機(jī)器人的位姿估計(jì)問題是計(jì)算機(jī)視覺領(lǐng)域和SLAM的一個重要且尚需解決的問題，主流的位姿估計(jì)方法主要是基于圖片中的幾何特性來估計(jì)相機(jī)的位置，所以要求圖片中的物體含有大量穩(wěn)定的紋理特征。一旦場景中出現(xiàn)遮擋物或在霧天雨天取景，并且在沒有其他傳感器(IMU、激光雷達(dá)等)的情況下，幾何法的求解就會受到很嚴(yán)重的干擾。而很多實(shí)際應(yīng)用中，諸多其他傳感器也可能派不上用場，所以只通過視覺來定位的方法還有很大的研究空間。

近年，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法在計(jì)算機(jī)視覺領(lǐng)域發(fā)揮了非常重要的作用，這些深度網(wǎng)絡(luò)在提取圖片特征，找出潛在規(guī)律等發(fā)面相比傳統(tǒng)方法效果顯著。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是在于提供一種基于深度學(xué)習(xí)估計(jì)機(jī)器人位姿的方法，以利用深度學(xué)習(xí)提取圖片特征效果顯著的優(yōu)勢改善傳統(tǒng)方法的不魯棒性。

為此，本發(fā)明采用以下技術(shù)方案：

一種基于深度學(xué)習(xí)的估計(jì)機(jī)器人位姿方法，其特征在于，所述方法包括：

步驟一、確定傳感器以及傳感器的參數(shù)；

步驟二、確定所需訓(xùn)練數(shù)據(jù)要求，利用標(biāo)簽文件生成訓(xùn)練集、驗(yàn)證集和測試集，使用數(shù)據(jù)增強(qiáng)手段：隔幀增強(qiáng)、時序增強(qiáng)；

步驟三、搭建深度神經(jīng)網(wǎng)絡(luò)，包括確定網(wǎng)絡(luò)結(jié)構(gòu)為兩個子模塊、確定網(wǎng)絡(luò)初始超參數(shù)和確定網(wǎng)絡(luò)損失函數(shù)，所述兩個子模塊分別為特征提取模塊和記憶傳播模塊；

步驟四、利用步驟二準(zhǔn)備的訓(xùn)練集預(yù)訓(xùn)練搭建好的深度神經(jīng)網(wǎng)絡(luò)中的特征提取模塊，更新特征提取模塊的迭代參數(shù)，使特征提取模塊輸出收斂至第一預(yù)設(shè)閾值；

步驟五、將整個深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練好的子模塊的基礎(chǔ)上進(jìn)行全局調(diào)整，使用確定的訓(xùn)練集和驗(yàn)證集上訓(xùn)練整個深度神經(jīng)網(wǎng)絡(luò)，更新迭代參數(shù)，使網(wǎng)絡(luò)預(yù)測準(zhǔn)確率小于第二預(yù)設(shè)閾值；

步驟六、在測試集上進(jìn)行網(wǎng)絡(luò)模型的測試。

進(jìn)一步地，在所述步驟一中，傳感器類型為單目RGB相機(jī)。

進(jìn)一步地，在所述步驟二中，訓(xùn)練集數(shù)據(jù)采用KITTI VO/SLAM標(biāo)準(zhǔn)數(shù)據(jù)集，標(biāo)簽文件為相鄰兩張RGB圖片相對的位姿變換真值；數(shù)據(jù)增強(qiáng)手段中的隔幀增強(qiáng)是指為了模擬機(jī)器人速度變化的情況，將相鄰兩幀數(shù)據(jù)增強(qiáng)至相隔若干幀取一幀數(shù)據(jù)，時序增強(qiáng)是指為了模擬機(jī)器人速度逆向的情況，將準(zhǔn)備的數(shù)據(jù)逆向輸入，同時對網(wǎng)絡(luò)的前向預(yù)測和逆向預(yù)測起到一個限制的作用。

進(jìn)一步地，在所述步驟三中：

所述特征提取模塊和記憶傳播模塊分別為深層級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)和棧式循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，深層級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)用于提取相鄰兩幀RGB圖片中豐富的紋理信息所包含的幾何關(guān)系，并編碼成二維特征向量；棧式循環(huán)卷積神經(jīng)網(wǎng)絡(luò)輸入編碼向量進(jìn)行記憶傳播，最終輸出結(jié)果為預(yù)測的機(jī)器人上相機(jī)的位姿；

預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的損失函數(shù)為：(感覺未表達(dá)清楚)