[發(fā)明專利]位姿恢復方法、裝置、可讀存儲介質(zhì)和機器人

在審

• 申請?zhí)枺?/td>: 202210127414.5
• 申請日: 2022-02-11
• 公開（公告）號: CN114494886A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 姜新禹;程冉;孫濤
• 申請（專利權(quán)）人: 美智縱橫科技有限責任公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/40;G06N3/08;G06N3/02
• 代理公司: 北京友聯(lián)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 王丹玉;汪海屏

1.一種位姿恢復方法，用于機器人，其特征在于，所述機器人包括視覺傳感器，所述位姿恢復方法包括：

在所述機器人丟失定位信息的情況下，獲取所述視覺傳感器采集的視覺數(shù)據(jù)；

將所述視覺數(shù)據(jù)輸入至預設(shè)神經(jīng)網(wǎng)絡(luò)模型，以供所述預設(shè)神經(jīng)網(wǎng)絡(luò)模型對所述視覺數(shù)據(jù)進行編碼，得到編碼結(jié)果，并將所述編碼結(jié)果與預設(shè)神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)節(jié)點的屬性信息進行相似度對比，得到對比結(jié)果，根據(jù)所述對比結(jié)果，確定目標網(wǎng)絡(luò)節(jié)點，其中，所述目標網(wǎng)絡(luò)節(jié)點的屬性信息包括第一位姿數(shù)據(jù)；

輸出所述第一位姿數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的位姿恢復方法，其特征在于，所述位姿恢復方法還包括：

構(gòu)建圖神經(jīng)網(wǎng)絡(luò)；

獲取歷史視覺數(shù)據(jù)；

根據(jù)所述歷史視覺數(shù)據(jù)確定訓練數(shù)據(jù)中的關(guān)鍵幀數(shù)據(jù)以及與所述關(guān)鍵幀對應(yīng)的第二位姿數(shù)據(jù)；

根據(jù)所述第二位姿數(shù)據(jù)和關(guān)鍵幀數(shù)據(jù)對所述圖神經(jīng)網(wǎng)絡(luò)進行訓練，得到所述預設(shè)神經(jīng)網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求2所述的位姿恢復方法，其特征在于，所述關(guān)鍵幀數(shù)據(jù)包括目標關(guān)鍵幀數(shù)據(jù)和剩余關(guān)鍵幀數(shù)據(jù)，

所述根據(jù)所述第二位姿數(shù)據(jù)和關(guān)鍵幀數(shù)據(jù)對所述圖神經(jīng)網(wǎng)絡(luò)進行訓練，得到所述預設(shè)神經(jīng)網(wǎng)絡(luò)模型，包括：

根據(jù)所述第二位姿數(shù)據(jù)，將目標關(guān)鍵幀數(shù)據(jù)中的每一像素點向剩余關(guān)鍵幀數(shù)據(jù)進行投影，得到相似性矩陣；

根據(jù)所述相似性矩陣對所述圖神經(jīng)網(wǎng)絡(luò)進行訓練，得到所述預設(shè)神經(jīng)網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求3所述的位姿恢復方法，其特征在于，根據(jù)所述第二位姿數(shù)據(jù)，將目標關(guān)鍵幀數(shù)據(jù)中的每一像素點向剩余關(guān)鍵幀數(shù)據(jù)進行投影，得到相似性矩陣，具體包括：

確定目標關(guān)鍵幀數(shù)據(jù)中的每一像素點在剩余關(guān)鍵幀數(shù)據(jù)進行投影的坐標值；

根據(jù)所述坐標值，確定目標關(guān)鍵幀數(shù)據(jù)投影在剩余關(guān)鍵幀數(shù)據(jù)中的像素數(shù)量；

根據(jù)所述像素數(shù)量確定目標關(guān)鍵幀數(shù)據(jù)與剩余關(guān)鍵幀數(shù)據(jù)的交并比；

根據(jù)所述交并比確定所述相似性矩陣。

5.根據(jù)權(quán)利要求2所述的位姿恢復方法，其特征在于，構(gòu)建圖神經(jīng)網(wǎng)絡(luò)，包括：

將關(guān)鍵幀數(shù)據(jù)所對應(yīng)的位姿節(jié)點作為所述網(wǎng)絡(luò)節(jié)點；

將第二位姿數(shù)據(jù)和編碼后的視覺數(shù)據(jù)作為所述網(wǎng)絡(luò)節(jié)點的屬性信息；

將所有的節(jié)點彼此連接，得到所述圖神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求2至5中任一項所述的位姿恢復方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型包括編碼器-解碼器，所述位姿恢復方法還包括：

確定所述關(guān)鍵幀數(shù)據(jù)中的特征點；

確定以所述特征點為中心、不同尺度為半徑內(nèi)的圖像塊；

根據(jù)所述圖像塊和所述第二位姿數(shù)據(jù)對的編碼器-解碼器進行訓練。

7.根據(jù)權(quán)利要求6所述的位姿恢復方法，其特征在于，所述圖像塊包括：RGB圖像數(shù)據(jù)塊和深度圖像數(shù)據(jù)塊；

根據(jù)所述圖像塊和所述第二位姿數(shù)據(jù)對的編碼器-解碼器進行訓練，包括：

對每一所述關(guān)鍵幀數(shù)據(jù)中的RGB圖像數(shù)據(jù)塊和深度圖像數(shù)據(jù)塊進行疊加，得到疊加結(jié)果；

對所述疊加結(jié)果進行編碼，得到編碼結(jié)果；

對所述編碼結(jié)果進行處理，得到查詢幀和地圖幀；

在所述查詢幀和所述地圖幀之間的相似度滿足預設(shè)要求，結(jié)束訓練。

8.根據(jù)權(quán)利要求7所述的位姿恢復方法，其特征在于，

采用滑動窗口的方式對所述編碼器-解碼器進行訓練。

9.根據(jù)權(quán)利要求7所述的位姿恢復方法，其特征在于，

采用Transformer Encoder和多層感知網(wǎng)絡(luò)對所述編碼結(jié)果進行處理，得到所述查詢幀和所述地圖幀。

10.根據(jù)權(quán)利要求1至5中任一項所述的位姿恢復方法，其特征在于，所述目標網(wǎng)絡(luò)節(jié)點為相似度最高的網(wǎng)絡(luò)節(jié)點。