[發明專利]基于圖像的位姿確定方法、裝置、存儲介質及電子設備

在審

• 申請號: 202011439746.4
• 申請日: 2020-12-10
• 公開（公告）號: CN112509047A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 隋偉;張騫;朱紅梅
• 申請（專利權）人: 北京地平線信息技術有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種基于圖像的位姿確定方法，包括：

獲取設置在移動物體上的相機拍攝的當前圖像幀和在所述當前幀圖像之前拍攝的歷史圖像幀；

確定所述當前圖像幀和所述歷史圖像幀之間的第一相機相對姿態；

基于所述第一相機相對姿態，確定虛擬雙目圖像；

基于預設的視覺里程計和所述虛擬雙目圖像，確定所述相機當前的位姿信息。

2.根據權利要求1所述的方法，其中，所述基于預設的視覺里程計和所述虛擬雙目圖像，確定所述相機當前的位姿信息，包括：

通過預設的視覺里程計和所述虛擬雙目圖像，得到第二相機相對姿態；

在所述當前圖像幀為關鍵幀的情形下，基于所述當前圖像幀和目標數量個歷史關鍵幀，調整所述第二相機相對姿態；

基于調整后的所述第二相機相對位姿，確定所述相機當前的位姿信息。

3.根據權利要求2所述的方法，其中，所述基于所述當前圖像幀和目標數量個歷史關鍵幀，調整所述第二相機相對姿態，包括：

將所述當前圖像幀和所述目標數量個歷史關鍵幀確定為滑動窗口包括的圖像幀；

基于所述目標數量個歷史關鍵幀分別對應的位姿信息，對所述第二相機相對姿態進行調整。

4.根據權利要求1所述的方法，其中，所述確定所述當前圖像幀和所述歷史圖像幀之間的第一相機相對姿態，包括：

將所述當前圖像幀和所述歷史圖像幀輸入預先訓練的第一神經網絡模型，得到所述相鄰的兩個圖像幀之間的第一相機相對姿態。

5.根據權利要求1-4之一所述的方法，其中，所述方法還包括：

確定所述當前圖像幀對應的深度圖；

從所述深度圖中確定第一三維特征點集合；

利用所述視覺里程計，調整所述第一三維特征點集合中的特征點的坐標，得到第二三維特征點集合。

6.根據權利要求5所述的方法，其中，所述方法還包括：

在所述當前圖像幀是關鍵幀的情形下，基于所述當前圖像幀和目標數量個歷史關鍵幀，調整所述第二三維特征點集合包括的特征點的坐標，得到所述當前圖像幀對應的第三三維特征點集合。

7.根據權利要求1所述的方法，其中，所述基于所述第一相機相對姿態，確定虛擬雙目圖像，包括：

基于所述第一相機相對姿態，確定所述當前圖像幀和所述歷史圖像幀分別對應的相機位置的基線；

基于所述基線的長度，確定虛擬雙目圖像。

8.一種基于圖像的位姿確定裝置，包括：

獲取模塊，用于獲取設置在移動物體上的相機拍攝的當前圖像幀和在所述當前幀圖像之前拍攝的歷史圖像幀；

第一確定模塊，用于確定所述當前圖像幀和所述歷史圖像幀之間的第一相機相對姿態；

第二確定模塊，用于基于所述第一相機相對姿態，確定虛擬雙目圖像；

第三確定模塊，用于基于預設的視覺里程計和所述虛擬雙目圖像，確定所述相機當前的位姿信息。

9.一種計算機可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序用于執行上述權利要求1-7任一所述的方法。

10.一種電子設備，所述電子設備包括：

處理器；

用于存儲所述處理器可執行指令的存儲器；

所述處理器，用于從所述存儲器中讀取所述可執行指令，并執行所述指令以實現上述權利要求1-7任一所述的方法。