[發明專利]制圖與定位方法、裝置、存儲介質和終端設備

有效

• 申請號: 201810391851.1
• 申請日: 2018-04-27
• 公開（公告）號: CN108592919B
• 公開（公告）日: 2019-09-17
• 發明（設計）人: 劉浩敏;陳明裕;包英澤;范一舟
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G01C21/20
• 分類號: G01C21/20;G06T17/05;G06K9/00;G06K9/62
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 張臻賢;王珺

1.一種制圖與定位方法，其特征在于，包括：

接收采集到的圖像幀，并將所述圖像幀加入圖像幀序列的尾端；

控制本地集束調整的滑動窗口沿所述圖像幀序列向后移動一幀以移出首幀以及移入尾幀；其中，所述首幀用于表示在移出所述首幀前所述滑動窗口中的最早幀；所述尾幀用于表示所述圖像幀序列中未曾移入所述滑動窗口的最早幀；

判斷所述首幀是否為關鍵幀；

當所述首幀為關鍵幀時，根據所述首幀的運動狀態和約束因子進行邊緣化處理，生成相對約束和下一首幀的先驗約束，并在生成所述下一首幀的先驗約束的過程中調整所述邊緣化處理的參考坐標系為所述首幀；其中，所述運動狀態用于描述拍攝到所述首幀時攝像機的運行；所述約束因子包括所述首幀的先驗約束；所述相對約束用于在全局集束調整中優化從所述滑動窗口中移出的所有關鍵幀觀察到場景三維結構；以及所述先驗約束用于在所述本地集束調整中優化所述滑動窗口中的圖像幀觀察到場景三維結構。

2.如權利要求1所述的制圖與定位方法，其特征在于，所述方法還包括：

當所述首幀不為關鍵幀時，根據所述首幀的運動狀態和約束因子進行邊緣化處理，生成下一首幀的先驗約束。

3.如權利要求2所述的制圖與定位方法，其特征在于，所述運動狀態包括在采集到所述首幀時的攝像機的相機方位，以及當所述首幀不為關鍵幀時生成所述下一首幀的先驗約束的過程包括：

對所述首幀的運動狀態、用于約束所述首幀的相機方向的視覺約束、用于約束所述首幀與所述下一首幀兩者的運動狀態的慣量約束以及所述首幀的先驗約束進行邊緣化處理，生成所述下一首幀的先驗約束。

4.如權利要求3所述的制圖與定位方法，其特征在于，所述運動狀態還包括在采集到所述首幀時傳感器測量到的慣量測量參數，以及當所述首幀為關鍵幀時生成所述相對約束的過程包括：

對所述首幀的先驗約束和所述首幀的慣量測量參數進行邊緣化處理，生成相對約束。

5.如權利要求4所述的制圖與定位方法，其特征在于，所述運動狀態還包括重力方向；以及當所述首幀為關鍵幀時生成所述下一首幀的先驗約束的過程包括：

對所述首幀的相機方位、重力方向和先驗約束以及用于約束所述首幀的相機方向的視覺約束進行邊緣化處理，生成用于約束所述首幀的慣量測量參數的間接約束；

以所述首幀為所述參考坐標系調整所述滑動窗口內的圖像幀的相機方位和重力方向，并對所述重力方向設置重力約束；以及

對生成的間接約束、設置的重力約束、所述首幀的慣量測量參數以及用于約束所述首幀與所述下一首幀兩者的運動狀態的慣量約束進行邊緣化處理，生成所述下一首幀的先驗約束。

6.如權利要求1所述的制圖與定位方法，其特征在于，在生成所述下一首幀的先驗約束之后，所述方法還包括：

根據生成的所述下一首幀的先驗約束，調整本地優化方程；以及

根據調整后的本地優化方程，對所述滑動窗口內的圖像幀觀察到場景三維結構進行優化。

7.如權利要求1所述的制圖與定位方法，其特征在于，在生成所述相對約束之后，所述方法還包括：

根據所述首幀跟蹤的地圖點，統計從未出現在從所述滑動窗口移出的關鍵幀中的地圖點數量；

判斷統計的地圖點數量是否超出預設閾值；

當統計的地圖點數量超出所述預設閾值時，以所述圖像幀序列的最早幀為參考坐標系調整所述相對約束，并根據調整后的相對約束，調整全局優化方程；以及

根據調整后的全局優化方程，對從所述滑動窗口移出的關鍵幀觀察到場景三維結構進行優化。

8.如權利要求1所述的制圖與定位方法，其特征在于，在生成所述相對約束之后，所述方法還包括：

將所述首幀跟蹤的地圖點與從所述滑動窗口移出且為關鍵幀的每一圖像幀跟蹤的地圖點分別進行圖像相似性匹配；

當滿足圖像相似性標準時，以所述圖像幀序列的最早幀為參考坐標系調整所述相對約束，并根據調整后的相對約束，調整全局優化方程；以及

根據調整后的全局優化方程，對從所述滑動窗口移出的關鍵幀觀察到場景三維結構進行優化。