[發明專利]單目SLAM初始化方法、裝置、設備及存儲介質

在審

• 申請號: 202210545601.5
• 申請日: 2022-05-19
• 公開（公告）號: CN114842162A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 洪毅強;王樂;蘇宗濤;許江毅;廖智勇
• 申請（專利權）人: 咪咕動漫有限公司;咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T19/00;G06T19/20
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 劉瑞花

1.一種單目SLAM初始化方法，其特征在于，所述方法包括：

獲取第一幀圖像以及所述第一幀圖像的第一特征點；

將所述第一幀圖像輸入預先訓練的生成網絡模型，得到第一單應矩陣；其中，所述生成網絡模型基于卷積神經網絡和生成式對抗網絡構建；

根據所述第一單應矩陣，對所述第一幀圖像進行透視變換，得到虛擬幀圖像；

利用所述第一單應矩陣，將所述第一特征點換算到所述虛擬幀圖像上，得到所述虛擬幀圖像的第二特征點；

根據所述第二特征點及對應的所述第一特征點，利用三角化算法得到第一地圖點。

2.如權利要求1所述的單目SLAM初始化方法，其特征在于，所述根據所述第二特征點及對應的所述第一特征點，利用三角化算法得到第一地圖點的步驟之后，所述方法還包括：

獲取第二幀圖像以及所述第二幀圖像的第三特征點；

以所述第一幀圖像為參考幀，對所述第一幀圖像和所述第二幀圖像進行特征點匹配，得到匹配成功的第一特征點；

利用所述第一單應矩陣，將所述匹配成功的第一特征點對應的所述第一地圖點投影到所述第二幀圖像上，得到所述第二幀圖像中的投影點；

將符合預設條件的所述投影點對應的所述第一地圖點確定為最終地圖點，其中，所述預設條件為以所述投影點為中心的預設范圍內存在所述第三特征點。

3.如權利要求2所述的單目SLAM初始化方法，其特征在于，所述將符合預設條件的所述投影點對應的所述第一地圖點確定為最終地圖點的步驟之后，所述方法還包括：

根據所述最終地圖點與所述第三特征點的對應關系，通過最小化重投影誤差法得到所述第二幀圖像的相機位姿。

4.如權利要求1所述的單目SLAM初始化方法，其特征在于，所述將所述第一幀圖像輸入預先訓練的生成網絡模型，得到第一單應矩陣的步驟之前，所述方法還包括：

獲取訓練數據集；

構建混合神經網絡；

根據所述訓練數據集，對所述混合神經網絡進行訓練，得到所述生成網絡模型；

其中，所述混合神經網絡包括：

特征提取層，用于對輸入圖像進行特征提取，輸出特征向量；

卷積網絡層，用于根據所述特征向量，通過上采樣得到所述輸入圖像的生成圖像，所述卷積網絡層包括卷積模塊、激活模塊和自定義模塊；

生成網絡層，用于根據所述特征向量和所述生成圖像，通過回歸預測得到所述輸入圖像與所述生成圖像之間的單應矩陣以及對應的分值。

5.如權利要求4所述的單目SLAM初始化方法，其特征在于，所述獲取訓練數據集的步驟包括：

獲取多個關鍵幀圖像、所述多個關鍵幀圖像的第四特征點、以及所述多個關鍵幀圖像對應的第二地圖點；

根據所述多個關鍵幀圖像，計算所述第二地圖點的觀測權重；

針對每個關鍵幀圖像，確定所述關鍵幀圖像的共視幀圖像以及所述共視幀圖像的第五特征點；

根據所述關鍵幀圖像的相機位姿和所述共視幀圖像的相機位姿，得到所述關鍵幀圖像與所述共視幀圖像之間的基礎矩陣；

根據所述觀測權重、所述基礎矩陣以及所述關鍵幀圖像的第四特征點與所述第五特征點的匹配關系，得到所述關鍵幀圖像的得分；

根據所述多個關鍵幀圖像、所述多個關鍵幀圖像的共視幀圖像、所述多個關鍵幀圖像的第二單應矩陣以及所述多個關鍵幀圖像的得分，得到訓練數據集，其中，所述第二單應矩陣由所述基礎矩陣轉換得到。

6.如權利要求5所述的單目SLAM初始化方法，其特征在于，所述根據所述觀測權重、所述基礎矩陣以及所述關鍵幀圖像的第四特征點與所述第五特征點的匹配關系，得到所述關鍵幀圖像的得分的步驟包括：

根據所述基礎矩陣和所述關鍵幀圖像的第四特征點，計算所述第五特征點的極線；

根據所述第五特征點與所述極線之間的距離，計算所述關鍵幀圖像的第四特征點與所述第五特征點的匹配分；

根據所述觀測權重和所述匹配分，得到所述關鍵幀圖像的得分。