[發明專利]一種視覺定位方法及終端

有效

• 申請號: 202010185845.8
• 申請日: 2020-03-17
• 公開（公告）號: CN111415388B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 周庭竹
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 廣州德科知識產權代理有限公司 44381
• 代理人: 萬振雄;楊中強

1.一種視覺定位方法，其特征在于，應用于終端，所述終端包括位姿檢測裝置、第一相機和第二相機，所述方法包括：

獲取所述位姿檢測裝置采集的所述終端的原始位姿數據、獲取所述第一相機對目標場景采集到的二維圖像，以及獲取所述第二相機對所述目標場景采集到的深度圖像數據；

對所述二維圖像、所述原始位姿數據和所述深度圖像數據進行幀同步處理，獲得所述二維圖像對應的目標位姿數據和目標深度數據；

對所述二維圖像進行特征提取，獲得所述二維圖像對應的二維特征數據；

根據所述二維特征數據和所述目標深度數據，生成所述二維圖像對應的目標點云數據；

在對任一拍攝圖像進行視覺定位時，以所述目標位姿數據、所述二維特征數據和所述目標點云數據中至少一項數據為匹配依據將所述拍攝圖像和所述二維圖像進行圖像匹配；

若所述拍攝圖像和所述二維圖像相匹配，則根據所述目標場景確定對所述拍攝圖像的視覺定位結果。

2.根據權利要求1所述的方法，其特征在于，所述原始位姿數據包括多幀子位姿數據，所述二維圖像包括多幀子圖像，所述深度圖像數據包括多幀子深度數據；

所述對所述二維圖像、所述原始位姿數據和所述深度圖像數據進行幀同步處理，獲得所述二維圖像對應的目標位姿數據和目標深度數據，包括：

根據每幀所述子位姿數據對應的時間戳、每幀所述子圖像對應的時間戳以及每幀所述子深度數據對應的時間戳，對多幀所述子位姿數據、多幀所述子圖像和多幀所述子深度數據進行幀同步處理，獲得每幀所述子圖像對應的目標位姿數據和目標深度數據；其中，每幀所述子圖像與所述子圖像對應的目標位姿數據和目標深度數據在時間戳上同步。

3.根據權利要求2所述的方法，其特征在于，所述對所述二維圖像進行特征提取，獲得所述二維圖像對應的二維特征數據，包括：

根據每幀所述子圖像對應的目標位姿數據，從多幀所述子圖像中確定出滿足關鍵幀條件的M幀關鍵圖像；其中，M為正整數，所述關鍵幀條件包括所述關鍵圖像對應的目標位姿數據與歷史位姿數據之間的位姿數據變化值大于或等于預設閾值，所述歷史位姿數據為目標圖像對應的目標位姿數據，所述目標圖像為多幀所述子圖像中與所述關鍵圖像對應于相鄰時間戳的圖像；

對所述關鍵圖像進行特征提取，獲得所述關鍵圖像對應的二維特征數據；

所述根據所述二維特征數據和所述目標深度數據，生成所述二維圖像對應的目標點云數據，包括：

根據所述二維特征數據和所述目標深度數據，生成所述關鍵圖像對應的目標點云數據；

所述在對任一拍攝圖像進行視覺定位時，以所述目標位姿數據、所述二維特征數據和所述目標點云數據中至少一項數據為匹配依據將所述拍攝圖像和所述二維圖像進行圖像匹配；若所述拍攝圖像和所述二維圖像相匹配，則根據所述目標場景確定對所述拍攝圖像的視覺定位結果，包括：

在對任一拍攝圖像進行視覺定位時，以所述目標位姿數據、所述二維特征數據和所述目標點云數據中至少一項數據為匹配依據將所述拍攝圖像和所述關鍵圖像進行圖像匹配；若所述拍攝圖像和所述關鍵圖像相匹配，則根據所述目標場景確定對所述拍攝圖像的視覺定位結果。

4.根據權利要求2所述的方法，其特征在于，所述根據所述二維特征數據和所述目標深度數據，生成所述二維圖像對應的目標點云數據，包括：

根據每幀所述子圖像對應的二維特征數據和目標深度數據，確定每幀所述子圖像所對應的點云數據；

基于截斷有向距離體素結構，根據每幀所述子圖像對應的目標位姿數據對多幀所述子圖像對應的點云數據進行融合處理，生成所述二維圖像對應的目標點云數據。

5.根據權利要求4所述的方法，其特征在于，所述根據每幀所述子圖像對應的二維特征數據和目標深度數據，確定每幀所述子圖像所對應的點云數據，包括：

獲取所述第一相機與所述第二相機之間對應的位姿變換參數；

根據所述位姿變換參數，對每幀所述子圖像對應的二維特征數據和目標深度數據進行映射處理，確定每幀所述子圖像所對應的點云數據。