[發明專利]一種基于多模態數據的目標定位方法及系統

有效

• 申請號: 202011530062.5
• 申請日: 2020-12-22
• 公開（公告）號: CN112733617B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 舒元昊;屠逸男;劉倚劍;林興萍;趙佐權
• 申請（專利權）人: 中電海康集團有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06T7/73;G06T7/10;G06T7/246;G06T7/277;G06T7/80
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

1.一種基于多模態數據的目標定位方法，用于機器人在移動過程中對目標的實時定位追蹤，其特征在于，所述機器人設有光學成像采集設備和深度成像采集設備，所述基于多模態數據的目標定位方法，包括：

步驟1、建立以機器人所在的硬件載體的中心為原點的硬件坐標系；

步驟2、控制光學成像采集設備與深度成像采集設備的時間對齊；

步驟3、標定深度成像采集設備與硬件載體的中心的外參；

步驟4、構建光學成像采集設備獲取的光學圖像到深度成像采集設備獲取的深度圖像的圖像映射關系；

步驟5、基于光學成像采集設備和深度成像采集設備獲取同一時間地點的光學圖像和深度圖像；

步驟6、判斷是否存在預設的指定對象特征集，若存在則執行步驟7；否則執行步驟8；

步驟7、基于預設的指定對象特征集，使用實例分割網絡提取光學圖像中指定對象的像素坐標，若未檢測到指定對象則返回步驟5；否則輸出提取的像素坐標，同時利用提取時識別的指定對象的特征更新預設的指定對象特征集，并執行步驟9；

步驟8、使用實例分割網絡提取光學圖像中所有對象的像素坐標輸出，并執行步驟9；

步驟9、根據同一時間地點采集的深度圖像以及所述圖像映射關系，得到像素坐標對應的距離信息，輸出所提取對象的結合像素坐標和距離信息的相對于深度成像采集設備的圖像坐標；

步驟10、根據所述深度成像采集設備的外參，對圖像坐標進行坐標變換，得到所提取對象在硬件坐標系下的相對坐標；

步驟11、判斷是否存在先驗地圖，若存在則根據先驗地圖、相對坐標以及硬件載體在先驗地圖中的位姿，計算得到在世界坐標系下的目標位姿作為本次目標定位輸出的針對所提取對象的位置信息；若不存在則輸出相對坐標作為本次目標定位輸出的針對所提取對象的位置信息。

2.如權利要求1所述的基于多模態數據的目標定位方法，其特征在于，所述硬件載體為移動底盤。

3.如權利要求1所述的基于多模態數據的目標定位方法，其特征在于，所述構建光學成像采集設備獲取的光學圖像到深度成像采集設備獲取的深度圖像的圖像映射關系，包括：

步驟4.1、指定用于構建圖像映射關系的標定物；

步驟4.2、獲取標定物在光學成像采集設備中的光學成像，同時獲取標定物在深度成像采集設備中的深度成像；

步驟4.3、對光學成像和深度成像進行特征匹配，根據匹配數據計算得到光學成像到深度成像的變換矩陣；

步驟4.4、重復步驟4.2～步驟4.3，直至通過濾波得到穩定的變換矩陣，將穩定的變換矩陣作為光學圖像到深度圖像的圖像映射關系。

4.如權利要求1所述的基于多模態數據的目標定位方法，其特征在于，所述使用實例分割網絡提取光學圖像中指定對象的像素坐標，若未檢測到指定對象則返回步驟5，包括：

使用實例分割網絡提取光學圖像中指定對象的像素坐標，若未檢測到指定對象，則改變硬件載體的位姿并返回步驟5。

5.一種基于多模態數據的目標定位系統，用于機器人在移動過程中對目標的實時定位追蹤，所述基于多模態數據的目標定位系統包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至4中任一項所述的基于多模態數據的目標定位方法的步驟。