[發明專利]一種基于多模態數據的目標定位方法及系統

有效

• 申請號: 202011530062.5
• 申請日: 2020-12-22
• 公開（公告）號: CN112733617B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 舒元昊;屠逸男;劉倚劍;林興萍;趙佐權
• 申請（專利權）人: 中電海康集團有限公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06T7/73;G06T7/10;G06T7/246;G06T7/277;G06T7/80
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 楊天嬌

本發明公開了一種基于多模態數據的目標定位方法及系統，融合目標檢測和深度圖像，得到檢測目標的實際位置信息，且無需特定場景即可完成目標的定位跟蹤；通過事先設定指定對象特征集，對視野內的指定對象進行定位，定位更具有針對性，同時在未設定指定對象特征集時，可定位的目標包括但不限于人，本發明可以同時對多個目標進行定位，有效提高定位效率以及增大定位適用范圍。

技術領域

本申請屬于計算機視覺技術領域，具體涉及一種基于多模態數據的目標定位方法及系統。

背景技術

多模態(multimodality)的概念起源于計算機人機交互領域信息表示方式的研究，其中術語“模態”一詞被定義為在特定物理媒介上信息的表示及交換方式。在研究中人們發現，用語言、視頻、音頻等媒體指稱來描述信息表示方式過于寬泛、粒度太大，不足以區分實際采用的表示方式，為此引入了比媒體(或媒介)更細粒度的“模態”概念。

目標定位是智能機器人的基本能力，當前關于目標定位已有多項研究較為常用方法有基于紅外、超聲波、圖像識別等定位方法，具體如①根據三角定位法進行定位的方法；②根據HSV顏色空間和距離測量單元進行定位的方法。但是以上方法定位過程易受干擾，無法準確區分目標和相似目標。另一類常用方法具有較好的定位效果，但要求目標配合度高，如①要求目標佩戴或安裝位置發送模塊，如RFID、藍牙等；②要求目標布置或粘貼標簽，如二維碼、AprilTag等，很顯然以上方法應用場景有限。

發明內容

本申請的目的在于提供一種基于多模態數據的目標定位方法及系統，目標檢測準確率高，且不受應用場景限制。

為實現上述目的，本申請所采取的技術方案為：

一種基于多模態數據的目標定位方法，用于機器人在移動過程中對目標的實時定位追蹤，所述機器人設有光學成像采集設備和深度成像采集設備，所述基于多模態數據的目標定位方法，包括：

步驟1、建立以機器人所在的硬件載體的中心為原點的硬件坐標系；

步驟2、控制光學成像采集設備與深度成像采集設備的時間對齊；

步驟3、標定深度成像采集設備與硬件載體的中心的外參；

步驟4、構建光學成像采集設備獲取的光學圖像到深度成像采集設備獲取的深度圖像的圖像映射關系；

步驟5、基于光學成像采集設備和深度成像采集設備獲取同一時間地點的光學圖像和深度圖像；

步驟6、判斷是否存在預設的指定對象特征集，若存在則執行步驟7；否則執行步驟8；

步驟7、基于預設的指定對象特征集，使用實例分割網絡提取光學圖像中指定對象的像素坐標，若未檢測到指定對象則返回步驟5；否則輸出提取的像素坐標，同時利用提取時識別的指定對象的特征更新預設的指定對象特征集，并執行步驟9；

步驟8、使用實例分割網絡提取光學圖像中所有對象的像素坐標輸出，并執行步驟9；

步驟9、根據同一時間地點采集的深度圖像以及所述圖像映射關系，得到像素坐標對應的距離信息，輸出所提取對象的結合像素坐標和距離信息的相對于深度成像采集設備的圖像坐標；

步驟10、根據所述深度成像采集設備的外參，對圖像坐標進行坐標變換，得到所提取對象在硬件坐標系下的相對坐標；

步驟11、判斷是否存在先驗地圖，若存在則根據先驗地圖、相對坐標以及硬件載體在先驗地圖中的位姿，計算得到在世界坐標系下的目標位姿作為本次目標定位輸出的針對所提取對象的位置信息；若不存在則輸出相對坐標作為本次目標定位輸出的針對所提取對象的位置信息。