[發明專利]基于深度學習的機器人目標識別與運動檢測方法、存儲介質及設備

有效

• 申請號: 202210415251.0
• 申請日: 2022-04-20
• 公開（公告）號: CN114782691B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 陳孟元;韓朋朋;王偉;徐韜;劉金輝
• 申請（專利權）人: 安徽工程大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/80;G06V10/82;G06K9/62;G06T7/579;G06T7/73;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 蕪湖思誠知識產權代理有限公司 34138
• 代理人: 項磊

本發明公開了基于深度學習的機器人目標識別與運動檢測方法、存儲介質及設備，其中方法包括下列步驟：步驟S1、通過融合注意力機制和位置編碼的實例分割網絡對潛在動態物體所在區域添加掩膜；步驟S2、利用場景中實例分割掩膜外的靜態特征點對相機位姿進行估計；步驟S3，通過相機位姿估計出物體位姿變換矩陣；步驟S4，由運動視差與微分熵之間關系判斷出物體特征點運動狀態，從而判斷整個物體運動狀態；步驟S5，剔除其中的動態物體，并修復剔除區域的靜態背景，用于位姿估計與地圖構建。本發明提高被遮擋動態物體分割邊界的精確度，剔除動態區域特征點減少動態物體對系統的影響。

技術領域

本發明涉及同步定位與地圖創建(Simultaneous Location And Mapping，SLAM)技術領域，具體涉及基于深度學習的機器人目標識別與運動檢測方法、存儲介質及設備。

背景技術

同時定位與地圖構建(Simultaneous Localization and Mapping,SLAM)是移動機器人在未知環境下，使用自身搭載的相機、激光雷達等傳感器，建立局部環境地圖，同時估計機器人自身所處位置。當前主流視覺SLAM系統都在大規模環境中實現了高精度的定位與構圖，但該方法在動態遮擋場景下難以標記被遮擋潛在動態物體，無法準確判斷潛在物體運動狀態以及剔除動態物體后特征點數量較少，而無法精確分割潛在動態物體的區域也導致動態物體的區域即使被剔除，剔除區域對應的靜態背景難以被補全，因此動態物體對SLAM系統定位精度的影響較大，系統位姿估計與地圖構建的準確性也受到影響。

發明內容

本發明的目的是提供基于深度學習的機器人目標識別與運動檢測方法，用于解決現有技術中由于動態遮擋場景下現有的地圖構建方法無法建成完整全靜態地圖，且無法兼顧可靠性和魯棒性的技術問題。

所述的基于深度學習的機器人目標識別與運動檢測方法，包括下列步驟：

步驟S1、通過融合注意力機制和位置編碼的實例分割網絡對潛在動態物體所在區域添加掩膜；

步驟S2、利用場景中實例分割掩膜外的靜態特征點對相機位姿進行估計；

步驟S3，由于相機位姿與物體位姿投影在同一張圖像中具有耦合關系，通過相機位姿估計出物體位姿變換矩陣；

步驟S4，求出潛在運動物體上所有點運動視差中位數，并根據位姿優化過程得到運動不確定性微分熵，由運動視差與微分熵之間關系判斷出物體特征點運動狀態，從而判斷整個物體運動狀態；

步驟S5，剔除其中的動態物體，并修復剔除區域的靜態背景，根據信息熵與交叉熵篩選出其中的高質量特征點用于位姿估計與地圖構建。

優選的，所述步驟S1中，多注意力模塊由通道注意力機制和空間注意力機制兩個子網絡組成，將輸入特征圖F分別在通道維度和空間維度進行連接，并將對應獲取的通道維度特征圖F'與空間維度特征圖F”進行concat融合得到輸出F”'；以加強被遮擋物體部分的像素權重，提高遮擋物體的識別率，通道注意力機制作用為將特征圖中各層通道分配相應權重，空間注意力其主要作用為增加特征圖中被遮擋位置像素值權重，經過學習不斷調整各個權重值，進而引導網絡關注遮擋部分所在區域，由此對潛在動態物體所在區域添加掩膜。

優選的，所述步驟S1中，將H×W×C的輸入特征圖F輸入到通道注意力機制中，對特征圖進行全局注意平均池化和最大池化操作，從而得到特征圖每個通道的信息，通過平均池化和最大池化獲得的特征F_avg與F_max經過全連接層FC模塊加強通道之間關聯性，并對各通道權重進行重新分配，更好地對遮擋特征進行學習，經過通道注意力機制獲得的輸出f_v計算方式如下所示：

f_v＝σ((F_avg+F_max)ηβ)