[發明專利]基于深度視覺融合的機器人導航方法、機器人及可讀介質

在審

• 申請號: 202210730633.2
• 申請日: 2022-06-24
• 公開（公告）號: CN115145274A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 徐新文
• 申請（專利權）人: 湖南朗國視覺識別研究院有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 馮學佳

1.一種基于深度視覺融合的機器人導航方法，其特征在于，包括：

獲取機器人的當前時間點的針對周圍環境檢測得到的環境檢測數據；所述環境檢測數據包括具有多個目標物圖像的攝像圖像、以及每個目標物的雷達數據；

基于對應當前時間點以及歷史檢測得到的所述環境檢測數據得到針對每個目標物的移動軌跡，并基于所述移動軌跡獲取每個目標物的軌跡預測路線；

基于多個所述目標物的軌跡預測路線規劃機器人的前進路線。

2.根據權利要求1所述的基于深度視覺融合的機器人導航方法，其特征在于，獲取每個目標物的軌跡預測路線包括：

通過第一識別模型對所述攝像圖像識別得到多個目標物圖像，并基于所述雷達數據得到每個目標圖像的第一位置數據；

基于之前多個時間點的環境檢測數據分別得到每個所述目標物圖像的多個第二位置數據；并基于所述第一位置數據和多個第二位置數據構建移動軌跡；所述移動軌跡以平面二維圖形式構建；

針對每個所述目標物圖像的移動軌跡進行趨向性預測，預測得到下一時間點的第三位置數據，結合對應的移動軌跡得到所述軌跡預測路線。

3.根據權利要求2所述的基于深度視覺融合的機器人導航方法，其特征在于，所述第一識別模型通過對初始化的神經網絡模型進行訓練得到；

所述訓練過程包括：

獲取第一訓練集；所述第一訓練集包括多個標注有多個物體的第一訓練圖像；

使用所述第一訓練集對初始化的神經網絡模型進行訓練得到所述第一識別模型。

4.根據權利要求2所述的基于深度視覺融合的機器人導航方法，其特征在于，所述環境檢測數據還包括熱力感知數據；

通過第一識別模型對所述攝像圖像識別得到多個目標物圖像后，還執行：

根據每個所述目標物圖像的對應位置得到對應的熱力圖像，確定每個目標物的目標類型；所述目標類型包括動物、人、機器。

5.根據權利要求1所述的基于深度視覺融合的機器人導航方法，其特征在于，基于多個所述目標物的軌跡預測路線規劃機器人的前進路線具體包括：

基于當前前進速度獲取下一時間節點可能到達的多個可能位置；

獲取每個目標物的軌跡預測路線在下一時間點的第三位置數據；

基于多個第三位置數據分別與多個所述可能位置得到第四位置數據作為下一時間點的前進地點。

6.根據權利要求5所述的基于深度視覺融合的機器人導航方法，其特征在于，得到所述第四位置數據的過程包括：

針對每個所述可能位置分別與多個所述第三位置數據計算得到距離數據，并以所述距離數據小于第一預定距離的第三位置數據作為第一風險位置數據；

將靠近前進方向上，以具有所述第一風險位置數據最少的所述可能位置作為所述第四位置數據。

7.根據權利要求5所述的基于深度視覺融合的機器人導航方法，其特征在于，在針對每個所述可能位置分別與多個所述第三位置數據計算得到距離數據后，還執行：

以距離所述距離數據小于第二預定距離的第三位置數據作為第二風險位置數據；

具有所述第二風險位置數據的所述可能位置不能作為所述第四位置數據。

8.一種導航機器人，其特征在于，包括：

環境檢測裝置，用于獲取機器人周圍的環境檢測數據；所述環境檢測數據包括具有多個目標物圖像的攝像圖像、以及每個目標物的雷達數據；所述環境檢測裝置包括用于獲取所述攝像圖像的攝像頭以及用于檢測所述雷達數據的激光雷達；

處理器，與所述環境檢測裝置連接，用于基于對應當前時間點以及歷史檢測得到的所述環境檢測數據得到針對每個目標物的軌跡預測路線；基于多個所述目標物的軌跡預測路線規劃機器人的前進路線。

9.一種導航機器人，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于在執行所述計算機程序時，實現權利要求1-7任一所述的基于深度視覺融合的機器人導航方法。

10.一種計算機可讀介質，其特征在于，存儲有計算機程序，所述計算機程序在被處理器執行時實現權利要求1-7任一所述的基于深度視覺融合的機器人導航方法。