[發明專利]一種運動控制決策生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110778925.9
• 申請日: 2021-07-09
• 公開（公告）號: CN113593035A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 劉永進;韓義恒;趙旺;詹昊哲
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/90;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

本發明提供一種運動控制決策生成方法、裝置、電子設備及存儲介質，包括：基于激光雷達獲取的目標區域的第一點云信息和相機獲取的目標區域的RGB圖像信息，確定RGB圖像信息對應的深度預測圖；基于深度預測圖投影到三維空間中的第二點云信息，確定目標點云信息，以及根據所述目標點云信息和所述第一點云信息，獲得第三點云信息；根據第三點云信息，確定目標多元狀態數據，并將目標多元狀態數據輸入多階段訓練后的深度強化學習控制決策模型，得到目標運動控制決策。本發明提供的方法，可以有效地克服雷達檢測存在的平面局限性，高效地獲取目標運動控制決策，實現更好的移動避障效果。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種運動控制決策生成方法、裝置、電子設備及存儲介質。

背景技術

隨著人工智能和計算機視覺技術的飛速發展，智能機器人已被廣泛應用于餐廳、商場、銀行等各大服務場所。避障技術作為智能機器人應用的關鍵一環，其發展引起了業界的高度重視。傳統的機器人避障手段主要有超聲波傳感器避障、紅外傳感器避障和激光雷達避障等。

基于激光雷達的避障方法受限于成本、功耗和仿真的難度等，往往使用單線雷達。然而，單線雷達僅能對某個固定的平面進行檢測，如果機器人具有較高的高度，只對某個平面檢測無法實現較高的避障效果。例如當雷達高度設定較低時，單線雷達無法檢測到高處的障礙物；雷達高度設定較高時，單線雷達無法檢測接近地面的障礙物，從而生成不利的運動控制決策，導致發生碰撞的情況。

因此，現有技術中的因為障礙物檢測不準確，會導致移動避障的控制決策效果不佳。

發明內容

本發明提供一種運動控制決策生成方法、裝置、電子設備及存儲介質，用以解決因為障礙物檢測不準確，會導致移動避障的控制決策效果不佳的問題。

本發明提供一種運動控制決策生成方法，包括：

基于激光雷達獲取的目標區域的第一點云信息和相機獲取的所述目標區域的RGB圖像信息，確定所述RGB圖像信息對應的深度預測圖；

基于所述深度預測圖投影到三維空間中的第二點云信息，確定目標點云信息，以及根據所述目標點云信息和所述第一點云信息，獲得第三點云信息；

根據所述第三點云信息，確定目標多元狀態數據，并將所述目標多元狀態數據輸入多階段訓練后的深度強化學習控制決策模型，得到目標運動控制決策。

根據本發明提供的一種運動控制決策生成方法，在所述確定目標點云信息之前，還包括：

根據所述深度預測圖中每個像素點的深度信息，計算每個所述像素點在世界坐標系下的第一高度；

根據各個所述像素點的第一高度和預設高度閾值，對所述深度預測圖進行處理，得到過濾后的目標深度圖；

基于所述目標深度圖，確定所述第二點云信息；

其中，所述預設高度閾值是基于地面在世界坐標系下的高度和所述相機在世界坐標系下的高度確定的。

根據本發明提供的一種運動控制決策生成方法，所述基于所述深度預測圖投影到三維空間中的第二點云信息，確定目標點云信息，包括：

基于所述第二點云信息在世界坐標系下的坐標信息，對所述第二點云信息進行分組，得到多組第四點云信息；

根據每組所述第四點云信息與所述相機之間的距離，確定目標點云信息。

根據本發明提供的一種運動控制決策生成方法，所述根據所述目標點云信息和所述第一點云信息，獲得第三點云信息，包括：

將所述目標點云信息轉換到雷達坐標系下，得到所述目標點云信息對應的第五點云信息；

根據所述第五點云信息，對所述第一點云信息進行更新，得到第三點云信息；