[發明專利]一種運動控制決策生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110778925.9
• 申請日: 2021-07-09
• 公開（公告）號: CN113593035A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 劉永進;韓義恒;趙旺;詹昊哲
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/20
• 分類號: G06T17/20;G06T7/90;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

1.一種運動控制決策生成方法，其特征在于，包括：

基于激光雷達獲取的目標區域的第一點云信息和相機獲取的所述目標區域的RGB圖像信息，確定所述RGB圖像信息對應的深度預測圖；

基于所述深度預測圖投影到三維空間中的第二點云信息，確定目標點云信息，以及根據所述目標點云信息和所述第一點云信息，獲得第三點云信息；

根據所述第三點云信息，確定目標多元狀態數據，并將所述目標多元狀態數據輸入多階段訓練后的深度強化學習控制決策模型，得到目標運動控制決策。

2.根據權利要求1所述的運動控制決策生成方法，其特征在于，在所述確定目標點云信息之前，還包括：

根據所述深度預測圖中每個像素點的深度信息，計算每個所述像素點在世界坐標系下的第一高度；

根據各個所述像素點的第一高度和預設高度閾值，對所述深度預測圖進行處理，得到過濾后的目標深度圖；

基于所述目標深度圖，確定所述第二點云信息；

其中，所述預設高度閾值是基于地面在世界坐標系下的高度和所述相機在世界坐標系下的高度確定的。

3.根據權利要求1所述的運動控制決策生成方法，其特征在于，所述基于所述深度預測圖投影到三維空間中的第二點云信息，確定目標點云信息，包括：

基于所述第二點云信息在世界坐標系下的坐標信息，對所述第二點云信息進行分組，得到多組第四點云信息；

根據每組所述第四點云信息與所述相機之間的距離，確定目標點云信息。

4.根據權利要求1所述的運動控制決策生成方法，其特征在于，所述根據所述目標點云信息和所述第一點云信息，獲得第三點云信息，包括：

將所述目標點云信息轉換到雷達坐標系下，得到所述目標點云信息對應的第五點云信息；

根據所述第五點云信息，對所述第一點云信息進行更新，得到第三點云信息；

其中，所述雷達坐標系是基于所述第一點云信息在世界坐標系下的坐標信息確定的。

5.根據權利要求1所述的運動控制決策生成方法，其特征在于，所述將所述目標多元狀態數據輸入多階段訓練后的深度強化學習控制決策模型之前，還包括：

將一個包含雷達點云樣本數據的多元狀態數據樣本作為一組訓練樣本，獲取多組訓練樣本；

利用所述多組訓練樣本，對深度強化學習控制決策模型進行多階段訓練，當滿足預設收斂條件時，停止訓練，得到多階段訓練后的深度強化學習控制決策模型。

6.根據權利要求5所述的運動控制決策生成方法，其特征在于，所述利用所述多組訓練樣本，對深度強化學習控制決策模型進行多階段訓練，包括：

對于任意一組所述訓練樣本，將所述訓練樣本輸入深度強化學習控制決策模型進行第一階段訓練，利用第一價值函數得到所述訓練樣本對應的第一收益獎勵值；在所述第一收益獎勵值收斂的情況下，停止第一階段訓練，得到第一深度強化學習控制決策模型；

對于任意一組所述訓練樣本，將所述訓練樣本輸入所述第一深度強化學習控制決策模型進行第二階段訓練，利用第二價值函數得到所述訓練樣本對應的第二收益獎勵值；在所述第二收益獎勵值收斂的情況下，停止第二階段訓練，得到第二深度強化學習控制決策模型；

對于任意一組所述訓練樣本，將所述訓練樣本輸入所述第二深度強化學習控制決策模型進行第三階段訓練，利用第三價值函數得到所述訓練樣本對應的第三收益獎勵值；在所述第三收益獎勵值收斂的情況下，停止第三階段訓練，得到多階段訓練后的深度強化學習控制決策模型。

7.根據權利要求6所述的運動控制決策生成方法，其特征在于，所述第一價值函數是根據預設歐氏距離縮減項、碰撞懲罰項和旋轉角度懲罰項確定的；

所述第二價值函數是根據所述第一價值函數和預設全局獎懲項確定的；

所述第三價值函數是根據所述第一價值函數、預設最大時間步長和第二階段訓練的平均時間步長確定的。