[發明專利]一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法

在審

• 申請號: 202111536731.4
• 申請日: 2021-12-15
• 公開（公告）號: CN113985897A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 李秀智;王虞鑫;張祥銀;張磊
• 申請（專利權）人: 北京工業大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法，其特征在于，本發明所述的方法是由兩個模塊實現的，具體包括行人實時檢測跟蹤并預測模塊，以及具有社交約束的機器人路徑規劃模塊，其中：

所述的行人實時檢測跟蹤并預測模塊，通過深度相機實時檢測跟蹤場景中每個行人的位置信息，實時預測每個人在下一時刻可能的運動軌跡；

所述的具有社交約束的機器人路徑規劃模塊，接收行人實時檢測跟蹤并預測模塊的結果，即預測的行人未來軌跡，根據預測的軌跡在行人周圍建立機器人不可通行的安全空間；根據不同行人之間的距離及其預測軌跡，在距離相近的行人周圍建立機器人不可通行的社交空間，以增加機器人運動的預判性和社交約束屬性。

2.根據權利要求1所述的一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法，其特征在于，所述的行人實時檢測跟蹤并預測模塊具體工作過程如下：

S1.搭建YOLOv5_DeepSort網絡，YOLOv5_DeepSort網絡由YOLOv5網絡和DeepSort網絡構成；使用公開數據集對YOLOv5_DeepSort進行預訓練，保存訓練好的權重文件用于行人的實時檢測與跟蹤；采用RealSense D435深度相機向YOLOv5_DeepSort網絡實時輸入數據，加載已保存的權重文件，然后通過YOLOv5_DeepSort的YOLOv5網絡部分對場景中的行人目標進行實時檢測，得到行人目標的檢測框，DeepSort部分以YOLOv5輸出的行人檢測結果為輸入，對行人在每一時刻的位置進行跟蹤并更新位置信息；

S2.將DeepSort得到的行人在每一時刻的位置由像素坐標轉換為世界坐標，得到行人的軌跡序列；

S3.預訓練Social GAN網絡，Social GAN網絡包括生成器和判別器，然后將S2中觀測到的行人最近t個時刻的軌跡序列輸入訓練完成的Social GAN網絡中的生成器，通過對輸入的軌跡進行非線性運算，提取行人的位移狀態向量，預測未來T個時刻行人的軌跡序列；所述的判別器用于在預訓練過程中，對輸入的真實軌跡與預測軌跡進行真假判別，通過計算網絡的損失函數，優化生成器和判別器的各層網絡，生成器和判別器交替訓練，直至生成器輸出的預測軌跡可以模擬真實軌跡。

3.根據權利要求2所述的一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法，其特征在于，進一步的S2具體包括，以S1步驟中跟蹤到的每一時刻的檢測框中心點像素坐標代替行人檢測框，得到每個行人在時間上的像素坐標序列，記錄每個行人的編號和像素坐標序列，將每一幀的像素坐標與行人的深度信息進行幀間匹配，用于將行人像素坐標轉換為世界坐標；將相機位置設為世界坐標系的原點，此時，相機坐標等于世界坐標。通過相機的內參將像素坐標轉換為圖像坐標再轉換到相機坐標，即可實時獲取行人的相機坐標，即世界坐標。

4.根據權利要求1所述的一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法，其特征在于，所述的具有社交約束的機器人路徑規劃模塊具體工作過程如下：

S4.當場景中的行人之間的距離大于一定閾值時，說明行人之間無交互的可能性，此時，根據預測的每個行人未來T個時刻的軌跡長度，在每個行人周圍建立機器人不可通行的安全空間，以此增加機器人路徑規劃時的預判性；

S5.當場景中的行人之間的距離小于一定閾值時，說明行人之間有交互的可能性，此時，將S4步驟中的每個行人的安全空間合并為行人交互空間，在多個行人之間建立機器人不可通行的交互空間，以此增加機器人路徑規劃時的社交約束屬性；

S6.將S4步驟中的行人安全空間和S5步驟中的行人交互空間融入路徑規劃的代價地圖，使其作為障礙物出現在機器人路徑規劃的柵格地圖中；采用A*算法進行全局路徑規劃，規劃出一條從起點到目標點的最短路徑；采用動態窗口法進行局部路徑規劃，使機器人在運動過程中對行人的安全空間和交互空間合理避讓，從而保證了行人運動的安全性和舒適性。

5.根據權利要求4所述的一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法，其特征在于：進一步的，S4中不可通行的安全空間指動態組合橢圓，包括前向的半個動態橢圓和后面的半個圓，其中，前向的半個動態橢圓位于行人行走的前方，是一個根據二維高斯分布確定的一個動態橢圓區域，后面的半個圓位于行人行走的后方，是一個半圓區域。前向的動態橢圓區域表示如下，

其中，行人前方的動態橢圓的長軸取決于即預測的行人軌跡長度，決定行人左右兩側的安全距離，為設定值，f(x，y)表示不同速度下的行人空間大小，x₀，y₀分別表示行人當前的位置。