[發明專利]一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法

在審

• 申請號: 202111536731.4
• 申請日: 2021-12-15
• 公開（公告）號: CN113985897A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 李秀智;王虞鑫;張祥銀;張磊
• 申請（專利權）人: 北京工業大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

本發明涉及一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法，屬于機器人路徑規劃領域。該方法采用深度相機采集場景中的數據送入YOLOv5_DeepSort網絡進行行人的實時檢測與跟蹤，獲取每個行人的編號和檢測框，并對行人的檢測框進行實時跟蹤和位置更新。然后提取行人的像素坐標轉換為世界坐標，用于輸入到Social GAN網絡進行行人軌跡實時預測，從而得到行人未來時刻的軌跡。根據得到的行人預軌跡和行人之間的距離在行人周圍形成機器人不可通行的安全空間或交互空間，使機器人在路徑規劃時能夠及時避讓行人的安全空間和交互空間，從而增加了機器人的預判性和社交約束屬性。

技術領域

本發明屬于機器人路徑規劃領域，是一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法。

背景技術

隨著人工智能與機器人技術的不斷發展與進步，移動機器人在工業、服務業、農業、醫療等領域得到了快速發展和廣泛應用，人們對機器人性能的要求也逐步提升。機器人在復雜的多人動態環境中能充分考慮行人運動與社交規律等因素，實現智能行走成為機器人的一項重要功能。

傳統的路徑規劃往往只是讓機器人在行走過程中實時躲避環境中的障礙物，從而規劃出一條從起點到目標點的無障礙路徑。但對于有意識的行人不能進行簡單的避障，機器人需要在路徑規劃的過程中對行人的運動行為、多個行人之間的交互進行提前預判并避讓，避免機器人行走過程中影響行人的正?；顒优c交流。比如：當兩個行人正在以為1米以內的間距同向行走時，機器人不能從他們中間穿過，這不符合人類的社交規律，故應該讓機器人繞行。因此，在機器人路徑規劃時提前感知行人的運動意圖，增加機器人的社交約束屬性，能夠降低機器人行走過程中對行人活動的影響，實現機器人與行人安全交互、和諧共處的目標。

發明內容

鑒于上述傳統技術中的不足之處，本發明提供了一種基于行人軌跡預測與社交約束的移動機器人路徑規劃方法。該方法所采用的技術方案是通過實時預測行人的未來軌跡，并根據行人的未來軌跡和行人之間的距離，在行人周圍生成機器人不可通行的空間，使機器人路徑規劃時能及時避讓行人空間，達到增加機器人的預判性和社交約束屬性的目的。

本發明具體方案如下所述：

所述的基于行人軌跡預測與社交約束的移動機器人路徑規劃方法包括兩個模塊，構建行人實時檢測跟蹤并預測模塊和構建具有社交約束的機器人路徑規劃模塊，其中：

所述的行人實時檢測跟蹤并預測模塊具體方案如下：

S1.搭建YOLOv5_DeepSort網絡，使用公開數據集對YOLOv5_DeepSort進行預訓練，保存訓練好的權重文件用于行人的實時檢測與跟蹤；

S2.采用RealSense D435深度相機向YOLOv5_DeepSort網絡實時輸入數據，加載S1步驟中保存的權重文件，然后通過YOLOv5_DeepSort的YOLOv5網絡部分對場景中的行人目標進行實時檢測，得到行人目標的檢測框，DeepSort部分以YOLOv5輸出的行人檢測結果為輸入，對行人在每一時刻的位置進行跟蹤并更新位置信息；

S3.以S2步驟中跟蹤到的每一時刻的檢測框中心點像素坐標代替行人檢測框，得到每個行人在時間上的像素坐標序列，記錄每個行人的編號和像素坐標序列，將每一幀的像素坐標與行人的深度信息進行幀間匹配，用于將行人像素坐標轉換為世界坐標；

S4.將相機位置設為世界坐標系的原點，此時相機坐標等于世界坐標。通過相機的內參將像素坐標轉換為圖像坐標再轉換到相機坐標，即可實時獲取行人的相機坐標，即世界坐標；

S5.使用Pytorch深度學習框架搭建Social GAN網絡，使用公開數據集中對SocialGAN網絡進行預訓練，Social GAN網絡包括生成器和判別器，其中生成器的輸入是觀測到的行人最近時刻的軌跡序列，通過對輸入的軌跡進行非線性運算，提取行人的位移狀態向量，經過預測時段序列的傳遞，獲得行人未來時刻的軌跡序列；