[發明專利]基于深度強化學習的四旋翼無人機自主導航方法與系統

在審

• 申請號: 202210011567.3
• 申請日: 2022-01-06
• 公開（公告）號: CN114355980A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 朱光耀;王成光;楊根科;褚健;王宏武
• 申請（專利權）人: 上海交通大學寧波人工智能研究院
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 上海劍秋知識產權代理有限公司 31382
• 代理人: 徐浩俊;徐海兵

1.一種基于深度強化學習的四旋翼無人機自主導航方法，其特征在于，所述方法包括以下步驟：

步驟1、構建適用于四旋翼無人機自主導航的DDPG網絡模型，并使用2D-GA算法來訓練所述DDPG網絡模型；

步驟2、獲得所述四旋翼無人機的位姿并建立ESDF地圖；

步驟3、在所述ESDF地圖上，先用路徑搜索算法得到離散路徑點序列；

步驟4、將由所述位姿組成的位姿向量、所述ESDF地圖組成的ESDF地圖矩陣、所述離散路徑點序列組成的離散路徑點向量并行輸入特征提取網絡，并將所述特征提取網絡提取的若干特征拼接成一個組合特征輸入到所述DDPG網絡模型中，輸出動作a給控制模塊；

步驟5、所述控制模塊將所述動作a轉化成所述四旋翼無人機的四個電機的轉速并執行；

步驟6、在所述四旋翼無人機執行完所述動作a之后，根據獎勵函數計算獎勵r，并判斷是否到達目的地；如果沒有到達所述目的地，則重復所述步驟2到所述步驟6，直到到達所述目的地。

2.如權利要求1所述的基于深度強化學習的四旋翼無人機自主導航方法，其特征在于，所述步驟1包括以下步驟：

步驟1.1、隨機初始化所述DDPG網絡模型的Actor網絡π和Critic網絡Q，同時，初始化Actor目標網絡π′和Critic目標網絡Q′，權重分別與所述Actor網絡π和所述Critic網絡Q相同，并初始化經驗回放池；

步驟1.2、初始化所述四旋翼無人機的狀態s，所述狀態s包括初始位姿向量、初始ESDF地圖矩陣、初始離散路徑點向量，并使用隨機策略輸出所述動作a；在所述四旋翼無人機執行完所述動作a之后，使用所述獎勵函數得到執行完所述動作a的所述獎勵r以及下一時刻所述四旋翼無人機的狀態s′，其中，所述初始ESDF地圖矩陣會隨著所述四旋翼無人機的飛行不斷更新；將序列(s，a，r，s′)存入所述經驗回放池中；重復直到所述經驗回放池中達到預定數量的所述(s，a，r，s′)序列；

步驟1.3、從所述經驗回放池中取出m個所述(s，a，r，s′)序列作為同一批進行訓練，使用梯度下降法更新所述Actor網絡π和所述Critic網絡Q的權重；

步驟1.4、在一批訓練結束后，使用所述2D-GA算法對多線程并行執行的所述Actor網絡π和所述Critic網絡Q的權重進行保留和剔除，加快訓練速度；

步驟1.5、對所述Actor目標網絡π′和所述Critic目標網絡Q′的權重進行軟更新：

θ^μ′＝τθ^μ+(1-τ)θ^μ′

θ^ω′＝τθ^ω+(1-τ)θ^ω′

重復所述步驟1.3到1.5，直到訓練結果達到預期要求；

其中，τ表示用來控制權重軟更新速度的參數，θ^μ表示所述Actor網絡π的網絡權重，θ^μ′表示所述Actor目標網絡π′的網絡權重；θ^ω表示所述Critic網絡Q的網絡權重，θ^ω′表示所述Critic目標網絡Q′的網絡權重。

3.如權利要求2所述的基于深度強化學習的四旋翼無人機自主導航方法，其特征在于，在開始所述步驟1之前將預先設計狀態空間、動作空間和所述獎勵函數；

所述狀態空間包括無人機自身狀態、環境信息以及前端路徑搜索得到的離散路徑點，將所述無人機自身狀態、所述環境信息和所述前端路徑搜索得到的離散路徑點并行輸入各自的特征網絡進行處理，并拼接成一個組合特征輸入到所述DDPG網絡模型。

4.如權利要求3所述的基于深度強化學習的四旋翼無人機自主導航方法，其特征在于，所述動作空間為四個連續變量：四旋翼提供的總升力F、三個姿態角的角加速度ω_x、ω_y、ω_z；根據所述姿態的所述角加速度和歐拉方程可以求出所述四旋翼無人機三個軸的轉矩M₁、M₂、M₃，再加上所述總升力F計算出所述四旋翼無人機四個電機的轉速f₁、f₂、f₃、f₄。