[發明專利]基于混合策略的四旋翼無人機移動降落的控制方法及系統

在審

• 申請號: 202010123243.X
• 申請日: 2020-02-27
• 公開（公告）號: CN111338375A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 彭曉東;解靖怡;牛文龍
• 申請（專利權）人: 中國科學院國家空間科學中心
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 北京方安思達知識產權代理有限公司 11472
• 代理人: 楊青;武玥

1.一種基于混合策略的四旋翼無人機移動降落的控制方法，所述方法包括：

獲取當前時刻無人機的狀態信息與地面移動平臺的狀態信息；所述狀態信息包括：位置信息與速度信息；

根據地面移動平臺的運動軌跡，從預先訓練好的基于混合策略的移動降落模型組中選取一個對應的移動降落模型；

將當前時刻無人機的狀態信息與地面移動平臺的狀態信息輸入選取的移動降落模型，輸出無人機的速度控制參數；

根據無人機的速度控制參數控制無人機下一時刻的運動速度；

重復上述步驟，直至無人機降落到地面移動平臺上。

2.根據權利要求1所述的基于混合策略的四旋翼無人機移動降落的控制方法，其特征在于，所述基于混合策略的移動降落模型組包括多個移動降落模型，分別對應不同的地面移動平臺的運動軌跡。

3.根據權利要求2所述的基于混合策略的四旋翼無人機移動降落方法，其特征在于，所述移動降落模型包括跟蹤模塊和降落模塊；

所述跟蹤模塊基于深度強化學習框架，采用端到端的決策網絡，輸出無人機水平速度控制參數Vx和Vy，控制無人機水平方向動作；

所述降落模塊基于啟發式規則，輸出無人機在豎直方向上的速度Vz，控制無人機豎直方向動作。

4.根據權利要求3所述的基于混合策略的四旋翼無人機移動降落方法，其特征在于，所述跟蹤模塊基于深度強化學習框架，采用端到端的決策網絡，輸出無人機水平速度控制參數Vx和Vy，控制無人機水平方向動作，具體包括：

采用Actor-Critic的異策略學習方法，所述Actor網絡包括第一全連接層、第二全連接層和Scale模塊，其中第一全連接層的隱層個數為30個，激活函數為relu；第二全連接層的隱層個數為2個，激活函數為tanh，所述Scale模塊將第二全連接層輸出的二維值域連續變量轉換成一定范圍內的水平速度控制參數Vx和Vy。

5.根據權利要求3所述的基于混合策略的四旋翼無人機移動降落方法，其特征在于，所述降落模塊基于啟發式規則，輸出無人機在豎直方向上的速度Vz，控制無人機豎直方向動作，具體包括：

當無人機與地面移動平臺之間的距離介于第一閾值和第二閾值時，則無人機在穩定目標跟蹤的同時逐漸降低高度；

當無人機與地面移動平臺之間的距離大于第二閾值時，無人機將逐漸恢復初始高度，重新規劃降落軌跡。

6.根據權利要求4所述的基于混合策略的四旋翼無人機移動降落的控制方法，其特征在于，所述方法還包括對決策網絡進行訓練的步驟，具體包括：

所述決策網絡采用Actor-Critic架構，所述Critic網絡在訓練中使用，為一個全連接層網絡，隱層個數為30，激活函數為relu，用于輸出當前確定性策略的值函數；

將無人機與地面移動平臺在當前時刻T_i的狀態信息S_i輸入Actor網絡，輸出無人機的水平速度a_i，并在無人機的水平速度上添加隨時間衰減的高斯噪聲得到水平速度控制參數；根據無人機的速度控制參數控制無人機下一時刻的運動速度，從而更新系統下一時刻T_i+1的狀態信息S_i+1，并根據預先定義好的獎賞函數獲得當前系統狀態下的回報函數r_i；將(S_i,a_i,r_i,S_i+1)作為一次經驗元組存儲在經驗池中；

通過均勻隨機采樣的方法從經驗池抽取經驗元組輸入決策網絡，對Actor-Critic網絡參數進行更新。

7.根據權利要求1所述的基于混合策略的四旋翼無人機移動降落的控制方法，其特征在于，所述無人機降落到地面移動平臺上的判斷準則為：當無人機與地面移動平臺之間的距離小于第一閾值，并且水平方向相對移動平臺的距離誤差小于第三閾值時，則認為無人機降落到地面移動平臺上。

8.一種基于混合策略的四旋翼無人機移動降落的控制系統，其特征在于，所述系統包括：訓練好的基于混合策略的移動降落模型組、狀態獲取模塊和控制模塊；

所述狀態獲取模塊，用于獲取當前時刻無人機的狀態信息與地面移動平臺的狀態信息；所述狀態信息包括：位置信息與速度信息；

所述控制模塊，用于根據地面移動平臺的運動軌跡，從預先訓練好的基于混合策略的移動降落模型組中選取一個對應的移動降落模型；將當前時刻無人機的狀態信息與地面移動平臺的狀態信息輸入選取的移動降落模型，輸出無人機的速度控制參數；根據無人機的速度控制參數控制無人機下一時刻的運動速度；重復上述步驟，直至無人機降落到地面移動平臺上。