[發明專利]基于強化學習的橋梁檢測無人機自主導航與穩定控制方法

在審

• 申請號: 202110760963.1
• 申請日: 2021-07-06
• 公開（公告）號: CN113821044A
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 黃攀峰;方國濤;張夷齋;張帆;常海濤
• 申請（專利權）人: 西北工業大學
• 主分類號: G05D1/08
• 分類號: G05D1/08;G05D1/10
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 劉春

1.基于強化學習的橋梁檢測無人機自主導航與穩定控制方法，其特征在于，包括：

步驟一：基于牛頓-歐拉法對檢測橋梁的四旋翼無人機進行動力學建模；

步驟二：考慮待檢橋梁周圍環境信息和檢測約束條件，提出基于神經網絡強化學習實現無人機自主避障飛行；

步驟三：采用橋梁建筑信息模型輔助下的雙目視覺與IMU組合自主導航；

步驟四：系統內環控制采用自抗擾算法進行姿態控制，外環控制采用PID控制進行位置控制，實現橋梁檢測無人機在強風干擾下的穩定控制。

2.如權利要求1所述的基于強化學習的橋梁檢測無人機自主導航與穩定控制方法，其特征在于，所述步驟一的具體方法為：

為確定無人機飛行中的位置，建立機體坐標系E-XYZ，其原點是無人機起飛時的質心，X軸的正方向是無人機頭的航向正方向，Y軸的正方向是無人機水平向左的方向，Z軸的正方向是無人機垂直向上的方向；

為確定四旋翼無人機的姿態，建立機體坐標系B-X'Y'Z'，其原點是無人機的質心，X'軸的正方向是機頭的方向，Z'軸的正方向是垂直于機體平面向上，Y'軸的正方向由右手準則確定；

則，四旋翼無人機的動力學模型如下：

其中，m為無人機質量，x,y,z為距四旋翼中心點的平移位置；φ為橋梁檢測無人機的橫滾角，其角速度為p；θ為橋梁檢測無人機俯仰角；ψ為橋梁檢測無人機偏航角，其角速度為r，n₃為平動拖曳力系數，n_3x,n_3y,n_3z分別為X軸，Y軸和Z的平動拖曳系數，g為重力加速度，，I_XX,I_YY,I_ZZ分別為X軸，Y軸和Z軸的轉動慣量，H為角動量，Ω＝[p q r]^T為角速度，H^R為角動量變化率，l為橋梁檢測無人機的質心到中心點的距離。

3.如權利要求1或2所述的基于強化學習的橋梁檢測無人機自主導航與穩定控制方法，其特征在于，所述的步驟二中基于神經網絡強化學習的方法具體為：

步驟1：初始化神經網絡和運行中所用到的參數；

步驟2：初始化用于橋梁檢測的無人機的狀態；

步驟3：獲得所述無人機的當前狀態信息s_t；

步驟4：把所述當前狀態信息輸入到步驟1的所述神經網絡中，根據獲得的Q值選擇動作；

步驟5：執行動作使得所述無人機達到一個新的狀態s_t+1，同時獲得反饋強化信號值；若發生碰撞，則返回無人機的初始位置再重新開始；

步驟6：訓練神經網絡；

步驟7：重復步驟3-6直到學習完畢。

4.如權利要求3所述的基于強化學習的橋梁檢測無人機自主導航與穩定控制方法，其特征在于，所述步驟二中自主避障的方法為：

采用Boltzmann分布實現無人機初始階段對動作隨機選擇，某個動作被選擇的概率為：

式中，T為虛擬問題，隨著T增加，選擇的隨機性越強；

隨著學習的進行，Q值慢慢趨向于所期望的狀態-動作值，根據貪婪策略來選擇動作，即選擇最大Q值所對應的動作；

s為強化學習系統接受環境狀態的輸入，a為系統輸出相應的行為動作。

5.如權利要求1或2所述的基于強化學習的橋梁檢測無人機自主導航與穩定控制方法，其特征在于，所述的步驟三中自主導航算法的具體方法為：

根據橋梁檢測無人機系統導航的框架模型，給出建筑信息模型輔助下的無人機雙目視覺導航系統中相機坐標系到世界坐標系的轉換，然后確定特征點的三維坐標，最后確定非線性優化所需要的初速度、陀螺儀的零偏，以及重力方向。

6.如權利要求1或2所述的基于強化學習的橋梁檢測無人機自主導航與穩定控制方法，其特征在于，所述步驟四的具體方法為：基于橋梁橋底的實時風場估計，橋檢無人機控制系統內環采用自抗擾算法進行姿態控制，外環采用PID方法進行位置控制，實現強風場干擾下的快速穩定控制。