[發明專利]一種基于強化學習的AGV路徑規劃方法及系統

有效

• 申請號: 202110963677.5
• 申請日: 2021-08-20
• 公開（公告）號: CN113485380B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 吳宗澤;郭海森;任志剛;賴家倫;王界兵
• 申請（專利權）人: 廣東工業大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于強化學習的AGV路徑規劃方法，其特征在于，所述方法至少包括：

S1.構建AGV動力學模型，設置前向差分更新步長，基于前向差分更新步長及AGV動力學模型確定AGV的基本狀態更新表達式；

S2.以AGV為智能體，AGV行駛所感知到的環境信息為狀態信息，考慮目的地位置、障礙物位置設計狀態空間，以及設計連續性動作空間、多重獎勵機制；

步驟S2所述的考慮目的地位置、障礙物位置設計的狀態空間包括：

a.AGV當前的位置信息：

其中，s_pos表示AGV當前的位置信息；M矩陣是角度矩陣，代表AGV與目的地位置間的方位角θ的聯系；(x_g，y_g)為目的地的位置坐標，(x_r，y_r)為當前AGV的位置坐標；

b.AGV到障礙物的位置信息：

其中，s_{obs_i}表示環境中的障礙物信息；(x_{obs_i}，y_{obs_i})表示第i個障礙物的中心點位置，是AVG自運動始已觀察到的狀態；(x_r，y_r)表示當前AGV的位置；

c.AGV到障礙物間的距離信息：

其中，Dis_i表示AGV位置與第i個障礙物的中心點的距離，(x_r，y_r)表示當前AGV的位置，(x_{obs_i}，y_{obs_i})表示當前第i個障礙物中心點的位置；狀態空間表示為：

state＝[s_pos，s_{obs_i}，Dis_i]，i∈(1，N)；

其中，N表示隨機障礙物的個數上限；

步驟S2所述的連續性動作空間表示為：

action＝[α，w]

其中，α表示AGV的連續性動作加速度向量，w為角速度向量，兩者代表AVG小車的實時運動信息；

多重獎勵機制包括：行駛主線獎勵、若干個輔助獎勵及時間獎勵，具體為：

其中，R_Goal表示終點回報獎勵，為行駛主線獎勵，W_g表示終點回報獎勵的權重值，終點回報獎勵滿足：R_Goal＝1；R_distance表示距離回報獎勵，W_dis表示距離回報獎勵的權重值，距離回報獎勵滿足：

τ_t為微分量也即差分時長，代表AGV每次移動的步距；d_last為記錄前一時刻AGV距終點的距離；d_curr為當前時刻AGV距終點的距離，Time為所花費的步數；為第i個障礙物的大小閾值；R_direction表示方向回報獎勵，W_dir表示方向回報獎勵的權重值，滿足：

R_direction＝π-2θ′，θ′＝min(2|θ|，π)

R_out表示出界回報獎勵，W_out表示出界回報獎勵的權重值，滿足：R_out＝10；R_obstacle表示碰撞回報獎勵，滿足：

其中，W_obs表示碰撞回報獎勵的權重值；

S3.根據AGV動力學模型及AGV的基本狀態更新表達式，結合狀態空間、連續性動作空間及多重獎勵機制，完成AGV路徑規劃的馬爾科夫過程建模；

S4.引入Actor-Critic框架，基于狀態空間、連續性動作空間及多重獎勵機制，智能體與環境交互，以最大化獎勵及最大化策略熵為目標，進行策略學習訓練，使得智能體在訓練的過程中朝著最優的獎勵方向運動；

S5.當訓練收斂時，得到智能體AGV的每步決策動作，進而得到最優的AGV規劃路徑。