[發(fā)明專利]適用于智能汽車的自主決策方法及系統(tǒng)、裝置、終端

在審

• 申請?zhí)枺?/td>: 202111142980.5
• 申請日: 2021-09-28
• 公開（公告）號: CN113807503A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設計）人: 高洪波;朱菊萍;何希;王成才
• 申請（專利權）人: 中國科學技術大學先進技術研究院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 許青華

1.一種適用于智能汽車的自主決策方法，其特征在于，包括如下步驟：

步驟S1：構建駕駛行為的狀態(tài)集合S、駕駛行為的動作集合A和駕駛行為的回報集合R，根據(jù)狀態(tài)選擇動作集合A中的動作，得到下一個狀態(tài)，然后計算出回報R，在Double DQN框架下，給當前Q網(wǎng)絡與目標Q網(wǎng)絡構建相同的CNN網(wǎng)絡用于訓練；

步驟S2：利用貪婪策略選擇動作獲得待訓練的樣本，動作從步驟S1中的動作集合A中選擇，樣本構成reply池；

步驟S3：待樣本達到設定數(shù)量后，從reply池中根據(jù)設定閾值選擇樣本，隨后進行訓練，根據(jù)梯度下降法，由當前Q網(wǎng)絡與目標Q網(wǎng)絡之間誤差進行反向傳播優(yōu)化當前Q網(wǎng)絡參數(shù)；

步驟S4：樣本訓練之后應用至載體進行自主決策。

2.根據(jù)權利要求1所述的適用于智能汽車的自主決策方法，其特征在于，所述步驟S1中駕駛行為的狀態(tài)集合S包括智能汽車采集的速度與距離信息；駕駛行為的動作集合A包括加速、減速、車道保持、左變道和右變道信息；

訓練在Double DQN框架下，給當前Q網(wǎng)絡與目標Q網(wǎng)絡構建相同的CNN網(wǎng)絡。

3.根據(jù)權利要求1所述的適用于智能汽車的自主決策方法，其特征在于，所述步驟S1中駕駛行為的回報集合R包括：

r_sum＝r_col+r_left+r_lc+r_speed；

其中，v_max為允許的最大速度；v_min為允許的最小速度；r_left為左車道獎勵；r_col為相撞懲罰；r_speed為根據(jù)速度大小歸一化后得到獎勵；r_lc為車道變化懲罰。

4.根據(jù)權利要求1所述的適用于智能汽車的自主決策方法，其特征在于，所述步驟S2中獲得待訓練的樣本放入reply池進行積累，在reply池中獲取訓練集。

5.根據(jù)權利要求1所述的適用于智能汽車的自主決策方法，其特征在于，所述步驟S3中采用CNN深度神經(jīng)網(wǎng)絡進行樣本訓練，包括：

步驟S3.1：初始化CNN深度神經(jīng)網(wǎng)絡參數(shù)；

步驟S3.2：針對大于設定閾值的樣本在被多次抽取訓練后舍棄，針對小于設定閾值的樣本在抽樣后即被舍棄；

步驟S3.3：根據(jù)輸入信息匹配不同的CNN深度神經(jīng)網(wǎng)絡進行訓練；

步驟S3.4：求取CNN深度神經(jīng)網(wǎng)絡的損失值，兩個網(wǎng)絡間的損失值用于反向傳播來優(yōu)化當前Q網(wǎng)絡；

步驟S3.5：利用梯度下降法優(yōu)化CNN深度神經(jīng)網(wǎng)絡參數(shù)，當前值神經(jīng)網(wǎng)絡每優(yōu)化N輪，將CNN深度神經(jīng)網(wǎng)絡參數(shù)復制給目標Q網(wǎng)絡即決策網(wǎng)絡。

6.根據(jù)權利要求5所述的適用于智能汽車的自主決策方法，其特征在于，所述步驟S3.4中損失值計算為：

loss＝(y-Q(s，a；θ))²

式中，r為下一個狀態(tài)返回獎勵，γ為折扣系數(shù)，Q(s，a；θ)為當前Q網(wǎng)絡的Q值，Q(s，a；θ′)為目標Q網(wǎng)絡的Q值。

7.根據(jù)權利要求1所述的適用于智能汽車的自主決策方法，其特征在于，所述步驟S4中輸入所需信息，將信息輸入所訓練CNN網(wǎng)絡即可得到動作集合A中的動作所對應的Q值，選擇Q值最大的動作，車輛根據(jù)動作行動，實現(xiàn)自動駕駛。