[發明專利]一種融合Q算法和模糊化狀態劃分的自適應巡航決策方法

在審

• 申請號: 202310438432.X
• 申請日: 2023-04-23
• 公開（公告）號: CN116279466A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 尚靖皓;馮建偉;陳豪
• 申請（專利權）人: 中國人民武裝警察部隊工程大學
• 主分類號: B60W30/14
• 分類號: B60W30/14;B60W50/00
• 代理公司: 西安賽博睿納專利代理事務所(普通合伙) 61236
• 代理人: 孟學英

1.一種融合Q算法和模糊化狀態劃分的自適應巡航決策方法，其特征在于，包括以下步驟：

步驟1，建立離散化的狀態變量模型；

步驟2，建立狀態和動作的模糊化變量模型；

步驟3，根據步驟2建立的模糊化變量模型，初始化Q矩陣中的值，并設定學習率α，衰減率γ和獎勵值r；

其中，其中，a為加速度，s為二維狀態量；

步驟4，計算適應度μ_i(s)，并選取具有最大適應度μ_k(s)的狀態；

其中，

步驟5，從步驟3的Q矩陣中的第k行選擇待執行的動作b；

步驟6，執行動作b，得到下一時刻狀態s′和獎勵值r；

步驟7，計算置信度ω_j，并更新Q值；

其中，

Q(s_k,a_l)＝Q(s_k,a_l)+α(r+γωQ′(s_k′,a_l′))，s_k←s_k′；其中，a為加速度，s為二維狀態量；

步驟8，將離散動作連續化，以獲得自適應巡航任務的完成情況；

步驟9，根據步驟8的自適應巡航任務的完成情況，判斷是否滿足自適應巡航任務的停止條件，若滿足則自適應巡航任務截止，若不滿足則再次進入步驟4的計算適應度步驟。

2.根據權利要求1所述的融合Q算法和模糊化狀態劃分的自適應巡航決策方法，其特征在于，步驟1中，離散化的狀態變量模型如下：

其中，v^pre為第一輛車速度，為第一輛車速度的離散狀態量；

其中，v^host為第二輛車速度，為第二輛車速度的離散狀態量；

其中，x^real為兩車實際距離，為兩車實際距離的離散狀態量；

其中，S³為組合而成的三維狀態量，S¹為將S³經過映射而成的一維狀態量。

3.根據權利要求2所述的融合Q算法和模糊化狀態劃分的自適應巡航決策方法，其特征在于，步驟2中，建立狀態和動作的模糊化變量模型之前，先將三維狀態量S³轉變為二維狀態量s^*：

s^*＝(x_e,v_e)

x_e＝(x^real-x^safe)/x^safe

v_e＝v^host-v^pre；

其中，x^real為兩車實際距離；x^safe為兩車安全距離；v^host為第二輛車速度，v^pre為第一輛車速度。

4.根據權利要求3所述的融合Q算法和模糊化狀態劃分的自適應巡航決策方法，其特征在于，步驟2中，模糊化變量模型包括距離相對誤差x_e的模糊化變量模型、速度誤差v_e的模糊化變量模型和加速度a的模糊化變量模型。