[發明專利]基于深度強化學習的車輛數據采集頻率動態調節方法

有效

• 申請號: 201910439512.0
• 申請日: 2019-05-24
• 公開（公告）號: CN110213827B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 李駿;邢志超;吳平陽;梁騰;趙熙唯;劉倩;丁冉;桂林卿
• 申請（專利權）人: 南京理工大學
• 主分類號: H04W72/04
• 分類號: H04W72/04;H04W28/16;H04W4/40;H04W4/02
• 代理公司: 江蘇惠遠公盈律師事務所 32254
• 代理人: 沈勇

1.一種基于深度強化學習的車輛數據采集頻率動態調節方法，其特征包括：

假設車輛在基站服務區域內行駛的時間為t＝1,...,T，每個服務的時隙為時隙內最小采樣間隔為τ，通過動態調整采樣間隔的大小a(t)τ，從而為不同的情況匹配不同的采樣頻率其中，動作集狀態集s(t)＝{f(t),var(t)}，即每個時刻的頻率與速度的樣本方差；

在道路安全的角度對道路上車輛的數據采集頻率進行動態規劃；

通過深度神經網絡的學習方法找算法中的最優決策，以獲得比較理想的效果；

所述在道路安全的角度對道路上車輛的數據采集頻率進行動態規劃，包括：

步驟11)為了實現對車輛數據的動態采集，因此先將車輛以高斯-馬爾科夫移動模型建模，根據Gauss-Markov移動模型：其中φ(t)服從以下推導速度方差的上界：

…

綜上，

移項得

因此：

速度方差的上界：

步驟12)每個時刻系統都會根據之前保存的車輛速度值計算方差，再根據方差去調整車輛的數據采集頻率，在此我們定義一個數據長度為L的數據庫用來保存歷史速度值：V＝{v(t-1-L),v(t-L),...,v(t-1)}，然后，以無偏估計計算樣本速度的方差：

步驟13)歸一化樣本方差：由于樣本方差var(t)的最大值不一定小于總體方差最大值D_max，因此考慮使用sigmoid函數，在歸一化值var大于1時，其對應的頻率還保持為頻率的最大值，根據sigmoid公式：通過調整公式中的參數θ,γ，可以修改不同的頻率f_var與歸一化方差var的對應關系，

然后再通過將動作選擇的頻率f(t)與方差匹配的頻率f_var(t)做差Z(t)＝|f(t)-f_var(t)|，最小化兩者的差值以優化頻率的選擇，

Reward：R(t)＝1-Z(t)，差值Z(t)越小，回報R(t)越大。

2.根據權利要求1所述的方法，通過深度神經網絡的學習方法找算法中的最優決策，包括：

步驟21)，將目標函數進行問題轉化：令R(t)＝-e(t)，從而問題轉換為；其中π為需要找出的最優決策；

步驟22)用基于神經網絡的深度強化學習算法，通過最小化神經網絡的收斂值找到收斂時刻的決策序列，再通過調整對車輛超速速度的閾值設定，找出能夠使收斂最優的參數。