[發明專利]基于深度強化學習的車輛數據采集頻率動態調節方法

有效

• 申請號: 201910439512.0
• 申請日: 2019-05-24
• 公開（公告）號: CN110213827B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 李駿;邢志超;吳平陽;梁騰;趙熙唯;劉倩;丁冉;桂林卿
• 申請（專利權）人: 南京理工大學
• 主分類號: H04W72/04
• 分類號: H04W72/04;H04W28/16;H04W4/40;H04W4/02
• 代理公司: 江蘇惠遠公盈律師事務所 32254
• 代理人: 沈勇

本發明設計了一套應用于道路安全的算法，實現了在監控路上車輛時數據采集頻率的動態調整。由于數據中心監控道路的車輛情況時都是固定的數據采集頻率，可能會導致對危險情況的關注度不夠，造成不必要的資源浪費，同時大量上傳的數據也會對數據中心處理數據產生一定的壓力，因此考慮在數據的采集過程中對數據進行預處理。本發明通過對道路環境與車輛移動的建模，獲得采集頻率與道路狀況的匹配度。通過結合深度強化學習算法，找出在每個時刻針對于每種狀況的最優決策，從而獲得最優的匹配度與最少的能源消耗，從而極大提升數據中心對行駛車輛數據采集的效率。

技術領域

本發明涉及無線通信方法領域，以及計算機領域中基于神經網絡的深度強化學習算法，屬于交叉學科的方法應用。

背景技術

車聯網概念引申自物聯網(Internet?of?Things),智能交通系統是一個巨大的互動信息網絡，如車輛位置，速度和路線。通過GPS，射頻識別方法，傳感器，攝像機圖像處理等設備，車輛可以完成自身環境和狀態信息的收集；通過互聯網方法，所有車輛都可以將各種信息傳輸到中央處理器；通過計算機方法，可以分析和處理大量車輛上的這些信息，以計算不同車輛的最佳路線，及時報告道路狀況，并安排信號周期。

正是由于車聯網有著非常豐富的上層應用，為了服務于日益增長的大數據分析需求，合理利用計算資源，需要數據采集端在采集數據時也體現出智能化，而非傳統的固定頻率。智能的數據采集頻率調節方法可以幫助上層計算中心預先過濾掉一部分無用的信息，提升計算有效性，同時節省傳感器的能源消耗。

發明內容

本發明所要解決的方法問題是在車聯網的發展背景下，針對目前通常采取固定車輛數據采集頻率的系統，提供了一種基于深度強化學習的車輛數據采集頻率動態調節方法，以有效提高系統道路安全與計算資源分配。

本發明為解決上述方法問題采用以下方法方案：假設車輛在基站服務區域內行駛的時間為t＝1,...,T，每個服務的時隙為時隙內最小采樣間隔為τ。通過動態調整采樣間隔的大小a(t)τ，從而為不同的情況匹配不同的采樣頻率其中，MDP中的動作集狀態集s(t)＝{f(t),var(t)}，即每個時刻的頻率與速度的樣本方差。每個時刻動作的選擇會參考狀態中的樣本方差，而動作的選定也會改變狀態中的頻率。

系統的已知量與目標：車輛的速度公式為：在每個時刻t，系統選擇不同的采樣間隔a(t)τ，以獲得不同的數據采集頻率此外，系統會有一個長度為L的數據庫用來保存歷史速度值：

V＝{v(t-1-L),v(t-L),...,v(t-1)}，基于這些歷史數據，通過我們所建立的機制得到相應的采集頻率f_var。最終，使Z(t)＝|f(t)-f_var(t)|越小越好，從而實現動態頻率調節的功能。

步驟11)為了實現對車輛數據的動態采集，因此先將車輛以高斯-馬爾科夫移動模型建模，根據Gauss-Markov移動模型：其中φ(t)服從以下推導速度方差的上界：

…

綜上，

移項得

因此：

速度方差的上界：

步驟12)每個時刻系統都會根據之前保存的車輛速度值計算方差，再根據方差去調整車輛的數據采集頻率。在此我們定義一個數據長度為L的數據庫用來保存歷史速度值：V＝{v(t-1-L),v(t-L),...,v(t-1)}。然后，以無偏估計計算樣本速度的方差：