[發明專利]基于強化學習的城市場景車聯網多播路由方法

有效

• 申請號: 202011097625.6
• 申請日: 2020-10-14
• 公開（公告）號: CN112218250B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 吳錦橋;李海翔;方敏;李曉;李海昆;陳博;劉玉陽
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04W4/08
• 分類號: H04W4/08;H04W4/40;H04W40/24
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

本發明公開一種基于強化學習的城市場景車聯網多播路由方法，其步驟為：1)構建車聯網；2)車聯網中的每個車輛節點周期性地發送HELLO消息包；3)車輛節點更新Q^V表中的Q值；4)車聯網中的每個路邊節點周期性地發送HELLO消息包；5)路邊節點更新Q^C表中的Q值；6)多播組源車輛節點將數據包發送到多播組源路邊節點；7)多播組源路邊節點將目的路邊節點的數據包轉發到多播組成員路邊節點集合中的每一個路邊節點；8)多播組成員路邊節點將多播組源路邊節點的數據包轉發到多播組成員車輛節點集合中的每一個車輛節點。本發明能有效降低端到端時延，可用于城市環境下車聯網的多播數據路由。

技術領域

本發明屬于通信技術領域，更進一步涉及網絡通信技術領域中的一種基于強化學習的城市場景車聯網多播路由方法。本發明可用于城市場景下車聯網的多播數據路由，采用Q學習方法來動態的選擇最優的網絡節點進行數據的傳輸。

背景技術

車聯網由安裝在車輛上的車載單元和部署在路邊的基礎設施單元組成，這些單元構成了車聯網通信的基本網絡單元。車聯網中的每一個車輛節點可以直接或通過現有基礎設施與其他車輛節點進行無線通信以共享信息，該網絡得以高效正常運轉依賴于網絡內車輛節點具有高可信度且相互間以誠信的協作方式運行。車聯網與普通移動自組織網絡相比，車輛快速運動不僅導致節點之間的通信鏈路頻繁斷連，也使得網絡拓撲結構動態變化劇烈；車輛的移動軌跡受限，其位置、運行方向和速度具有一定的可預測性；GPS輔助定位不僅為車輛提供了位置、速度等信息，而且為車輛提供了準確的全球同步時鐘，為車輛之間的通信和交互提供了很好的支持。因此，車聯網中的數據分發策略需要考慮網絡中節點密度分布的不勻均性，并根據不同的網絡節點分布調整分發機制。

南京郵電大學在其申請的專利文獻“一種基于位置信息的車聯網強化學習路由方法”(申請號：202010111133.1，申請公布號：CN 111343608 A)中提出一種基于位置信息的車聯網強化學習路由方法。該方法將網絡中的車輛節點和路邊節點同等對待，網絡中的每個節點建立相同的Q表，通過提取由當前節點的鄰居節點所傳送的HELLO信息包維護Q表，信息包中包含了節點的速度、位置坐標、Q表中的最大Q值等信息。基于信息包，更新當前節點的Q表中鄰居節點的Q值，求取鄰居節點與目標節點基于位置信息的獎勵值。基于當前節點的Q表中鄰居節點的Q值、鄰居節點與目標節點基于位置信息的獎勵值，從鄰居節點中選取適配節點作為轉發節點。該方法存在的不足之處是：由于該方法對車聯網中的車輛節點和路邊節點統一處理，在進行Q表更新時忽略了路邊節點信道穩定、高帶寬的優勢，導致進行路由選擇時并沒有選擇到最佳節點，不能充分降低端到端延遲。

西安電子科技大學在其申請的專利文獻“車載自組織網絡中基于Q學習和電子地圖的路由方法”(申請號：CN201710667789.X，申請公布號：CN 107454650 A)中提出一種車載自組織網絡中基于Q學習和電子地圖的路由方法。該方法節點通過廣播HELLO信息包維護節點Q表，信息包中包含了節點地址、節點速度、位置坐標、最大Q值集合等信息。基于HELLO信息包中當前節點的Q表中鄰居節點的Q值，結合電子地圖計算車流密度，求取獎勵值并更新Q表。源節點基于Q表生成并廣播路由請求包，中間節點接收路由請求包并更新Q表，并繼續廣播該路由請求包，直到請求包到達目的節點。目的節點生成路由回復包，并根據Q值表反向傳回源節點，中間節點根據回復包中的信息更新Q表，并選擇最優的位于交叉路口的路邊節點進行轉發，如果回復包最終到達源節點，則建立路由路徑，進行數據傳輸，否則，繼續轉發路由回復包。該方法存在的不足之處是：該方法通過將每個節點的最大Q值通過路由請求包與路由回復包進行傳遞，最終獲得一條確定的通信鏈路后進行數據包傳輸，但由于車聯網的高動態性，在實際傳輸過程中網絡情況可能已經發生變化，當遇到這種情況時，數據包的傳輸路徑就不是最佳，甚至可能導致網絡連通失效。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種基于強化學習的城市場景車聯網多播路由方法，旨在解決現有技術中沒有充分利用路邊節點的高帶寬與穩定性，導致無法有效降低端到端通信時延的技術問題。還解決了現有Q學習路由方法中對于車聯網的高動態性適應力不足的問題。