[發明專利]一種基于強化學習的異構無線傳感器尋路方法

在審

• 申請號: 202111495257.5
• 申請日: 2021-12-08
• 公開（公告）號: CN113938978A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 王登輝;趙軍輝;楊辰月;易玉萍;萬娜
• 申請（專利權）人: 華東交通大學
• 主分類號: H04W40/12
• 分類號: H04W40/12;H04W4/46;G06N20/00
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 謝歡

1.一種基于強化學習的異構無線傳感器尋路方法，其特征在于，包括以下步驟：

設置車聯網無線傳感器網絡的異構網絡環境；

以網格形式均勻劃分車聯網無線傳感器網絡，獲得若干個虛擬網格；

選取每個虛擬網格內服務質量最高的傳感器節點，以該傳感器節點作為對應虛擬網格的簇頭；

采用兩層分簇網絡結構的信任評估模型進行簇頭的信任度評估，得到簇頭的信任度；

基于信任度與傳輸距離最小化原則，為傳感器節點傳遞信息選取路徑，連接路徑上各個虛擬網格的簇頭。

2.如權利要求1所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，所述選取每個虛擬網格內服務質量最高的傳感器節點，以該傳感器節點作為對應虛擬網格的簇頭，包括：

采用無模型的強化學習算法選取每個虛擬網格內服務質量最高的傳感器節點；

以選取出的傳感器節點作為對應虛擬網格的簇頭。

3.如權利要求2所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，所述采用無模型的強化學習算法選取每個虛擬網格內服務質量最高的傳感器節點的步驟，包括：

選定傳感器節點作為強化學習算法的代理；

確定和代理不斷進行交互反饋的外部環境，所述外部環境包括無線傳感器網絡的無線信道特性和數據流；

代理與外部環境持續進行交互，獲得交互的動作和狀態；

代理選擇動作執行；

外部環境針對選擇的動作產生新的狀態和獎賞；

外部環境將新的狀態返還給代理，將獎賞返回給代理；

代理根據返回的獎賞確定服務質量最高的節點。

4.如權利要求1所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，所述以網格形式均勻劃分車聯網無線傳感器網絡，獲得若干個虛擬網格的步驟，包括：

車聯網無線傳感器網絡的傳感器節點處均設置GPS定位模塊；

以網格形式均勻劃分車聯網無線傳感器網絡，得到若干個均等的虛擬網格。

5.如權利要求4所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，還包括：

若干個均等的虛擬網格均設置標識網絡序號GID和簇頭GC，所述簇頭GC用于網格間的數據傳播與管理。

6.如權利要求1所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，還包括：

劃分車聯網無線傳感器網絡內所有傳感器節點的初始能量，得到三個能級。

7.如權利要求6所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，所述劃分車聯網無線傳感器網絡內所有傳感器節點的初始能量，得到三個能級，包括：

第1能級1-energy-level，采用E₁表示，E₁節點用于接收和發送文本信息，E₁節點的初始能量設置為E_init-1；

第2能級2-energy-level，采用E₂表示，E₂節點用于傳輸文本信息，和用于提供圖像和視頻信息，E₂節點的初始能量設置為E_init-2；

第3能級3-energy-level，采用E₃表示，E₃節點用于處理傳輸高分辨率的圖片，E₃節點的初始能量設置為E_init-3。

8.如權利要求1所述的一種基于強化學習的異構無線傳感器尋路方法，其特征在于，還包括：

任意兩個鄰近的網格之間的長度均不超過節點的最大覆蓋范圍。