[發(fā)明專利]基于強化學(xué)習(xí)的城市場景車聯(lián)網(wǎng)多播路由方法

有效

• 申請?zhí)枺?/td>: 202011097625.6
• 申請日: 2020-10-14
• 公開（公告）號: CN112218250B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 吳錦橋;李海翔;方敏;李曉;李海昆;陳博;劉玉陽
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: H04W4/08
• 分類號: H04W4/08;H04W4/40;H04W40/24
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

1.一種基于強化學(xué)習(xí)的城市場景車聯(lián)網(wǎng)多播路由方法，其特征在于，車聯(lián)網(wǎng)中每個車輛節(jié)點采用Q學(xué)習(xí)方法維護(hù)自己的車輛節(jié)點Q表，車聯(lián)網(wǎng)中每個路邊節(jié)點采用Q學(xué)習(xí)方法維護(hù)自己的路邊節(jié)點Q表，基于車輛節(jié)點和路邊節(jié)點Q表，實現(xiàn)了一種高動態(tài)適應(yīng)性的多播路由方法，該方法具體步驟包括如下：

(1)構(gòu)建車聯(lián)網(wǎng)：

將城市區(qū)域中待聯(lián)網(wǎng)的每個車輛和每個路邊單元均作為一個節(jié)點組成車聯(lián)網(wǎng)；將車聯(lián)網(wǎng)中每個車輛節(jié)點的Q^V表中初始Q值設(shè)置為0；將車聯(lián)網(wǎng)中每個路邊節(jié)點的Q^C表中初始Q值設(shè)置為0；

(2)車聯(lián)網(wǎng)中的每個車輛節(jié)點周期性地發(fā)送HELLO消息包；

(3)車輛節(jié)點更新Q^V表中的Q值；

(3a)接收到同一個HELLO消息包的每一個車輛節(jié)點，從HELLO消息包中提取最大Q值；

(3b)利用下述車輛節(jié)點瞬時獎勵值公式，計算每個接收到HELLO消息包的車輛節(jié)點的車輛節(jié)點瞬時獎勵值：

其中，R^V(l,h)表示第l個接收到HELLO消息包的車輛節(jié)點與發(fā)送HELLO消息包的車輛節(jié)點h之間的車輛節(jié)點瞬時獎勵值，abs(·)表示取絕對值操作，表示求平方根操作，x_l表示第l個接收到HELLO消息包的車輛節(jié)點的橫坐標(biāo)，x_h表示發(fā)送HELLO消息包的車輛節(jié)點h的橫坐標(biāo)，y_l表示第l個接收到HELLO消息包的車輛節(jié)點的縱坐標(biāo)，y_h表示發(fā)送HELLO消息包的車輛節(jié)點h的縱坐標(biāo)，T表示車聯(lián)網(wǎng)中無線信號傳輸范圍；

(3c)利用車輛節(jié)點Q值更新公式，每個接收到HELLO消息包的車輛節(jié)點，利用其最大Q值和車輛節(jié)點瞬時獎勵值，更新Q^V表中的Q值；

(4)車聯(lián)網(wǎng)中的每個路邊節(jié)點周期性地發(fā)送HELLO消息包；

(5)路邊節(jié)點更新Q^C表中的Q值：

(5a)接收到同一個HELLO消息包的每一個路邊節(jié)點，從HELLO消息包中提取最大Q值；

(5b)利用下述路邊節(jié)點瞬時獎勵值公式，計算每個接收到HELLO消息包的路邊節(jié)點的路邊節(jié)點瞬時獎勵值：

其中，R^C(p,q)表示第p個接收到HELLO消息包的路邊節(jié)點與發(fā)送HELLO消息包的路邊節(jié)點q之間的路邊節(jié)點瞬時獎勵值，K_q表示發(fā)送HELLO消息包的路邊節(jié)點q的多播組成員車輛節(jié)點集合中元素的個數(shù)，∑表示求和操作，i表示發(fā)送HELLO消息包的路邊節(jié)點q的多播組成員車輛節(jié)點集合中元素的序號，表示發(fā)送HELLO消息包的路邊節(jié)點q的多播組成員車輛節(jié)點集合中的第i個多播組成員車輛節(jié)點，R^m表示多播組成員路邊節(jié)點集合；

(5c)利用下述路邊節(jié)點Q值更新公式，每個接收到HELLO消息包的路邊節(jié)點，利用其最大Q值和路邊節(jié)點瞬時獎勵值，更新Q^C表中的Q值：

其中，表示第p個接收到HELLO消息包的路邊節(jié)點通過發(fā)送HELLO消息包的路邊節(jié)點q向目的路邊節(jié)點d轉(zhuǎn)發(fā)的更新后的Q值，α表示學(xué)習(xí)率，其取值范圍為[0,1]，表示更新前的值，γ表示折扣率，其取值范圍為[0,1]，N(q)表示路邊節(jié)點q的鄰居路邊節(jié)點集，表示路邊節(jié)點q通過其鄰居路邊節(jié)點集中的鄰居路邊節(jié)點k向目的路邊節(jié)點d轉(zhuǎn)發(fā)的最大Q值；

(6)多播組源車輛節(jié)點將數(shù)據(jù)包發(fā)送到多播組源路邊節(jié)點：

(6a)按照下式，多播組源車輛節(jié)點選擇一個路邊節(jié)點作為目的路邊節(jié)點：

其中，c表示目的路邊節(jié)點，表示多播組源車輛節(jié)點v_s經(jīng)過鄰居車輛節(jié)點v向路邊節(jié)點c_i轉(zhuǎn)發(fā)的Q值，表示取最大值時路邊節(jié)點c_i的取值，c_e表示多播組源車輛節(jié)點v_s所在行駛路段上駛離方向的路邊節(jié)點，c_x表示多播組源車輛節(jié)點v_s所在行駛路段上駛?cè)敕较虻穆愤吂?jié)點；

(6b)將多播組源車輛節(jié)點作為當(dāng)前車輛節(jié)點；

(6c)當(dāng)前車輛節(jié)點通過查詢其自身Q^V表，得到當(dāng)前車輛節(jié)點的下一跳鄰居車輛節(jié)點，將當(dāng)前車輛節(jié)點的數(shù)據(jù)包轉(zhuǎn)發(fā)到下一跳鄰居車輛節(jié)點；

(6d)判斷接收到數(shù)據(jù)包的下一跳鄰居車輛節(jié)點是否為目的路邊節(jié)點，若是，則執(zhí)行步驟(6f)，否則，將該下一跳鄰居車輛節(jié)點作為當(dāng)前車輛節(jié)點后執(zhí)行步驟(6c)；

(6f)判斷接收到數(shù)據(jù)包的目的路邊節(jié)點是否為多播組源路邊節(jié)點，若是，則執(zhí)行步驟(7)，否則，將該目的路邊節(jié)點的數(shù)據(jù)包轉(zhuǎn)發(fā)到多播組源路邊節(jié)點后執(zhí)行步驟(7)；

(7)多播組源路邊節(jié)點將目的路邊節(jié)點的數(shù)據(jù)包轉(zhuǎn)發(fā)到多播組成員路邊節(jié)點集合中的每一個路邊節(jié)點；

(8)多播組成員路邊節(jié)點將多播組源路邊節(jié)點的數(shù)據(jù)包轉(zhuǎn)發(fā)到多播組成員車輛節(jié)點集合中的每一個車輛節(jié)點。