[發(fā)明專利]認(rèn)知網(wǎng)絡(luò)多路徑時延感知最佳路由選擇方法

有效

• 申請?zhí)枺?/td>: 201010120758.0
• 申請日: 2010-03-09
• 公開（公告）號: CN101835239A
• 公開（公告）日: 2010-09-15
• 發(fā)明（設(shè)計）人: 盛敏;樂天助;史琰;李建東;李紅艷;龍春燕
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: H04W40/12
• 分類號: H04W40/12;H04W40/24
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 王品華;朱紅星

技術(shù)領(lǐng)域

本發(fā)明屬于無線通信技術(shù)領(lǐng)域，涉及認(rèn)知多路徑最佳路由選擇方法，用于認(rèn)知無線網(wǎng)絡(luò)中。

背景技術(shù)

認(rèn)知網(wǎng)絡(luò)通過采用適當(dāng)?shù)膶W(xué)習(xí)機制，如強化學(xué)習(xí)算法，能夠在無法獲得完整的環(huán)境信息的情況下，感知網(wǎng)絡(luò)的當(dāng)前狀態(tài)，并根據(jù)感知到的狀態(tài)對網(wǎng)絡(luò)的各參數(shù)進行重配置，進而適應(yīng)不斷變化的網(wǎng)絡(luò)環(huán)境，提高網(wǎng)絡(luò)的性能。Q學(xué)習(xí)算法作為一種強化學(xué)習(xí)算法，能夠在環(huán)境模型未知的情況下，利用環(huán)境獎賞尋找并執(zhí)行最優(yōu)的行為。文獻“Cognitive?Network?Management?with?Reinforcement?Learning?for?WirelessMesh?Networks”提出了將Q學(xué)習(xí)算法運用于減小路由控制開銷的無線網(wǎng)絡(luò)路由方法。該方法能夠自主學(xué)習(xí)并預(yù)測網(wǎng)絡(luò)的狀態(tài)，并根據(jù)所感知的網(wǎng)絡(luò)狀態(tài)好壞配置對應(yīng)狀態(tài)下合適的控制開銷數(shù)目，從而達到減小網(wǎng)絡(luò)開銷的目的。但是，該方法中所使用的路徑仍是傳統(tǒng)路由算法的固定路徑，無法自適應(yīng)的根據(jù)網(wǎng)絡(luò)當(dāng)前的端到端時延和負(fù)載等狀態(tài)進行最佳路徑選擇。

文獻“Packet?Routing?In?Dynamically?Changing?Networks：A?ReinforcementLearning?Approach”中提出了一種將Q學(xué)習(xí)算法運用于路徑選擇的路由方法。該方法具有自學(xué)習(xí)能力，能夠感知不同的網(wǎng)絡(luò)負(fù)載，并學(xué)習(xí)到在該負(fù)載下時延最小的路徑。該方法能夠在高負(fù)載的情況下獲得相對較小的時延。但是該方法對時延還是一個比較粗略的學(xué)習(xí)，無法較精確的學(xué)習(xí)網(wǎng)絡(luò)的當(dāng)前狀態(tài)，導(dǎo)致感知結(jié)果的精確度低。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述已有技術(shù)的缺點，將上述兩種方法的優(yōu)點結(jié)合起來，提出了一種認(rèn)知網(wǎng)絡(luò)多路徑時延感知最佳路由選擇方法，以建立多條路徑，并利用Q學(xué)習(xí)算法實時感知不同業(yè)務(wù)等級的路徑時延，根據(jù)感知結(jié)果在多路徑中動態(tài)的選擇最佳路由發(fā)送數(shù)據(jù)包；并在感知路徑時延中引入信道競爭時延和不同業(yè)務(wù)等級包排隊時延的估計，提高感知結(jié)果的精確度。

本發(fā)明的目的是這樣實現(xiàn)的：

一.術(shù)語說明

Cognitive?Hello包：是指用于向鄰居節(jié)點詢問Q值的包。

Cognitive?Echo包：是指用于向鄰居節(jié)點回復(fù)Q值的包。

RREQ包：是指源節(jié)點發(fā)送的路由請求包。

RREP包：是指目的節(jié)點發(fā)送的路由回復(fù)包。

hello包：是指用于通知鄰居節(jié)點本節(jié)點存在的包。

metric：是指路由代價。

激活路徑：是指多路徑中實際用于傳輸數(shù)據(jù)包的路徑。

二.本發(fā)明步驟

實現(xiàn)本發(fā)明目的技術(shù)方案，包括如下步驟：

(1)根據(jù)業(yè)務(wù)類型將網(wǎng)絡(luò)中的業(yè)務(wù)分為不同優(yōu)先級，其中視頻業(yè)務(wù)為最高優(yōu)先級，語音業(yè)務(wù)為次級優(yōu)先級，數(shù)據(jù)業(yè)務(wù)為最低優(yōu)先級；

(2)在路由表中增加代表視頻、語音和數(shù)據(jù)3個不同優(yōu)先級業(yè)務(wù)路徑時延估計的Q值域，并將它們初始化為“零”；

(3)在路由表中增加對應(yīng)視頻、語音和數(shù)據(jù)3個不同業(yè)務(wù)優(yōu)先級的激活標(biāo)志域，并將其初始化為“假”；

(4)在路由應(yīng)答RREP包中增加代表路徑序號的路徑號域，并將其初始化為“零”；

(5)在節(jié)點之間增加傳遞Q值的認(rèn)知詢問Cognitive?Hello包，以及認(rèn)知應(yīng)答Cognitive?Echo包；

(6)網(wǎng)絡(luò)中的源節(jié)點采用廣播泛洪的方式發(fā)送RREQ包，并記錄本次發(fā)送RREQ包的時間；

(7)收到RREQ包的中繼節(jié)點，根據(jù)該節(jié)點是否為目的節(jié)點確定發(fā)送方式，如果該節(jié)點是目的節(jié)點，則回復(fù)RREP包，否則，中繼節(jié)點將轉(zhuǎn)發(fā)RREQ包，并記錄下本次轉(zhuǎn)發(fā)該RREQ包的時間；

(8)目的節(jié)點在收到RREQ包時，讀取包中的源節(jié)點，并根據(jù)在本次路由發(fā)現(xiàn)過程中接收到來自該源節(jié)點的RREQ包的次數(shù)確定是否回復(fù)RREP包，若次數(shù)大于等于3，則丟棄該RREQ包，否則回復(fù)RREP包；

(9)收到RREP包的中繼節(jié)點，讀取RREP包中的路徑號域的值，估計到達目的節(jié)點的時延值，并將其記錄到路由表對應(yīng)于本路徑號的Q值域中，作為不同優(yōu)先級Q值的初始值；

(10)收到RREP包的源節(jié)點，估計到達目的節(jié)點的時延值，讀取RREP包中的路徑號域的值，然后將時延估計值記錄到路由表中對應(yīng)于本路徑號的Q值域中，作為不同優(yōu)先級Q值的初始值，完成源節(jié)點與目的節(jié)點之間的路由建立；

(11)已建立路徑上的每個節(jié)點通過交互認(rèn)知詢問Cognitive?Hello包和認(rèn)知應(yīng)答Cognitive?Echo包傳遞Q值，并通過如下公式更新路由表中的不同優(yōu)先級的Q值：