[發(fā)明專利]一種基于分簇和增強(qiáng)學(xué)習(xí)的混合路由方法、海洋通信系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010178384.1
• 申請(qǐng)日: 2020-03-14
• 公開(kāi)（公告）號(hào): CN111510956B
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 何先燈;邱熠凡;姚和平;孫國(guó)強(qiáng);高強(qiáng);王龍超
• 申請(qǐng)（專利權(quán)）人: 大連昊洋科技發(fā)展有限公司
• 主分類(lèi)號(hào): H04W28/08
• 分類(lèi)號(hào): H04W28/08;H04W40/12;H04W40/20;H04W40/22;H04W40/24;H04W84/18
• 代理公司: 西安長(zhǎng)和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種基于分簇和增強(qiáng)學(xué)習(xí)的混合路由方法，其特征在于，所述基于分簇和增強(qiáng)學(xué)習(xí)的混合路由方法包括：

步驟一，源節(jié)點(diǎn)需要發(fā)送數(shù)據(jù)包給目的節(jié)點(diǎn)時(shí)，首先判斷是否存在路由信息，若存在則開(kāi)始傳輸數(shù)據(jù)；若不存在，則查找該節(jié)點(diǎn)是否在鄰接表中，若在，根據(jù)節(jié)點(diǎn)轉(zhuǎn)發(fā)策略，在正常參與數(shù)據(jù)包轉(zhuǎn)發(fā)的節(jié)點(diǎn)中選擇距離目的節(jié)點(diǎn)最近的鄰居節(jié)點(diǎn)進(jìn)行轉(zhuǎn)發(fā)，直到到達(dá)目的節(jié)點(diǎn)；否則判斷自身節(jié)點(diǎn)角色，如果是簇成員節(jié)點(diǎn)，啟動(dòng)路由發(fā)現(xiàn)過(guò)程，先發(fā)送數(shù)據(jù)請(qǐng)求包給簇首，然后轉(zhuǎn)到步驟二；若是簇頭節(jié)點(diǎn)，直接轉(zhuǎn)到步驟二；

步驟二，簇首產(chǎn)生RREQ，并將源節(jié)點(diǎn)的地理位置，源節(jié)點(diǎn)所在簇ID和Q表最大值一并添加到RREQ中，廣播RREQ，轉(zhuǎn)到步驟三；

步驟三，中間節(jié)點(diǎn)收到RREQ，若當(dāng)前節(jié)點(diǎn)為普通節(jié)點(diǎn)且收到的RREQ為本簇的RREQ，則本地存儲(chǔ)RREQ中的Q表最大值；若當(dāng)前節(jié)點(diǎn)為普通節(jié)點(diǎn)且收到的RREQ為鄰簇的RREQ，則直接丟棄；若當(dāng)前節(jié)點(diǎn)為簇首，則解析RREQ包并根據(jù)公式對(duì)Q值進(jìn)行更新，并將更新后的Q表最大值寫(xiě)入RREQ，并廣播RREQ，轉(zhuǎn)到步驟四；

強(qiáng)化學(xué)習(xí)系統(tǒng)根據(jù)內(nèi)部的工作機(jī)制對(duì)收到的環(huán)境狀態(tài)s做出相應(yīng)的行為，系統(tǒng)輸出相應(yīng)的行為動(dòng)作a，而環(huán)境在系統(tǒng)動(dòng)作a的作用下，變遷到新的狀態(tài)s′，同時(shí)得到環(huán)境對(duì)于系統(tǒng)的瞬時(shí)獎(jiǎng)懲反饋r；Q學(xué)習(xí)系統(tǒng)是系統(tǒng)選擇的動(dòng)作從環(huán)境中獲得的環(huán)境獎(jiǎng)賞值累計(jì)最大策略動(dòng)作，即π：s→a，其中Q值得更新公式：

其中α表示學(xué)習(xí)率，γ為折扣因子，r_i是回報(bào)函數(shù)；系統(tǒng)產(chǎn)生該動(dòng)作的趨勢(shì)決定于環(huán)境的獎(jiǎng)賞值，即回報(bào)函數(shù)，如果為正的獎(jiǎng)賞值則趨勢(shì)會(huì)越來(lái)越強(qiáng)，如果為負(fù)的獎(jiǎng)賞值則趨勢(shì)會(huì)越來(lái)越弱；定義簇i的Q值表的最大Q值集合為其中d₁,d₂,...,d_n表示目的簇，y_i,y_j,...,y_k表示簇首i所在簇及鄰接簇，表示以y_k為簇首的所在簇為下一跳簇，達(dá)到以d_n為簇首的目的簇所對(duì)應(yīng)的Q值；即MaxQValues_i的一個(gè)元素，MaxQValues_i數(shù)組由RREQ發(fā)送方節(jié)點(diǎn)計(jì)算并與其RREQ消息一起發(fā)送；

步驟四，如果目的節(jié)點(diǎn)收到RREQ，產(chǎn)生RREP，選擇到源節(jié)點(diǎn)所在簇Q值最大的簇作為下一跳轉(zhuǎn)發(fā)簇，且在該下一跳轉(zhuǎn)發(fā)簇內(nèi)選擇CI_j＞CI_thresholdCR_ij＞CR_threshold且到源節(jié)點(diǎn)距離最近的鄰居節(jié)點(diǎn)作為下一跳節(jié)點(diǎn)，轉(zhuǎn)到步驟五；否則轉(zhuǎn)到步驟三，其中節(jié)點(diǎn)通信空閑度閾值CI_threshold和鏈路連通可靠度閾值CR_threshold，CR_ij表示鏈路連通可靠度；

步驟五，中間節(jié)點(diǎn)收到RREP，選擇到源節(jié)點(diǎn)所在簇Q值最大的簇作為下一跳轉(zhuǎn)發(fā)簇，且在該簇內(nèi)選擇CI_j＞CI_thresholdCR_ij＞CR_threshold且到源節(jié)點(diǎn)距離最近的鄰居節(jié)點(diǎn)作為下一跳節(jié)點(diǎn)，并建立正向路由；

步驟六，若源節(jié)點(diǎn)收到RREP，路由建立完成，開(kāi)始傳輸數(shù)據(jù)；否則轉(zhuǎn)到步驟五。

2.如權(quán)利要求1所述的基于分簇和增強(qiáng)學(xué)習(xí)的混合路由方法，其特征在于，所述基于分簇和增強(qiáng)學(xué)習(xí)的混合路由方法中采用TDMA機(jī)制，將時(shí)間周期性地劃分為一個(gè)個(gè)時(shí)間片，一個(gè)時(shí)間片為2s，在每個(gè)時(shí)間片中，又分成鄰居發(fā)現(xiàn)時(shí)段和數(shù)據(jù)傳輸時(shí)段；在鄰居節(jié)點(diǎn)發(fā)現(xiàn)階段，普通節(jié)點(diǎn)之間先進(jìn)行HELLO消息廣播，隨后進(jìn)行簇首競(jìng)選，距離簇中心最近的節(jié)點(diǎn)成為簇首；在數(shù)據(jù)傳輸階段先進(jìn)行簇首的QHELLO包廣播，隨后進(jìn)行數(shù)據(jù)傳輸；鄰居簇首間通過(guò)降低信息速率的方式實(shí)現(xiàn)簇首2倍于普通節(jié)點(diǎn)通信距離的方式，使得鄰居簇首間直接通信可達(dá)，本簇節(jié)點(diǎn)不對(duì)來(lái)自本簇和鄰簇之外的簇首發(fā)來(lái)的QHELLO包和RREQ包進(jìn)行處理。