[發明專利]基于地理位置和Q學習的分簇跨層通信處理方法、系統

有效

• 申請號: 202010085552.2
• 申請日: 2020-02-10
• 公開（公告）號: CN111356198B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 何先燈;邱熠凡;陳南;易運暉;權東曉;朱暢華;趙楠
• 申請（專利權）人: 西安電子科技大學
• 主分類號: H04W40/02
• 分類號: H04W40/02;H04W40/04;H04W40/24
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

1.一種基于地理位置和Q學習的分簇跨層通信處理方法，其特征在于，所述基于地理位置和Q學習的分簇跨層通信處理方法包括以下步驟：

第一步，鄰居節點發現階段，通過地理位置和時隙的劃分，結合Q學習，進行鄰居節點發現，并選出簇首；

第二步，數傳階段，簇首發送TC消息，進行全網拓撲發現，當有數據傳輸請求時，節點利用路由表中目的節點所在簇的簇首地理位置，結合貪婪原則選擇中繼節點進行數據轉發；

所述鄰居節點發現階段中的Q學習是系統選擇的動作從環境中獲得的環境獎賞值累計最大這樣一個策略動作，即π：s→a；其中Q值得更新公式如式(1)所示：

其中α表示學習率，γ為折扣因子，r_i是回報函數；系統產生該動作的趨勢主要決定于環境的獎賞值，即回報函數，如果為正的獎賞值則趨勢會越來越強，如果為負的獎賞值則趨勢會越來越弱；

所述Q學習的簇首選擇方法包括：在鄰居節點發現結束的第一輪，先進行簇首的初選，距離簇中心最近的節點成為簇首；從鄰居節點發現階段的第二輪開始時，每個節點在本地分布式地保存自己的Q表；Q表是一個結構體數組，結構體中存有簇內鄰居節點ID，Qval和Qflag；Qval是該鄰居節點的Q值，Qflag＝1時代表當前輪收到了該節點的消息，Qflag＝0時代表當前輪沒有收到該節點的HELLO消息；在HELLO階段，每收到一個簇內鄰居節點的HELLO消息，則對應更新該鄰居節點對應的Qval并將Qflag置1；當HELLO計時器過期時，將本輪沒有收到HELLO消息且Q表中有該節點ID的節點對應的Qflag置0；若連續兩輪沒有收到Q表中所存的節點的HELLO消息，即該鄰居節點的Qflag連續兩輪為0，則從Q表中刪除；對于不是本簇內的鄰居節點不在Q表中添加信息；如果i為當前節點，i有m個簇內鄰居節點，則在節點i本地保存有如下的Q表；Q表共有m+1列，其中一列為當前節點，當前節點的Qval恒為0，Qflag恒為1；每一列對應一個動作；

Qval值按照式(2)進行更新；

Q_k+1(s_k,a_k)＝(1-α)Q_k(s_k,a_k)+αr_k (2)

回報函數如式(3)所定義：

r_k＝w₁(d_j-d_i)+w₂(S_j-S_i)-w₃(D_j-D_i) (3)

在式(3)中，d_i是當前節點的簇內鄰居節點個數，d_j是鄰居節點j的簇內鄰居節點個數；S_i是當前節點i的穩定性，S_j是鄰居節點j的穩定性；D_i是當前節點i到簇中心的距離，D_j是鄰居節點j到簇中心的距離；當r＞0時，Q值獲得正反饋，對簇首向節點j移交產生積極作用；當r＜0時，Q值獲得負反饋，對簇首保持產生積極作用；

節點的穩定性S定義如下：

其中N_x是x節點當前的鄰居節點集合，是上一輪HELLO消息之后得到的鄰居節點集合；每一個節點都有在本地保留上一次的鄰居節點集；當HELLO計時器過期時，節點將保留的鄰居節點集和當前鄰居集來計算S；相對穩定的節點有較高的S值；對于靜態網絡，每個節點的S都是1；對于所有普通節點，如節點j，Q表只進行更新，每次Q表更新都相當于進行了一次假想動作后獲得的反饋，即假想在節點j當簇首的情況下，將簇首移交或者保持獲得的反饋值來更新Q表；對于所有簇首節點，在鄰居節點發現階段結束后，遍歷Q表中Qflag＝1的節點的Qval，選出Q值最大的節點對應的ID；i為當前簇首節點，當i對應的Q值最大時，i繼續承擔簇首的角色；當鄰居節點j對應的Q值最大時，i將把簇首的角色移交給j節點，即最優選擇策略：

其中，A_k表示a_k所能選取的動作的集合；表示獲取最大Q值時，選取動作a_k的過程；如果簇首做出了簇首移交的動作，則會在數傳時隙的開始發出簇首移交包；當簇內鄰居節點j對應的Q值連續兩輪都最大時，簇首i才進行簇首移交；選擇Q值最大的動作為全局最優解；一個節點相當于一個狀態，每個節點都在使用HELLO消息對其所有鄰居進行采樣。