[發明專利]一種無線自組織網絡表驅動跨層路由學習方法

有效

• 申請號: 201210138777.5
• 申請日: 2012-04-28
• 公開（公告）號: CN102711285A
• 公開（公告）日: 2012-10-03
• 發明（設計）人: 江虹;李強;黃玉清;許文舉;張曉琴
• 申請（專利權）人: 西南科技大學
• 主分類號: H04W80/00
• 分類號: H04W80/00;H04W84/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種適用于無線自組織網絡的具有學習能力的表驅動跨層路由方法，其特征在于：跨層信息提取，迭代學習模型構建、狀態更新三個步驟：

(a)跨層信息提?。篗AC層收到來自本節點網絡層傳遞的數據包時，對網絡層的數據包標識位RF進行判斷，如果網絡層要求MAC層反饋該數據包的重傳次數，則MAC層完成該數據包傳輸后，向網絡層上傳該數據包的重傳次數retry，網絡層使用該信息更新數據包所選擇中繼的擁塞度信息，如果MAC層收到來自物理層的數據包需要傳輸給網絡層時，MAC層將同時向網絡層傳遞該數據包和接收該數據包時的信噪比、本節點MAC層緩存隊列長度和丟包率等信息，網絡層使用這些信息更新迭代算法的收斂因子；

(b)迭代學習模型構建：當有數據包傳輸時，若目標節點是鄰居節點，則直接發送數據包，否則開始構建迭代學習模型，迭代學習模型在網絡層通過狀態行為值函數Q(s，a)實現，狀態s屬于下一跳節點構成的集合，動作或行為a指對某個中繼節點的選擇，狀態行為值函數反映了在當前網絡狀態下，某個動作的累積回報，通過對狀態行為值函數的不斷迭代，給中繼選擇提供依據，狀態行為值函數以表格的形式保存，形成狀態Q值表，迭代學習算法的具體步驟如下：

Step?1：構建迭代模型時，首先創建狀態Q值表并用能到達目標節點的所有鄰居節點對其進行初始化，同時初始化狀態行為值函數Q₀(s’，a)和學習因子α₀，令Q₀(s，a)＝H×T，其中H表示經過s到目標節點的最小跳數，T表示整個網絡相鄰兩個節點間的平均傳輸時間；

Step?2：對數據包當前所在節點S_h，根據某種策略π_Q選擇h時刻的行為a_h，在選擇動作時，遍歷狀態Q值表，首先確定到達目的節點的最小跳數，如果能找到與該最小跳數相同且從未被選為中繼的節點，則從這種節點中選擇一個作為下一跳路由；如果沒有找到這樣的節點，則選擇Q值最小的那個節點作為中繼節點，選擇中繼節點后，數據包被傳遞到MAC層；

Step?3：MAC層收到上層傳遞的數據包時，向中繼節點轉發該數據包，如果上層需要MAC層返回重傳次數，則MAC層在轉發該數據包后向網絡層上傳其重傳次數retry；

Step?4：網絡層從MAC層得到數據包重傳次數retry后，使用C＝(1-γ)*C+γ*1/retry來更新到對應中繼節點的擁塞度，其中C表示擁塞度，γ表示折扣常數，若重傳次數超過最大重傳次數，說明此時執行a_h動作時不能成功傳輸數據包，則給出一個嚴厲的懲罰r_bad；

Step?5：h+1時刻，網絡層根據數據包中的時間戳信息向傳遞該數據包的上一跳節點給出延時回報值r_t，并根據α_tmp＝SNR×(1-Pl)/(SNR_max×L)、α_hop＝(1-γ)×α_hop+γ×α_tmp和R_e＝(1-γ)R_e+γ×r_t更新計算α_h所需的相關參數，其中R_e表示一段時間內的累積回報。L表示數據包到達時Mac層緩存隊列長度，SNR為接收數據包時的信噪比，Pl為MAC層丟包率，SNR_max為整個網絡信道的最大信噪比，α_hop反映了接收當前數據包時，相鄰節點間鏈路的質量情況，r_t、α_hop被保存于回報信息表中；

Step?6：在某個固定周期后，本節點向一跳鄰居節點廣播本節點回報信息表；

Step?7：其它節點收到回報信息表后，按α_h＝(1-α_hop)×C更新回報信息表中目的節點的Q值表收斂因子，同時按Q(s_h，a_h)＝Q(s_h，a_h)+α_h[R_h(s_h+a_h)+γQ(s_h+1，a_h+1)-Q(s_h，a_h)]更新行為狀態值函數；

Step?8：判斷數據包在h+1時刻是否到達目標節點，如果不是則繼續從Step?2執行，如果是目標節點，則完成本次傳輸任務；

(c)狀態更新：狀態Q值表建立后，隨著網絡拓撲的變化，其中的某些狀態可能會發生變化，從而應該對狀態Q值表進行更新，在進行狀態更新時，首先計算所有鄰居節點可達節點表，該表保存了所有通過某一個鄰居節點可到達的所有節點，每個表項由可達節點IP地址和本節點經該鄰居節點到達該可達節點的最小跳數組成，如果狀態Q值表的目標節點在某一個鄰居節點可達節點表中存在，且該鄰居節點不在此狀態Q值表中，則將此鄰居節點加入狀態Q值表；如果狀態Q值表的某個狀態已經不是本節點的鄰居節點，則刪除此狀態。