[發(fā)明專利]基于增強學(xué)習(xí)的信息中心網(wǎng)絡(luò)興趣包轉(zhuǎn)發(fā)方法

有效

• 申請?zhí)枺?/td>: 201810726056.3
• 申請日: 2018-07-04
• 公開（公告）號: CN108924051B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 張明川;吳慶濤;朱軍龍;鄭瑞娟;劉婷婷;王鑫露;陳亞明;張風(fēng)華;陳軍亞;孟維鳴
• 申請（專利權(quán)）人: 河南科技大學(xué)
• 主分類號: H04L12/721
• 分類號: H04L12/721;H04L12/751;H04L12/801
• 代理公司: 洛陽公信知識產(chǎn)權(quán)事務(wù)所(普通合伙) 41120
• 代理人: 王學(xué)鵬

1.基于增強學(xué)習(xí)的信息中心網(wǎng)絡(luò)興趣包轉(zhuǎn)發(fā)方法，包括探索階段和利用階段，其特征在于：具體步驟為：

步驟一、探索階段的具體步驟為：

(1)智能體收到n個興趣包時，先查詢轉(zhuǎn)發(fā)信息表，在轉(zhuǎn)發(fā)信息表中添加一個Q值，Q值用于計算前綴端口對，并根據(jù)最長前綴匹配來獲取候選端口列表，最后通過候選端口轉(zhuǎn)發(fā)興趣包；

(2)數(shù)據(jù)包中添加離開時間和最小Q值兩個屬性，智能體收到數(shù)據(jù)包時，通過數(shù)據(jù)包中所攜帶的信息計算數(shù)據(jù)包端口數(shù)據(jù)流的Q值，并將Q值添加到轉(zhuǎn)發(fā)信息表中，其中，Q值的計算公式為公式四：

式中，ω(t)為學(xué)習(xí)率，為智能體v到i的時間，為從智能體v到d端的最短時間；

(3)智能體轉(zhuǎn)發(fā)N₁個興趣包后，結(jié)束當(dāng)前的探索階段，開始進入利用階段；步驟二、利用階段的具體步驟為：

a.智能體轉(zhuǎn)發(fā)興趣包時依據(jù)概率選擇轉(zhuǎn)發(fā)最佳端口，概率的計算公式為公式五：

式中，為在端口j上前綴f的興趣包的轉(zhuǎn)發(fā)概率，為在端口j上前綴f的數(shù)據(jù)流的Q值，k為常量，k＞0；

b.當(dāng)滿足公式五的條件或是發(fā)送了N₂個興趣包時，結(jié)束利用階段，重新開始進入探索階段；

c.智能體接收到m個數(shù)據(jù)包時，根據(jù)包所攜帶的信息計算Q值，Q值的計算公式為公式四，并同時更新轉(zhuǎn)發(fā)信息表、數(shù)據(jù)包中的Q值；

其中，n、m、N₁、N₂ 均為常數(shù)。

2.根據(jù)權(quán)利要求1所述的基于增強學(xué)習(xí)的信息中心網(wǎng)絡(luò)興趣包轉(zhuǎn)發(fā)方法，其特征在于：步驟一中還在Q值的學(xué)習(xí)算法中加入具有啟發(fā)知識的函數(shù)H:S×A→R來影響學(xué)習(xí)過程中智能體動作選擇。

3.根據(jù)權(quán)利要求2所述的基于增強學(xué)習(xí)的信息中心網(wǎng)絡(luò)興趣包轉(zhuǎn)發(fā)方法，其特征在于：設(shè)S為智能體有狀態(tài)集合，A為動作集合，啟發(fā)式函數(shù)的在t時刻的動作選擇規(guī)則如公式一所示：

式中，δ為常量，S和A為有限集，s∈S,a∈A，s_t為在t時刻的狀態(tài)，a_t為在t時刻的動作；

在執(zhí)行選擇動作的同時觀察下一個狀態(tài)并接收強化信息r(s,a)，Q值的更新公式如下所示：

式中，γ為常量且0≤γ＜1，s和a為第u次循環(huán)中更新的狀態(tài)和動作，k_u(s,a)是狀態(tài)s和動作a在這u次循環(huán)內(nèi)被訪問的總次數(shù)。

4.根據(jù)權(quán)利要求1所述的基于增強學(xué)習(xí)的信息中心網(wǎng)絡(luò)興趣包轉(zhuǎn)發(fā)方法，其特征在于：所述轉(zhuǎn)發(fā)信息表包括名字前綴、陳舊時間、端口號和Q值。