[發(fā)明專利]基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容放置方法

有效

• 申請?zhí)枺?/td>: 202010408027.X
• 申請日: 2020-05-14
• 公開（公告）號: CN111629037B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 陸佃杰;賀明鑫;張桂娟;田杰;劉弘
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: H04L67/63
• 分類號: H04L67/63;H04L47/12;H04L45/02;H04L45/74;G06N20/00
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李圣梅

1.基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容放置方法，其特征是，包括：

建立動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)；

將網(wǎng)絡(luò)中所有云代理服務(wù)器看成節(jié)點，確定源節(jié)點和目的節(jié)點集合；

基于源節(jié)點和目的節(jié)點建立基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)CCDN內(nèi)容放置模型CRL-CPM；

在CRL-CPM的基礎(chǔ)上，通過基于CRL的時變分發(fā)樹構(gòu)建算法構(gòu)建一棵時變分發(fā)樹，利用分發(fā)樹進(jìn)行內(nèi)容分發(fā)；

基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)CCDN內(nèi)容放置模型CRL-CPM：

通過相鄰節(jié)點之間共享自身探索環(huán)境后得出的最優(yōu)策略來收斂其動作，節(jié)點接收到鄰居節(jié)點廣播的最優(yōu)策略與自己的本地策略作對比，在本地策略和鄰居廣播的策略中選擇一個最優(yōu)策略來執(zhí)行下一步動作；

協(xié)同強(qiáng)化學(xué)習(xí)通過相鄰云代理服務(wù)器Agent共享自己的策略來提高探索環(huán)境的效率，在CCDN中通過CRL方法建立的自適應(yīng)分發(fā)樹能夠根據(jù)節(jié)點的存在情況和節(jié)點的擁塞狀況來自適應(yīng)調(diào)節(jié)路徑，從而更快的放置內(nèi)容；

時變分發(fā)樹構(gòu)建算法，構(gòu)建時變分發(fā)樹：

構(gòu)建Cache表；

通過節(jié)點廣播算法，節(jié)點向周圍鄰居節(jié)點廣播自己的策略值并通過自身接收到的鄰居策略值更新自己的協(xié)同強(qiáng)化學(xué)習(xí)Q值；

通過基于學(xué)習(xí)的Q值更新算法，為每一目的節(jié)點選擇一條到其終止節(jié)點的路徑，并更新Q值；

通過反向路由信息，建立從源節(jié)點到目的節(jié)點的路徑，構(gòu)建CRL-TDT。

2.如權(quán)利要求1所述的基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容放置方法，其特征是，協(xié)同強(qiáng)化學(xué)習(xí)中，動態(tài)云代理服務(wù)器Agent集合N＝{n₁,n₂,...,n_m}，對應(yīng)CCDN中的節(jié)點，是有向圖中的V集合。

3.如權(quán)利要求2所述的基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容放置方法，其特征是，對于每個云代理服務(wù)器Agent n_i來說都有一個動態(tài)鄰居云代理服務(wù)器Agent集合M_i，用來存儲云代理服務(wù)器Agent n_i周圍的鄰居節(jié)點，其中

4.如權(quán)利要求1所述的基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容放置方法，其特征是，每個云代理服務(wù)器Agent n_i中都有一個更新程序，當(dāng)云代理服務(wù)器Agent n_i通過發(fā)現(xiàn)操作發(fā)現(xiàn)新鄰居的時候，這個程序會將新發(fā)現(xiàn)的鄰居云代理服務(wù)器Agent加入到鄰居集合M_i中，并且在Cache_i中添加有關(guān)新鄰居的信息；

如果長時間沒有收到某鄰居云代理服務(wù)器Agent最新廣播的V值，那么就將該鄰居從M_i集合中刪除掉，同時也將在Cache_i中緩存的信息刪除。

5.如權(quán)利要求1所述的基于協(xié)同強(qiáng)化學(xué)習(xí)的動態(tài)云內(nèi)容分發(fā)網(wǎng)絡(luò)內(nèi)容放置方法，其特征是，CCDN中節(jié)點探索外部環(huán)境得到的擁塞信息需要對相鄰節(jié)點廣播，定義一種廣播包advertise packet，存儲當(dāng)前云代理服務(wù)器Agent的策略回報值信息；當(dāng)起始節(jié)點找到一條通往終止節(jié)點最佳路徑后，需要建立反向路由使得源節(jié)點通過此路徑往目的節(jié)點放置內(nèi)容，定義一種路徑包path packet，用來存儲起始節(jié)點通往終止節(jié)點的路徑信息；

當(dāng)前節(jié)點向下一跳節(jié)點發(fā)送路徑包path packet成功后，接收到路徑包path packet的節(jié)點會返回確認(rèn)信息給當(dāng)前節(jié)點，若接收失敗，則不返回，定義一種confirmation packet，用來存儲確認(rèn)信息。