[發(fā)明專(zhuān)利]基于強(qiáng)化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源管理方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110236029.6
• 申請(qǐng)日: 2011-08-17
• 公開(kāi)（公告）號(hào): CN102238631A
• 公開(kāi)（公告）日: 2011-11-09
• 發(fā)明（設(shè)計(jì)）人: 朱琦;趙彥清;趙夙
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京郵電大學(xué)
• 主分類(lèi)號(hào): H04W28/08
• 分類(lèi)號(hào): H04W28/08;H04W72/04
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 葉連生

技術(shù)領(lǐng)域

本發(fā)明涉及一種特別用于異構(gòu)網(wǎng)絡(luò)環(huán)境中的無(wú)線(xiàn)資源管理方法，并采用了強(qiáng)化學(xué)習(xí)的控制策略，屬于通信技術(shù)領(lǐng)域。

背景技術(shù)

隨著無(wú)線(xiàn)通信技術(shù)的快速發(fā)展，出現(xiàn)了多種無(wú)線(xiàn)接入技術(shù)并存的局面，由于這些無(wú)線(xiàn)接入系統(tǒng)都是專(zhuān)門(mén)針對(duì)某些特定的業(yè)務(wù)類(lèi)型和用戶(hù)群體而設(shè)計(jì)的，所以在網(wǎng)絡(luò)的覆蓋范圍、可用帶寬、資費(fèi)水平、對(duì)用戶(hù)移動(dòng)性的支持和服務(wù)質(zhì)量(QoS)保證等方面都存在一定的差異性，這種針對(duì)特定業(yè)務(wù)類(lèi)型而專(zhuān)門(mén)設(shè)計(jì)的無(wú)線(xiàn)接入系統(tǒng)己經(jīng)無(wú)法再滿(mǎn)足用戶(hù)日益復(fù)雜多變的業(yè)務(wù)需求。由于現(xiàn)在的各種無(wú)線(xiàn)接入系統(tǒng)在很多區(qū)域內(nèi)都是重疊覆蓋的，因此可以將這些相互重疊的不同類(lèi)型的無(wú)線(xiàn)接入系統(tǒng)智能地融合在一起，共同為用戶(hù)提供隨時(shí)隨地的無(wú)線(xiàn)接入服務(wù)，從而構(gòu)成了一種異構(gòu)無(wú)線(xiàn)網(wǎng)絡(luò)(Heterogeneous?Wireless?Networks，HWN)。所謂異構(gòu)(heterogenoous)其實(shí)是指兩個(gè)無(wú)線(xiàn)接入系統(tǒng)采用了不同的無(wú)線(xiàn)接入技術(shù)，或者是采用相同的無(wú)線(xiàn)接入技術(shù)但屬于不同的無(wú)線(xiàn)運(yùn)營(yíng)商。在異構(gòu)無(wú)線(xiàn)網(wǎng)絡(luò)中，用戶(hù)可以根據(jù)業(yè)務(wù)需要和網(wǎng)絡(luò)狀態(tài)等因素隨時(shí)選擇接入到最合適的那個(gè)無(wú)線(xiàn)接入系統(tǒng)中，從而滿(mǎn)足用戶(hù)靈活多變的個(gè)性化業(yè)務(wù)需求。另外，通過(guò)合理的無(wú)線(xiàn)資源管理，可以充分利用異構(gòu)無(wú)線(xiàn)網(wǎng)絡(luò)中各種無(wú)線(xiàn)接入系統(tǒng)的基礎(chǔ)設(shè)施和頻率資源，充分激發(fā)這些系統(tǒng)的潛能，共同為用戶(hù)提供單系統(tǒng)運(yùn)營(yíng)模式下所無(wú)法支持的業(yè)務(wù)和功能，從而在滿(mǎn)足用戶(hù)復(fù)雜多變的個(gè)性化業(yè)務(wù)需求的同時(shí)提高無(wú)線(xiàn)運(yùn)營(yíng)商的利潤(rùn)水平

為了實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)的真正融合，無(wú)線(xiàn)資源管理已經(jīng)成為異構(gòu)網(wǎng)絡(luò)中的關(guān)鍵技術(shù)之一。為此人們針對(duì)異構(gòu)網(wǎng)絡(luò)中的資源管理問(wèn)題提出了很多方案和算法。強(qiáng)化學(xué)習(xí)(RL)可以從延遲的回報(bào)中獲取最優(yōu)的控制策略，一個(gè)可學(xué)習(xí)的智能體，它可以觀察環(huán)境的狀態(tài)并能做出一組動(dòng)作改變這些狀態(tài)，學(xué)習(xí)的任務(wù)是獲得一個(gè)控制策略，以選擇能達(dá)到目的的行為。RL以其自適應(yīng)性和靈活性，被廣泛的應(yīng)用于機(jī)器人和自動(dòng)控制領(lǐng)域，并被引入到動(dòng)態(tài)頻譜接入中。

發(fā)明內(nèi)容

技術(shù)問(wèn)題：本發(fā)明的目的是提出有一種基于強(qiáng)化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源管理方法，針對(duì)異構(gòu)網(wǎng)絡(luò)的多種業(yè)務(wù)需求和多樣呼叫類(lèi)型，該算法將不同的呼叫類(lèi)型區(qū)分對(duì)待，對(duì)不同的業(yè)務(wù)類(lèi)型采取不同的資源分配策略，提出了基于負(fù)載的帶寬自適應(yīng)均衡因子和基于帶寬的利潤(rùn)函數(shù)，并將二者聯(lián)合作為回報(bào)函數(shù)。

技術(shù)方案：本發(fā)明的基于強(qiáng)化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源管理方法將強(qiáng)化學(xué)習(xí)用于異構(gòu)網(wǎng)絡(luò)的資源管理中，具體包括以下內(nèi)容：

a.狀態(tài)空間由可用網(wǎng)絡(luò)數(shù)量、當(dāng)前的網(wǎng)絡(luò)負(fù)載狀況、呼叫類(lèi)型及業(yè)務(wù)類(lèi)型組成；

b.動(dòng)作空間包括網(wǎng)絡(luò)的選擇以及帶寬的分配，帶寬分配是按照2^b個(gè)帶寬單元來(lái)分配的，其中b＝0，1，2，......，所以在此用b的取值來(lái)定義動(dòng)作空間A：A＝{0，1，2，......n·(K+1)-1}，其中n就是狀態(tài)空間中的可用網(wǎng)絡(luò)數(shù)量，K表示b的最大取值，K＝max(b)，如果當(dāng)前只有一個(gè)網(wǎng)絡(luò)覆蓋，則A＝{0，1，2，......K}，分別表示當(dāng)前網(wǎng)絡(luò)所能夠分配的不同帶寬等級(jí)：2⁰個(gè)帶寬單元，2¹個(gè)帶寬單元，......2²個(gè)帶寬單元，如果當(dāng)前有兩個(gè)網(wǎng)絡(luò)覆蓋，則A＝{0，1，2，...K，K+1，...2K+1}，分別表示不同的網(wǎng)絡(luò)所能分配的不同帶寬等級(jí)；