[發(fā)明專利]基于分布式獨(dú)立學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110197066.0
• 申請(qǐng)日: 2011-07-14
• 公開（公告）號(hào): CN102256262A
• 公開（公告）日: 2011-11-23
• 發(fā)明（設(shè)計(jì)）人: 朱琦;朱洪波;楊龍祥;李曉靜
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): H04W16/10
• 分類號(hào): H04W16/10;H04W16/14;H04W74/00
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 葉連生

技術(shù)領(lǐng)域

本發(fā)明涉及一種特別用于認(rèn)知無(wú)線電系統(tǒng)中多用戶動(dòng)態(tài)頻譜接入的方法，屬于通信技術(shù)領(lǐng)域。

背景技術(shù)

隨著飛速演進(jìn)的無(wú)線技術(shù)不斷朝著寬帶化、無(wú)縫化、智能化等趨勢(shì)發(fā)展，尤其是隨著無(wú)線局域網(wǎng)（WLAN,?Wireless?Local?Access?Network）技術(shù)、第三代移動(dòng)通信技術(shù)以及第四代移動(dòng)通信技術(shù)的發(fā)展，越來(lái)越多的人通過(guò)這些技術(shù)以無(wú)線的方式接入互聯(lián)網(wǎng)，在無(wú)線通信的技術(shù)發(fā)展上我們不得不面對(duì)的瓶頸之一與挑戰(zhàn)之一就是頻譜資源的不足。根據(jù)美國(guó)聯(lián)邦通信委員會(huì)FCC（Federal?Commnications?Committee）關(guān)于美國(guó)3~6GHz頻譜資源分配情況的研究結(jié)果表明：與日俱增的用戶需求使得無(wú)線頻譜資源面臨緊缺的危險(xiǎn)。無(wú)線電通信在頻譜使用上面臨頻譜資源匱乏和部署調(diào)度困難兩大主要難題。

傳統(tǒng)無(wú)線通信系統(tǒng)對(duì)頻譜的利用基于固定頻譜分配策略，無(wú)線通信系統(tǒng)只能嚴(yán)格按照頻譜的劃分來(lái)使用授權(quán)的頻段，這些法定的分配規(guī)則嚴(yán)重限制了用戶的接入能力，導(dǎo)致了嚴(yán)重的頻譜資源的浪費(fèi)。以美國(guó)為例，F(xiàn)CC在2003年提供的統(tǒng)計(jì)數(shù)據(jù)顯示已分配頻譜的資源利用率為15%~85%；而另外一份2003年的調(diào)查報(bào)告則指出，授權(quán)頻段在大多數(shù)的時(shí)候使用率只有6%。一方面大量授權(quán)頻段被閑置，頻譜利用率極低，浪費(fèi)現(xiàn)象嚴(yán)重；另一方面無(wú)線頻譜資源的需求日益增長(zhǎng)，無(wú)線資源的匱乏大大限制了無(wú)線通信技術(shù)的進(jìn)一步發(fā)展。這種現(xiàn)象產(chǎn)生的原因是FCC對(duì)頻譜資源的使用采取了一種頻譜所有權(quán)“獨(dú)占”的授權(quán)分配政策—即使授權(quán)用戶沒有使用授權(quán)頻譜，其他非授權(quán)用戶也不能使用。這一政策造成頻譜資源的巨大浪費(fèi)。因此，F(xiàn)CC的這種頻譜所有權(quán)“獨(dú)占”的授權(quán)分配政策已經(jīng)不適應(yīng)當(dāng)前無(wú)線接入技術(shù)的發(fā)展要求，不少經(jīng)濟(jì)學(xué)家相信若這些“獨(dú)占”頻譜擁有者再次出售或出租他們的頻段，建立頻譜的二級(jí)市場(chǎng)，將會(huì)消除頻譜資源緊缺的現(xiàn)象，或者至少可以大幅度提高頻譜利用率。

正是基于無(wú)線通信領(lǐng)域頻譜資源越來(lái)越緊缺的事實(shí)以及無(wú)線系統(tǒng)性能亟待提高的需求，認(rèn)知無(wú)線電CR（Cognitive?Radio）被提了出來(lái)，并得到學(xué)術(shù)界及IEEE標(biāo)準(zhǔn)化組織越來(lái)越廣泛的重視，被成為未來(lái)無(wú)線通信領(lǐng)域的“下一個(gè)大事件”。認(rèn)知無(wú)線電技術(shù)的核心思想是：在對(duì)取得頻譜使用權(quán)的授權(quán)用戶及其他非授權(quán)用戶不產(chǎn)生干擾的前提下，認(rèn)知用戶通過(guò)感知周圍的無(wú)線電環(huán)境，伺機(jī)進(jìn)行頻譜接入以提高頻譜利用率。該技術(shù)的普及應(yīng)用將會(huì)極大地緩解無(wú)線頻譜資源日益緊缺的現(xiàn)狀，為人們提供更加豐富、靈活的無(wú)線通信手段。

人工智能大師Simon?Haykin在其認(rèn)知無(wú)線電綜述文章中明確提到學(xué)習(xí)是認(rèn)知無(wú)線電系統(tǒng)的一個(gè)重要環(huán)節(jié)。在機(jī)器學(xué)習(xí)領(lǐng)域現(xiàn)在研究比較熱門的強(qiáng)化學(xué)習(xí)RL(Reinforcement?Learning，又稱加強(qiáng)學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等)是一種以環(huán)境反饋?zhàn)鳛檩斎搿⑦m應(yīng)環(huán)境的特殊學(xué)習(xí)方法。強(qiáng)化學(xué)習(xí)是一種從動(dòng)物學(xué)習(xí)、自適應(yīng)策略等理論發(fā)展而來(lái)的機(jī)器學(xué)習(xí)方法，它的在線學(xué)習(xí)能力與自適應(yīng)學(xué)習(xí)能力使其成為解決策略尋優(yōu)問(wèn)題的有力工具。Q學(xué)習(xí)是強(qiáng)化學(xué)習(xí)中的一種，它利用狀態(tài)-動(dòng)作對(duì)的值函數(shù)Q?(?s?,?a)?進(jìn)行迭代，利用其獎(jiǎng)賞并作為估計(jì)函數(shù)來(lái)選擇下一動(dòng)作，即直接優(yōu)化Q函數(shù)。Q學(xué)習(xí)算法已被應(yīng)用于單個(gè)次用戶的動(dòng)態(tài)頻譜接入系統(tǒng)中，但是卻不能解決多認(rèn)知用戶情況下的動(dòng)態(tài)頻譜接入問(wèn)題。本發(fā)明基于分布式獨(dú)立強(qiáng)化學(xué)習(xí)，解決了多認(rèn)知用戶情況下基于強(qiáng)化學(xué)習(xí)的頻譜接入問(wèn)題。

發(fā)明內(nèi)容

技術(shù)問(wèn)題：本發(fā)明的目的在于提供一種認(rèn)知無(wú)線電系統(tǒng)中基于分布式獨(dú)立強(qiáng)化學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法，該方法在頻譜分配中，各個(gè)認(rèn)知用戶采取獨(dú)立學(xué)習(xí)的方式，每個(gè)認(rèn)知用戶都是一個(gè)獨(dú)立的學(xué)習(xí)體，它僅利用當(dāng)前狀態(tài)信息、自己的行動(dòng)策略和狀態(tài)變遷所得到的獎(jiǎng)賞進(jìn)行學(xué)習(xí)。在保證了系統(tǒng)的收斂性的同時(shí)，提高了系統(tǒng)的容量。

技術(shù)方案：本發(fā)明將基于分布式獨(dú)立學(xué)習(xí)多智能體協(xié)作決策應(yīng)用到多用戶動(dòng)態(tài)頻譜接入問(wèn)題中，同時(shí)將信道的信噪比考慮到基于分布式獨(dú)立學(xué)習(xí)的多認(rèn)知用戶動(dòng)態(tài)頻譜接入方法的獎(jiǎng)賞函數(shù)中，提出了一種優(yōu)化系統(tǒng)容量的新方案。

該方法的具體內(nèi)容為：

a、初始化：初始化每個(gè)認(rèn)知用戶????????????????????????????????????????????????的狀態(tài)-動(dòng)作函數(shù)值?，其中sS，S為認(rèn)知用戶感知到的環(huán)境狀態(tài)，為認(rèn)知用戶的動(dòng)作，為系統(tǒng)中授權(quán)用戶的動(dòng)作；