[發(fā)明專(zhuān)利]基于能量采集的自適應(yīng)調(diào)制和功率控制系統(tǒng)與優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010325108.3
• 申請(qǐng)日: 2020-04-23
• 公開(kāi)（公告）號(hào): CN111491358B
• 公開(kāi)（公告）日: 2021-10-26
• 發(fā)明（設(shè)計(jì)）人: 楊佳雨;胡杰;楊鯤;冷甦鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 電子科技大學(xué)
• 主分類(lèi)號(hào): H04W52/26
• 分類(lèi)號(hào): H04W52/26;G06N3/08
• 代理公司: 成都虹盛匯泉專(zhuān)利代理有限公司 51268
• 代理人: 王偉

1.一種自適應(yīng)調(diào)制鏈路控制系統(tǒng)，其特征在于，包括：發(fā)射機(jī)、接收機(jī)、瑞利衰落信道以及信道估計(jì)模塊；

所述發(fā)射機(jī)根據(jù)信道估計(jì)模塊的反饋信息，在平均功率限制、平均誤碼率限制、平均能量收割限制的約束下，自適應(yīng)地調(diào)整其發(fā)射功率和調(diào)制方式；

所述接收機(jī)包括可充電電池，接收機(jī)采用功率分割的方式將一部分接收到的能量存儲(chǔ)到電池中，剩余的能量通過(guò)瑞利衰落信道向發(fā)射機(jī)傳輸數(shù)據(jù)；

基于自適應(yīng)調(diào)制鏈路控制系統(tǒng)的自適應(yīng)調(diào)制鏈路控制的過(guò)程為：

A1、確定接收機(jī)誤碼率性能、能量收割性能；

A2、確定發(fā)射機(jī)的深度強(qiáng)化學(xué)習(xí)的狀態(tài)值與狀態(tài)空間；狀態(tài)值記為s_t，

其中，h_t-1表示時(shí)隙t-1對(duì)應(yīng)的信道質(zhì)量，h_t表示時(shí)隙t對(duì)應(yīng)的信道質(zhì)量，表示時(shí)隙t-1對(duì)應(yīng)的發(fā)射功率大小，Mod^(t-1)表示時(shí)隙t-1對(duì)應(yīng)的調(diào)制方式，γ^(t-1)表示時(shí)隙t-1對(duì)應(yīng)的信噪比，表示時(shí)隙t-1對(duì)應(yīng)的平均能量收割性能，表示時(shí)隙t-1對(duì)應(yīng)的平均誤碼率性能，表示時(shí)隙t-1對(duì)應(yīng)的平均發(fā)射功率；

A3、確定發(fā)射機(jī)的深度強(qiáng)化學(xué)習(xí)的動(dòng)作值與動(dòng)作空間；

在時(shí)隙t，發(fā)射機(jī)決定t時(shí)刻信號(hào)的調(diào)制方式Mod^(t)，發(fā)射功率大小P_t^(t)以及功率分割因子則時(shí)隙t發(fā)射機(jī)的動(dòng)作空間為：

A4、確定發(fā)射機(jī)的深度強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)值r_t；

當(dāng)約束滿足時(shí)，獎(jiǎng)勵(lì)值r_t為執(zhí)行該動(dòng)作對(duì)應(yīng)的頻譜利用率R(s_t,a_t)＝C_t；

在約束不滿足時(shí)，獎(jiǎng)勵(lì)值r_t等于約束不滿足的程度的負(fù)值；

A5、基于改進(jìn)的優(yōu)先經(jīng)驗(yàn)生成方法進(jìn)行深度強(qiáng)化學(xué)習(xí)并決策；所述發(fā)射機(jī)維護(hù)兩個(gè)深度神經(jīng)網(wǎng)絡(luò)，所述兩個(gè)深度 神經(jīng)網(wǎng)絡(luò)分別記為：目標(biāo)網(wǎng)絡(luò)和評(píng)估網(wǎng)絡(luò)，所述目標(biāo)網(wǎng)絡(luò)用于選取動(dòng)作策略，并輸出所選取動(dòng)作策略對(duì)應(yīng)的預(yù)期獎(jiǎng)勵(lì)值r_t+αmaxQ(s_t+1,a_t+1)，評(píng)估網(wǎng)絡(luò)用于對(duì)當(dāng)前時(shí)刻值函數(shù)Q(s_t,a_t)進(jìn)行估計(jì)；

步驟A5具體包括以下步驟：

B1、隨機(jī)初始化評(píng)估網(wǎng)絡(luò)權(quán)重參數(shù)θ和目標(biāo)網(wǎng)絡(luò)的權(quán)重θ^-；

B2、發(fā)射機(jī)依據(jù)當(dāng)前的評(píng)估網(wǎng)絡(luò)，得到具有最大Q(s_t,a_t)的動(dòng)作a_t，目標(biāo)網(wǎng)絡(luò)以1-ε的概率執(zhí)行動(dòng)作a_t，以ε的概率隨機(jī)從動(dòng)作候選集中選取動(dòng)作進(jìn)行探索；步驟B2所述動(dòng)作候選集具體為：發(fā)射機(jī)根據(jù)評(píng)估網(wǎng)絡(luò)得到最大值函數(shù)Q(s_t,a_t)對(duì)應(yīng)的動(dòng)作策略a_t，選擇與該動(dòng)作策略具有相同或者相鄰階數(shù)的動(dòng)作策略，組成動(dòng)作候選集；

B3、每種動(dòng)作對(duì)應(yīng)一個(gè)獎(jiǎng)勵(lì)值r_t，并且使得智能發(fā)射機(jī)的狀態(tài)從s_t轉(zhuǎn)移到s_t+1；

B4、采用滑動(dòng)窗口控制存入經(jīng)驗(yàn)池的樣本(s_t,a_t,r_t,s_t+1)，s_t表示發(fā)射機(jī)在t時(shí)刻的狀態(tài)，s_t+1表示發(fā)射機(jī)在t+1時(shí)刻的狀態(tài)；

B5、評(píng)估網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)從經(jīng)驗(yàn)池中取出樣本，進(jìn)行基于梯度下降的反向傳播算法，更新網(wǎng)絡(luò)參數(shù)；

B6、將評(píng)估網(wǎng)絡(luò)的參數(shù)賦值給目標(biāo)網(wǎng)絡(luò)，使得θ^-＝θ。

2.根據(jù)權(quán)利要求1所述的一種自適應(yīng)調(diào)制鏈路控制系統(tǒng)，其特征在于，步驟B3所述獎(jiǎng)勵(lì)值r_t根據(jù)包括平均功率限制、平均誤碼率限制、平均能量收割限制的約束進(jìn)行設(shè)定。

3.根據(jù)權(quán)利要求2所述的一種自適應(yīng)調(diào)制鏈路控制系統(tǒng)，其特征在于，所述步驟B4還包括初始時(shí)滑動(dòng)窗口取值為2。