[發(fā)明專利]空中網(wǎng)絡(luò)資源分配方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211048190.5
• 申請日: 2022-08-30
• 公開（公告）號: CN115567093A
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 尹夢君;林巍;王超;李強(qiáng)
• 申請（專利權(quán)）人: 浪潮通信技術(shù)有限公司
• 主分類號: H04B7/185
• 分類號: H04B7/185;H04W16/18;H04W64/00;H04W84/06;H04W72/04;H04W4/90;G06N20/00
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

1.一種空中網(wǎng)絡(luò)資源分配方法，其特征在于，包括：

以最大化空中網(wǎng)絡(luò)能效為目標(biāo)，結(jié)合目標(biāo)約束條件，建立空中網(wǎng)絡(luò)的資源優(yōu)化問題模型；所述空中網(wǎng)絡(luò)是基于多類低空平臺設(shè)備構(gòu)建的；

采用深度強(qiáng)化學(xué)習(xí)算法對所述資源優(yōu)化問題模型進(jìn)行求解，確定所述空中網(wǎng)絡(luò)中各個(gè)所述低空平臺設(shè)備的目標(biāo)部署位置、目標(biāo)發(fā)射功率及各個(gè)終端的信道分配信息；所述多類低空平臺設(shè)備包括空中基站、空中射頻單元和毫米波增強(qiáng)無人機(jī)；所述信道分配信息為所述終端與各所述低空平臺設(shè)備之間的信道信息。

2.根據(jù)權(quán)利要求1所述的空中網(wǎng)絡(luò)資源分配方法，其特征在于，所述以最大化空中網(wǎng)絡(luò)能效為目標(biāo)，結(jié)合目標(biāo)約束條件，建立空中網(wǎng)絡(luò)的資源優(yōu)化問題模型，包括：

基于每個(gè)終端的傳輸速率和各個(gè)所述終端的信道分配信息，確定所述空中網(wǎng)絡(luò)的網(wǎng)絡(luò)容量，并基于所述空中網(wǎng)絡(luò)的網(wǎng)絡(luò)容量及所述空中網(wǎng)絡(luò)的總部署成本，確定單位成本下的網(wǎng)絡(luò)容量；所述空中網(wǎng)絡(luò)的總部署成本是基于各個(gè)所述低空平臺設(shè)備的硬件成本和能耗成本確定的；

以所述單位成本下的網(wǎng)絡(luò)容量最大為優(yōu)化目標(biāo)，建立目標(biāo)函數(shù)；所述空中網(wǎng)絡(luò)能效包括所述單位成本下的網(wǎng)絡(luò)容量；

基于所述空中網(wǎng)絡(luò)中各個(gè)低空平臺設(shè)備的發(fā)射功率和各個(gè)所述終端的信道分配信息，確定所述目標(biāo)約束條件；

基于所述目標(biāo)函數(shù)和所述目標(biāo)約束條件，建立所述空中網(wǎng)絡(luò)的資源優(yōu)化問題模型。

3.根據(jù)權(quán)利要求2所述的空中網(wǎng)絡(luò)資源分配方法，其特征在于，所述采用深度強(qiáng)化學(xué)習(xí)算法對所述資源優(yōu)化問題模型進(jìn)行求解，確定所述空中網(wǎng)絡(luò)中各個(gè)所述低空平臺設(shè)備的目標(biāo)部署位置、目標(biāo)發(fā)射功率及各個(gè)終端的信道分配信息，包括：

基于所述空中網(wǎng)絡(luò)中各個(gè)所述低空平臺設(shè)備的狀態(tài)信息和獎勵函數(shù)，對所述深度強(qiáng)化學(xué)習(xí)算法中的深度Q網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，得到所述空中網(wǎng)絡(luò)能效的最優(yōu)動作價(jià)值收益值；所述獎勵函數(shù)是基于所述空中網(wǎng)絡(luò)的網(wǎng)絡(luò)容量及所述空中網(wǎng)絡(luò)的總部署成本確定的；

基于所述最優(yōu)動作價(jià)值收益值，確定所述空中網(wǎng)絡(luò)中各個(gè)所述低空平臺設(shè)備的目標(biāo)部署位置、目標(biāo)發(fā)射功率及各個(gè)終端的信道分配信息。

4.根據(jù)權(quán)利要求3所述的空中網(wǎng)絡(luò)資源分配方法，其特征在于，基于所述空中網(wǎng)絡(luò)中各個(gè)所述低空平臺設(shè)備的狀態(tài)信息和所述獎勵函數(shù)，對所述深度強(qiáng)化學(xué)習(xí)算法中的深度Q網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，得到所述空中網(wǎng)絡(luò)能效的最優(yōu)動作價(jià)值收益值，包括：

步驟1，根據(jù)所述空中網(wǎng)絡(luò)中各個(gè)低空平臺設(shè)備的狀態(tài)信息，建立狀態(tài)空間和動作空間；

步驟2，基于所述狀態(tài)空間，確定所述空中網(wǎng)絡(luò)的初始狀態(tài)，并將每一次訓(xùn)練的時(shí)間劃分成多個(gè)時(shí)間間隔；所述初始狀態(tài)為所述空中網(wǎng)絡(luò)在第一個(gè)時(shí)間間隔內(nèi)的狀態(tài)；

步驟3，確定所述空中網(wǎng)絡(luò)在當(dāng)前時(shí)間間隔內(nèi)的第一狀態(tài)下執(zhí)行第一動作后的第一獎勵值及下一時(shí)間間隔的第二狀態(tài)；所述第一動作是基于所述動作空間確定的；

步驟4，將所述第一狀態(tài)、所述第一動作、所述第一獎勵值和所述第二狀態(tài)作為一個(gè)數(shù)據(jù)樣本存儲到記憶單元，并從所述記憶單元隨機(jī)抽取一個(gè)數(shù)據(jù)樣本，更新所述深度Q網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)；所述第一獎勵值是基于所述獎勵函數(shù)確定的；

步驟5，遍歷所述多個(gè)時(shí)間間隔，執(zhí)行步驟3至步驟4，完成對所述深度Q網(wǎng)絡(luò)模型的一次迭代訓(xùn)練，得到訓(xùn)練后的所述空中網(wǎng)絡(luò)能效的最大動作價(jià)值收益值；

步驟6，遍歷預(yù)設(shè)迭代次數(shù)，執(zhí)行步驟3至步驟5，對所述深度Q網(wǎng)絡(luò)模型進(jìn)行所述預(yù)設(shè)迭代次數(shù)的訓(xùn)練，得到訓(xùn)練后的所述空中網(wǎng)絡(luò)能效的最優(yōu)動作價(jià)值收益值；所述最優(yōu)動作價(jià)值收益值為通過最后一次迭代訓(xùn)練得到的所述空中網(wǎng)絡(luò)能效的最大動作價(jià)值收益值。

5.根據(jù)權(quán)利要求3所述的空中網(wǎng)絡(luò)資源分配方法，其特征在于，基于所述空中網(wǎng)絡(luò)中各個(gè)所述低空平臺設(shè)備的狀態(tài)信息和獎勵函數(shù)，對所述深度強(qiáng)化學(xué)習(xí)算法中的深度Q網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，得到所述空中網(wǎng)絡(luò)能效的最優(yōu)動作價(jià)值收益值之前，還包括：

將每一次訓(xùn)練的時(shí)間劃分成多個(gè)時(shí)間間隔；

基于所述空中網(wǎng)絡(luò)的網(wǎng)絡(luò)容量及所述空中網(wǎng)絡(luò)的總部署成本，確定所述網(wǎng)絡(luò)容量在當(dāng)前時(shí)間間隔相對于上一時(shí)間間隔的第一增量以及所述總部署成本在所述當(dāng)前時(shí)間間隔相對于所述上一時(shí)間間隔的第二增量；

基于所述第一增量與所述第二增量的比值，確定所述深度強(qiáng)化學(xué)習(xí)算法中的獎勵函數(shù)。