[發明專利]一種智能超表面輔助OFDM系統1比特相移配置方法

在審

• 申請號: 202210975620.1
• 申請日: 2022-08-15
• 公開（公告）號: CN115347927A
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 李瀟;陳鵬;金石
• 申請（專利權）人: 東南大學
• 主分類號: H04B7/0456
• 分類號: H04B7/0456;H04L5/00;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 沈廉

1.一種智能超表面輔助OFDM系統1比特相移配置方法，其特征在于，該方法包括以下步驟：

步驟S1、基站配置單根天線，且服務K個單天線用戶，所述智能超表面為均勻平面陣，該均勻平面陣包括M＝A×B個反射單元，其中，垂直方向A行反射單元，水平方向每行B個反射單元；智能超表面的反射系數向量表示為其中為的第b個元素，其相位θ_b表示智能超表面第b列的相移，b＝1,...,B；將所有可能的智能超表面反射系數向量存放到碼本中，即中的每一個碼字對應一種可能的反射系數向量因此碼本中共有2^B個碼字；系統整體帶寬被劃分為N個子載波，表示為集合第k個用戶占用子載波的集合表示為S_k滿足并且

構建智能體X的經驗池及深度強化學習神經網絡，包括：評價Q網絡U，根據來自環境的狀態評價每個動作的收益；目標Q網絡其參數復制自評價Q網絡U，每個時隙軟更新一次；經驗池D用于存儲智能體X學習過程中產生的樣本；將智能超表面視為智能體X；將整個通信環境作為智能體X的外部環境；將碼本作為動作空間，其中的每個碼字為可選的動作；初始化評價Q網絡U的參數目標Q網絡的參數最大步長T和候選碼字的個數L，令t＝1；

步驟S2、在t時刻，計算基站經智能超表面至第k個用戶在第n個子載波上的頻域信道矩陣其中k＝1,2,...,K，n∈S_k，為DFT矩陣F_N的第n列，上標(·)^H表示共軛轉置，表示零填充的基站經智能超表面至第k個用戶時域信道矩陣，的第b列為零填充的基站經智能超表面第b列反射單元至第k個用戶的時域信道向量，L₃＝L₁+L₂-1為中非零元素個數，*表示卷積，表示長度為N-L₃的全0向量，上標(·)^T表示轉置，為基站到智能超表面第b列反射單元的具有L₁個抽頭的時域信道向量，的第i個元素為基站到智能超表面第b列反射單元的時域信道第i個抽頭系數，i＝0,1,...,L₁-1，為智能超表面第b列反射單元到第k個用戶的具有L₂個抽頭的時域信道向量，的的第個元素為智能超表面第b列反射單元到第k個用戶的時域信道第個抽頭系數，計算基站至第k個用戶的直射路徑在第n個子載波上的頻域信道系數其中k＝1,2,...,K，n∈S_k，為基站到第k個用戶具有L₀個抽頭的直接路徑經零填充后的時域信道向量，其第m個元素為基站到第k個用戶的直接路徑時域信道第m個抽頭系數，m＝0,…,L₀-1，表示長度為N-L₀的全0向量；令t時刻所述智能體X的環境狀態表達式為：

步驟S3、若t＝1，則進入步驟S4；否則，進入步驟S5；

步驟S4、根據ε-貪婪策略，獲取(0,1)之間的隨機數x，如果x小于某一預設門限值ε，智能體X就從碼本中隨機選擇一個碼字作為動作a_t，否則，將狀態s_t輸入智能體X的評價Q網絡U，輸出為碼本中每個動作碼字的Q值，從中選擇Q值最大的動作將動作a_t作為當前t時刻的智能超表面反射系數向量并利用下式計算系統頻譜效率作為t時刻的獎勵r_t：

其中，N_CP≥max(L₀,L₃)為OFDM調制的循環前綴長度；p_n表示基站平均分配給每個子載波的功率，p_n＝P_t/N,n＝0,1,...,N-1，P_t為基站的總發送功率；Γ是實際編碼調制方式對系統容量的影響因子，σ²為噪聲功率；令t＝t+1，并進入步驟S2；

步驟S5、將得到的四元組(s_t-1,a_t-1,r_t-1,s_t)作為一個經驗樣本存入經驗池中，若經驗池已存滿，則用該經驗樣本覆蓋經驗池中最早的一個經驗樣本；

步驟S6、智能體X從經驗池中以批尺寸N_B進行隨機采樣來計算評價Q網絡的目標值；然后對評價Q網絡進行梯度下降更新，并對目標Q網絡進行軟更新，如果t-1T，則停止迭代，否則轉到步驟S4；

步驟S7、訓練完成后，智能體從環境中獲得當前時刻t的信道并根據步驟S2中的方法將其轉化為狀態s_t，將狀態s_t輸入智能體X的評價Q網絡U，從其輸出中選出Q值最大的L個動作作為候選動作{a⁽¹⁾,a⁽²⁾,...,a^(L)}，最后計算出這L個候選動作的系統頻譜效率。