[發明專利]基于Q學習和SRNN模型的航天測控自適應調制方法

在審

• 申請號: 202011322794.5
• 申請日: 2020-11-23
• 公開（公告）號: CN112508172A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 張陸勇;吳勝;于永賢;崔金奧;陳夢玉;馬志珍;王龍海;賴寒
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中國和平利用軍工技術協會專利中心 11215
• 代理人: 劉光德

本發明提供一種基于Q學習和SRNN模型的航天測控自適應調制方法、系統和介質。所述方法包括：步驟S1、獲取信道狀態信息作為自適應調制模型的輸入，信道狀態信息為輸入信噪比；步驟S2、利用神經網絡訓練所述自適應調制模型，所述神經網絡的第一層為具有切片循環神經網絡特征的LSTM層；以及步驟S3、為訓練好的自適應調制模型設置狀態空間、動作空間和獎勵回報，以確定所述自適應調制模型的最佳調制方式。該方法能夠避免學習算法前期陷入局部最優、后期收斂慢的情況；并使用切片循環神經網絡代替普通的循環神經網絡以提高模型訓練速度。

技術領域

本發明涉及測控調制領域，尤其是涉及基于Q學習和SRNN模型的航天測控自適應調制方法、系統和介質。

背景技術

隨著衛星通信技術的不斷發展，對于傳輸速率和頻譜利用率的要求也變得越

來越高，但是信道環境復雜、變化快、天氣條件影響大等衛星信道的特點極大地限制了衛星通信系統的傳輸性能。在衛星通信系統中，信道環境是時變的，對于不同的信道環境，發射端信號調制編碼模塊設計的標準也不一樣。假設以最優信道質量來設計系統，我們可以采用高階調制方式和插入較少冗余的糾錯編碼的方案，提高帶寬利用率，從而提高指定帶寬的信息速率；如果此時信道質量變差，較高的信息速率會導致接收端產生嚴重的碼間干擾，我們只有采用低階調制方式和插入大量冗余的糾錯編碼方案，降低其傳輸速率以保證在接收端獲得誤碼較少，使得總的吞吐量比較高。

此外，根據要傳輸的數據類型的不同，對通信質量的要求也不同，所以在發射端可以選用不同標準的編碼調制方式，對傳輸的數據業務類型的劃分主要以時延要求度高為標準，對于時延要求度高的業務比如衛星通話，則系統的傳輸性能主要以信息速率為準則，而不考慮誤碼率；而對于時延要求不高的業務如文本傳輸，則以系統誤碼率為準則進行系統容量的提升。在這種情況下，能夠提高系統吞吐量且保證通信質量的自適應傳輸技術應運而生，該技術能夠通過對CSI的實時反饋，動態改變發射端的傳輸參數，為吞吐速率和傳輸質量尋找合適的平衡點，提高頻譜利用率。

自適應調制編碼技術是眾多自適應傳輸技術的一種，主要通過對調制方式和編碼速率的自適應改變以適應當前時刻的信道環境。傳統的AMC技術主要通過統一測定的信噪比切換閾值選擇相應的調制編碼組合，符合一個固定的數學模型。但是由于衛星信道下較長的反饋延時，以及信噪比估計也并非理想估計存在估計誤差，所以傳統的AMC方法往往不能夠將自適應傳輸的性能發揮出來，甚至個別時候會造成通信中斷，難以保證衛星通信服務質量。

DQN是一種深度強化學習方法，是Deep Q Network的縮寫，因為是Q學習(強化學習的一種)的改進，在其基礎上加入了深度學習的內容。而DRQN為Deep Recurrent Q Network的縮寫，其中的R指代Recurrent Neural Network，即RNN(循環神經網絡)方法，因為DRQN是在DQN的基礎上引入記憶單元等RNN的特性，以提高網絡性能。

現有技術采用基于強化學習的水聲通信自適應調制方法。如圖1所示，該方法步驟為：