[發明專利]一種基于強化學習的水聲通信自適應調制編碼算法

在審

• 申請號: 202210059529.5
• 申請日: 2022-01-19
• 公開（公告）號: CN114401073A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 唐軍;鄧兆才;黨召凱
• 申請（專利權）人: 江西理工大學
• 主分類號: H04L1/00
• 分類號: H04L1/00;H04B11/00;H04B13/02;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于水聲通信領域，公開了一種基于強化學習的水聲通信自適應調制編碼算法，通過強化學習算法自主探索信道質量和調制編碼方案之間的關系，建立可靠的MCS切換門限，該方法包括：首先定義調制編碼方案、信噪比、吞吐量為Q表三要素state、action、reward并初始化Q表，初始時刻，隨機選擇調制編碼方案發送信號，接收端接收解調信號并發送反饋信號，強化學習模塊根據反饋信息更新Q表并根據新Q表選擇調制編碼方案發送信號，接收端接收解調信號并發送反饋信號，重復以上步驟，經強化學習模塊多次學習后，得出準確的MCS切換門限。解決了傳統自適應調制編碼技術根據仿真或一定的假設前提給出數學模型得到的MCS切換門限存在一定誤差的問題。

技術領域

本發明屬于水聲通信技術領域，涉及一種強化學習算法和自適應調制編碼技術相結合的通信系統。

背景技術

水聲通信是水下通信中最為成熟的通信方式，但是水聲信道具有時變、空變、頻變的特點，海洋中的噪聲，信號傳播過程中的衰減，多徑傳播，多普勒頻移，這些因素直接影響水聲通信的可靠性。采用信道編碼技術對待發送信息進行處理可以有效抵抗水聲信道中的干擾，降低誤碼率，提高水聲通信的可靠性。由于水下環境時刻發生著變化，水聲信道受環境影響顯著，如果只采用固定的編碼方式和速率，當水聲信道狀態較好時，固定的編碼速率會影響信息的傳輸速率，同時當水聲信道狀態較差時，固定的編碼方式和速率會產生較高的誤碼率。

針對復雜的水聲信道，自適應調制編碼技術根據信道質量的好壞，動態調整信道編碼的方式和速率以及水聲通信的調制方式，改變調制參數和編碼方式與當前信道狀態相匹配，充分利用信道特性以提高通信的可靠性和有效性。但傳統的自適應調制編碼技術根據仿真或一定的假設前提給出數學模型得出調制編碼方案與信道質量之間的關系,面對復雜多變的水聲信道，傳統自適應調制編碼技術由仿真或一定的假設前提給出數學模型得出MCS切換門限存在一定的誤差，難以有效降低水聲通信系統的誤幀率和提高水聲通信系統的吞吐量。本發明提出的基于強化學習的自適應調制編碼算法，不依賴于仿真得出的MCS切換門限數據，根據實時通信系統中實際的誤幀率性能去確定SNR和MCS之間的對應關系，通過強化學習算法的學習，準確得出MCS切換門限，解決了傳統自適應調制編碼技術MCS切換門限存在誤差的問題。

發明內容

針對水聲通信系統中傳統自適應調制編碼算法面對復雜多變的水聲信道難以滿足誤幀率要求，本發明提出基于強化學習的自適應調制編碼算法，以解決上述問題。

為實現上述發明目的，將采用下述方案：

S1：將強化學習與自適應調制編碼系統結合，設定Q表三要素：state、action、reward，建立Q表并初始化Q表；

S1-1：將水聲信道中不同大小的信噪比作為狀態state，根據不同大小的信噪比所選擇的調制方式和編碼速率作為動作action，不同的調制方式和編碼速率所獲得的吞吐量作為獎勵reward。

S1-2：信噪比計算公式：

其中，為信道沖激響應函數，為方差。

吞吐量計算公式：

其中，信號發送的時間用T來表示，BER為誤碼率，M為調制階數，N代表T時間內發送的符號數目。

S2：發射端在初始時刻隨機選擇調制編碼方式發送信號，接收端處理信號并發送反饋信號；