[發明專利]一種基于強化學習的水聲通信自適應調制方法

有效

• 申請號: 201910813009.7
• 申請日: 2019-08-30
• 公開（公告）號: CN110519013B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 張育芝;李萍;王安義;孫彥景;王斌;劉洋
• 申請（專利權）人: 西安科技大學
• 主分類號: H04L1/00
• 分類號: H04L1/00;H04B13/02;G06N20/00
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 劉春

本發明公開了一種基于強化學習的水聲通信自適應調制方法，解決了現有水聲自適應通信系統中的反饋信道狀態信息過時問題引起的系統性能下降的問題。本發明的方法基于水聲自適應調制系統，步驟1、建立并初始化系統Q表；在初始時刻采取動作，計算獎勵值；步驟2、下一時刻更新Q表，選擇下一動作執行；步驟3、發送端將信號經水聲信道發送至接收端；步驟4、接收端接收信號，反饋相關信息到發送端；步驟5、發送端將獲取的信息送入強化學習模塊，計算并更新獎勵值，為下一時刻的更新Q表做好準備；步驟6、重復步驟2—步驟5，直至信號發送結束，最終可得經過強化學習優化自適應調制的系統吞吐量。

【技術領域】

本發明屬于水聲通信自適應調制技術領域，具體涉及一種基于強化學習的水聲通信自適應調制方法。

【背景技術】

由于水下環境時刻發生著變化，水聲信道受環境影響顯著，因此呈現出復雜多變特性。在水聲通信系統中，如果采用固定調制方式，那么在動態變化的水聲信道中，當信道狀態較差時，固定調制可能誤碼率很高；而當信道狀態較好時，固定調制造成不可忽視的資源浪費。針對此，自適應調制技術能夠根據信道狀態的好壞，改變調制參數與當前信道狀態相匹配，充分利用信道特性以提高通信的可靠性和有效性。

陸上無線電自適應通信的研究和應用比較成熟，而復雜多變水聲信道中的自適應調制還面臨較大挑戰。聲波在水中傳播的典型傳輸速度約1500m/s，比無線電的傳播速度低5個數量級，導致水聲傳播時延非常長。在水聲自適應調制系統中，收發鏈路的信道狀態信息需要通過水聲鏈路反饋給發送端。由于反饋時延很長且信道是時變的，在接收到信道狀態信息時，實際的信道狀態往往已經發送變化，面臨著信道狀態信息傳輸過時的問題。可見，過長的反饋時延，導致發射端接收到的來自接收端的反饋信息與實際信道狀態信息不匹配，根據過時信道狀態信息進行的自適應調制決策，無法最優化水聲自適應通信系統性能。

美國麻省理工大學M.Stojanovic團隊的在水聲自適應調制領域的研究工作Adaptive OFDM modulation for underwater acoustic communications:designconsiderations and experimental results提出了一種基于信道預測的自適應方案，其估計的信道狀態信息通過海面船載的無線電設備反饋給發送端，并基于反饋信道狀態信息進行預測以實現自適應調制。此研究工作中的信道狀態信息通過無線電鏈路反饋，時延很短，而實際中長期布放在海中的通信系統需要通過水聲鏈路進行信息交互，反饋時延往往長達秒級。美國康涅狄格大學S.Zhou團隊的研究成果Adaptive modulation and codingfor underwater acoustic OFDM進行自適應調制和編碼調整，信道狀態信息通過水聲鏈路反饋。基于以上成果可見，對于水聲自適應通信系統中的反饋信道狀態信息過時問題引起的系統性能下降的研究有待進一步探索。

【發明內容】

本發明的目的是提供一種基于強化學習的水聲通信自適應調制方法，以解決現有水聲自適應通信系統中的反饋信道狀態信息過時問題引起的系統性能下降的問題。

本發明采用以下技術方案：一種基于強化學習的水聲通信自適應調制方法，方法基于水聲自適應調制系統，系統包含發送端和接收端，發送端包含自適應調制模塊和強化學習模塊，接收端包括接收解調模塊和反饋模塊；

具體包括以下步驟：

步驟1、設定水聲自適應調制系統的Q表三要素：狀態集S、動作集A和獎勵集R，建立并初始化水聲自適應調制系統Q表；

在初始時刻，采用隨機選擇策略，從動作集A中選取a作為初始時刻狀態s_t下所采取的動作；發送端的自適應調制模塊執行動作a，在時變水聲信道中發送信號給接收端，接收端的接收解調模塊解調信號并通過反饋模塊反饋數據包給發送端，發送端根據接收的數據包計算得到狀態s_t下動作a的獎勵值r_t；