[發明專利]一種基于Q學習算法的Spinal碼編譯碼交織策略及裝置

有效

• 申請號: 202011066122.2
• 申請日: 2020-09-30
• 公開（公告）號: CN112152638B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 敖珺;李娜;馬春波
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: H03M13/11
• 分類號: H03M13/11
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 覃永峰

1.一種基于Q學習算法的Spinal碼編譯碼交織策略，其特征在于，包括如下步驟：

步驟S1，初始化Spinal碼的編碼參數和譯碼參數；初始化高斯學習算法參數；初始化交織器參數；初始化Q學習算法參數；

步驟S2，設置編碼符號初始值W＝N₁，W指編碼符號數量，N₁表示設置的初始值；

步驟S3，發送端編碼生成W個編碼符號，編碼的過程為：首先，將一段長度為n?bits的信息比特序列M劃分為組，即n表示信息比特序列的長度，k表示劃分后每組的長度，即每組長度為k?bits；然后，將隨機數種子s₀和M₀經過Hash函數，根據式(1)依次類推計算：

s_i＝Hash(s_i-1,M_i-1)??????????(1)

得到每組信息比特對應的值s_i，即：其中i為每個值的標號，每個值s_i的大小為v?bits，最后，將個值s_i分別作為隨機數生成器(RNG)的輸入，得到x_i表示每一個隨機數生成器的輸出，隨機數生成器每一批次的編碼輸出組成一個Spinal碼的編碼符號，對于每一信息比特序列，發送端可通過隨機數生成器源源不斷地生成編碼符號；

步驟S4，確定交織深度K，c表示每一個隨機數生成器輸出的長度，將W個編碼符號作為輸入信息序列逐行寫入到大小為R×C的矩陣中；

步驟S5，對R×C矩陣進行行內交織，得到行內交織的序列U_i(j)，它表示被改變順序的第i行中第j個信息所對應的原始位置；

步驟S6，將得到的U_i(j)按照T(i)進行行間交織，其中T(i)為行間交織模型，具體參數根據交織的深度K和行數R選取，得到交織后的新矩陣；

步驟S7，通過裁剪新矩陣并按列讀取得到輸出信息序列；

步驟S8，將得到的交織后的輸出信息序列作為一個數據包發送；

步驟S9，接收端對收到的數據包解交織，解交織過程為交織的逆過程，得到W個Spinal碼編碼符號；

步驟S10，對W個編碼符號進行逐一譯碼，直到譯碼成功，或W個編碼符號均譯碼失敗，譯碼過程為：使用與編碼端相同的s₀、Hash函數以及隨機數生成器在譯碼端重建譯碼樹，以s₀為根節點，按順序考慮的可能取值，然后從根節點遍歷至葉子節點，從譯碼樹的第d級開始，d表示譯碼時開始裁剪譯碼樹的級數，每級譯碼樹只保留譯碼開銷最小的B個節點，B表示譯碼時每次刪減保留的節點數；接著，從B·2^k條路徑中選出譯碼開銷最小的路徑，即為最終譯碼結果；最后，對譯碼結果進行CRC校驗，若CRC校驗通過，則譯碼成功；否則譯碼失敗；

步驟S11，判斷當前譯碼狀況，若對其中一個編碼符號譯碼成功，表示對這一段信息比特序列譯碼成功，本輪譯碼結束；若對W個編碼符號均譯碼失敗，R_etranstime次數累加1次，判斷當前是否達到最大允許傳輸次數R_{etranstimemax}；記本輪參與譯碼的編碼符號數目為M_orepass，當前信息段的傳輸次數為R_etranstime；

步驟S12，計算回報函數Reward，在發送端，根據上一步譯碼的編碼符號數目M_orepass和傳輸次數R_etranstime計算回報函數Reward，其中，γ(0≤γ≤1)為權衡因子；M_orepassmax為允許發送的最大累計編碼符號數目；R_{etranstimemax}表示最大允許的傳輸次數；

步驟S13，通過高斯學習確定方差σ²，均值μ，偏度σ³，發送端根據接收端的反饋，利用高斯學習算法計算當前信道的譯碼累計分布函數，得到信道新狀態參數：方差σ²，均值μ，偏度σ³，計算方法為：

Q_sample＝Q_α·Q_sample+1，Q_sumq＝Q_α·Q_sumq+Q_sample，Q_sumsq＝Q_α·Q_sumsq+Q_sample²，Q_sumtq＝Q_α·Q_sumtq+Q_sample³，

Q_α表示高斯學習因子，其取值越大，之前時刻的譯碼累積分布函數對當前時刻的譯碼累計分布函數的估計的影響就越大；Q_sample、Q_sumq、Q_sumsq和Q_sumtq為高斯學習算法參數，Q_sample表示與高斯學習因子相乘得到的折扣后的樣值，Q_sumq表示與高斯學習因子相乘得到的折扣后的累加和、Q_sumsq表示與高斯學習因子相乘得到的折扣后的平方和、Q_sumtq表示與高斯學習因子相乘得到的折扣后的立方和，在步驟S1中進行初始化；

步驟S14，在發送端，根據信道狀態參數σ²，均值μ確定當前狀態State(μ,σ²)，找到步驟S1初始化Q學習參數時建立的Q表中對應的行Q(State,:)，找出這一行中最大的元素Q_max(State,A)；得到下一步執行的最優動作A；

步驟S15，在發送端，根據最優動作A和偏度σ³確定當前應編碼產生的編碼符號N，σ³的正負及大小用來衡量譯碼累計分布函數的不對稱性，偏度為正代表分布為右偏態，即右側的尾部更長，分布的主體集中在左側，此時應減少編碼符號的數量；偏度為負代表分布為左偏態，即左側的尾部更長，分布的主體集中在右側，此時應增加編碼符號的數量，具體計算方法為：

步驟S16，設置探索因子β_Q的值，產生一個0到1的隨機數Q_rand，若β_Q＞Q_rand，則spinal碼編碼端生成的編碼符號數量為W＝N；若β_Q≤Q_rand，則實際發送的編碼符號數量為W＝N-δ，δ表示探索值；

步驟S17，根據Reward和Q_max(State,A)更新Q表，更新公式為：Q_new(State,A)＝Reward+η·Q_max(State,A)，η為Q學習因子，Q_new(State,A)表示Q表的更新值；

步驟S18，編碼端根據步驟S11的譯碼情況，若譯碼成功，則按照步驟S16得到的W，回到步驟S3，進入下一信息比特序列的傳輸；若譯碼失敗，判斷是否達到最大傳輸次數：若是，丟棄這一信息比特序列，按照步驟S16得到的W，回到步驟S3，進入下一信息比特序列的傳輸；若否，按照步驟S16得到的W，回到步驟S3，繼續這一信息比特序列的傳輸。