[發明專利]基于注意力的針對文本的聯合信源信道方法

有效

• 申請號: 202110581032.5
• 申請日: 2021-05-27
• 公開（公告）號: CN113300813B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 陳雪晨;劉婷
• 申請（專利權）人: 中南大學
• 主分類號: H04L1/00
• 分類號: H04L1/00;G06N3/04;G06N3/08
• 代理公司: 長沙市融智專利事務所(普通合伙) 43114
• 代理人: 歐陽迪奇

本發明公開了一種基于注意力的針對文本的聯合信源信道方法，采用基于包括編碼器、信道和解碼器的生成器對文本進行聯合信源信道編碼，采用GRU來代替LSTM，計算速度更快。同時加入注意力機制，提高譯碼的效率和準確性。利用GAN框架，使生成模型的參數更新不是直接來自原數據樣本，而是來自判別模型的反向傳播。本發明中將基于GRU的單向文本譯碼框架作為生成模型，利用CNN作為判別模型，對生成器生成的樣本進行判別。束搜索中加入點互信息，和最大似然概率一起，更準確的譯碼單詞。在譯碼端，本發明采用同步雙向譯碼的方法。同時L2R和R2L譯碼，利用SBAtt以及雙向束搜索，實現對齊及信息的交互，即同時利用過去和未來的信息，從而降低解碼的單詞錯誤率。

技術領域

本發明涉及無線通信領域，特別涉及一種基于注意力的針對文本的聯合信源信道方法。

背景技術

隨著計算機技術，現代通信技術和網絡信息處理技術的發展，文本已經成為用戶獲取和傳播信息的主要載體。文本數據的編碼和傳輸也面臨著巨大的挑戰。一方面，在許多應用場合，都會有需要對海量的文本數據信息進行傳輸的問題。為了能在帶寬受限的信道中傳輸大量信息，在傳輸前必須進行高效率的壓縮編碼。另一方面，由于無線信道的日益復雜，如何有效應對信道對文本傳輸的影響，也是一個亟待解決的問題。

香農分離定理指出，碼長足夠長時，分開信源信道編碼理論上是最優的。因此傳統的通信系統設計中，信源編碼和信道編碼通常是分開設計的。信源編碼對信源進行高效的壓縮以充分利用有限的信道帶寬，信道編碼添加冗余，提高數據傳輸效率，降低誤碼率。但是，分離定理沒有考慮實際應用中的復雜性和延遲要求，忽視了實際通信系統的不完美性，將信源和信道編碼分別設計優化有時并不能達到整體的最佳效果。隨著現代通信技術的迅速發展，網絡環境越來越復雜，分離原理的局限性就愈加明顯。

因此，為了更有效，可靠的傳輸大量文本信息，同時應對復雜的無線信道。需要將信源編碼和信道編碼總體考慮，聯合優化。近些年來，關于聯合信源信道編碼(JointSource-Channel coding，JSCC)的研究也越來越多，而深度學習作為當下研究的熱點，在計算機視覺、語音識別、自然語言處理等場景下相比于比傳統方法，取得了顯著的性能提升。而機器翻譯領域的編碼-譯碼(encoder-decoder)模型和聯合信源信道編碼方法有相似之處。故基于encoder-decoder模型來實現聯合信源信道是具有實際意義的。

發明內容

為了解決目前信源編碼和信道編碼分開設計而無法適應現有復雜網絡環境的技術問題，本發明提供一種基于注意力的針對文本的聯合信源信道方法。

為了實現上述技術目的，本發明的技術方案是，

一種基于注意力的針對文本的聯合信源信道方法，基于包括編碼器、信道和解碼器的生成器對文本進行聯合信源信道編碼，包括以下步驟：

步驟1，首先將經過預處理的文本輸入編碼器：使用固定長度的嵌入向量表示詞匯表中的每個單詞，得到嵌入向量以作為堆疊雙向門控循環單元GRU網絡編碼器的輸入；然后通過全連接層將編碼器的輸出轉換為低維向量并二值化；

步驟2，通過信道傳播步驟1的結果，得到觀測向量；

步驟3，將觀測向量通過全連接層輸入至基于雙向神經網絡JSCC框架的解碼器，解碼器首先使用前后向的GRU和目標語句和來獲得前向隱藏狀態和后向隱藏狀態，然后輸入到作為最低子層的同步雙向注意網絡SBAtt，并采用雙向束搜索實現同時基于過去與未來的信息進行解碼，接下來通過堆疊的另外兩個子層來尋找與譯碼文本有關的源文本，最后使用線性變換和softmax激活函數來計算下一個詞的概率，從而進行分類預測，得到譯碼文本。

所述的一種基于注意力的針對文本的聯合信源信道方法，所述的生成器是通過以下步驟進行訓練得到：