[發明專利]基于循環卷積注意力模型的文本生成方法及裝置

有效

• 申請號: 201811389085.1
• 申請日: 2018-11-21
• 公開（公告）號: CN109543165B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 袁江林;郭志剛;魏晗;陳剛;席耀一;唐永旺
• 申請（專利權）人: 中國人民解放軍戰略支援部隊信息工程大學
• 主分類號: G06F40/166
• 分類號: G06F40/166;G06N3/04;G06N3/08
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 周艷巧

1.一種基于循環卷積注意力模型的文本生成方法，其特征在于，包含如下內容：

采集互聯網文本數據作為樣本數據庫，該樣本數據庫中包含文本主題及與文本主題對應的文本數據；

將樣本數據庫作為循環卷積注意力模型的輸入和輸出，對循環卷積注意力模型進行訓練，其循環卷積注意力模型中包含長短期記憶網絡模塊、注意力機制模塊和循環卷積網絡模塊，長短期記憶網絡模塊包含若干個LSTM長短期記憶網絡節點；

將待處理文本主題輸入到已訓練好的循環卷積注意力模型中進行測試，將循環卷積注意力模型輸出即為該待處理文本主題的生成文本。

2.根據權利要求1所述的基于循環卷積注意力模型的文本生成方法，其特征在于，對循環卷積注意力模型進行訓練時，將文本主題作為長短期記憶網絡模塊中初始LSTM長短期記憶網絡節點輸入，將已經生成的字符與當前LSTM長短期記憶網絡節點的輸出作為循環卷積網絡模塊輸入，并將循環卷積網絡模塊輸出的生成字符和當前LSTM長短期記憶網絡節點的輸出作為下一個LSTM長短期記憶網絡節點的輸入，對循環卷積注意力模型進行訓練，獲取模型參數數據。

3.根據權利要求1或2所述的基于循環卷積注意力模型的文本生成方法，其特征在于，LSTM長短期記憶網絡計算公式表示為：其中，i_t,f_t,o_t,c_t分別表示LSTM長短期記憶網絡輸入門、忘記門、輸出門和內存單元參數，W_I、W_F、W_o、W_c分別表示對應參數的權重矩陣，activation()表示激活函數，x_t表示當前時刻t的節點輸入，h_t-1表示上一時刻t-1的節點輸出。

4.根據權利要求3所述的基于循環卷積注意力模型的文本生成方法，其特征在于，t時刻循環卷積網絡模塊結合0到t-1時刻的循環卷積結果，更新文本主題對應的歷史文本信息。

5.根據權利要求1所述的基于循環卷積注意力模型的文本生成方法，其特征在于，注意力機制模塊計算公式表示為att＝activation(y_t-1U+cV)，其中，c表示從0到t-1時刻的循環卷積結果，t-1時刻LSTM長短期記憶網絡輸出，U、V表示神經網絡學習的矩陣參數。

6.根據權利要求1所述的基于循環卷積注意力模型的文本生成方法，其特征在于，循環卷積注意力模型輸出表示為：序列Y_1:m＝(y₁,…,y_t,…,y_m)，利用公式p(t)＝max{p(y_t|y₁,…,y_t-1,T,α)}獲取文本詞匯信息，其中，T為文本主題，α為文本隱含變量，并使用最大似然概率預測生成下一個時刻的輸出符號。

7.一種基于循環卷積注意力模型的文本生成裝置，其特征在于，包含采集模塊、學習模塊和生成模塊，其中，

采集模塊，用于采集互聯網文本數據作為樣本數據庫，該樣本數據庫中包含文本主題及與文本主題對應的文本數據；

學習模塊，用于將樣本數據庫作為循環卷積注意力模型的輸入和輸出，對循環卷積注意力模型進行訓練，其循環卷積注意力模型中包含長短期記憶網絡模塊、注意力機制模塊和循環卷積網絡模塊，長短期記憶網絡模塊包含若干個LSTM長短期記憶網絡節點；

生成模塊，用于將待處理文本主題輸入到已訓練好的循環卷積注意力模型中進行測試，將循環卷積注意力模型輸出即為該待處理文本主題的生成文本。