[發明專利]一種改進中文自動文本摘要自注意力計算的方法

在審

• 申請號: 202011226337.6
• 申請日: 2020-11-06
• 公開（公告）號: CN112733498A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 劉博;徐寬
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/242;G06F40/44;G06F40/58;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種改進中文自動文本摘要自注意力計算的方法，其特征在于，包括以下步驟：

步驟1、收集微博文章摘要數據集，并對微博文本摘要數據進行清洗；

步驟2、構建attention計算矩陣；

步驟3、fine-tuning新的attention-based網絡，直至模型收斂；

步驟4、對步驟3構建的模型進行訓練相同數據集，分別使用原有attention和改進后的空洞隨機窗口attention進行訓練；

步驟5、使用步驟4的訓練結果，選擇在測試集上Rouge評分最優作為結果并計算。

2.根據權利要求1所述的一種改進中文自動文本摘要自注意力計算的方法，其特征在于，步驟1采取以下步驟：

步驟1.1、將微博文章摘要劃分為訓練集和測試集；

步驟1.2、在訓練集上，對文本數據首先去除空格以及特殊字符，并根據頻率去除低頻詞或字，然后構建出所需要的字典，字典的key為詞，value為每個詞的對應的id；

步驟1.3、使用詞嵌入向量對數據進行編碼；

步驟1.4、根據Transformer模型規則添加position id。

3.根據權利要求1所述的一種改進中文自動文本摘要自注意力計算的方法，其特征在于，步驟2具體包括以下步驟：

步驟2.1、使用在Transformer定義的Attention矩陣的基礎上建立attention計算矩陣；

步驟2.2、借助空洞卷積的思想對于每個“token”定義空洞率為2的空洞卷積局部attention矩陣

步驟2.3、對每個“token”給予隨機2-3個attention計算塊，得到隨機attention矩陣；

步驟2.4、將每個“token”的空洞卷積attention矩陣和隨機attention矩陣相結合得到空洞窗口隨機矩陣。

4.根據權利要求1所述的一種改進中文自動文本摘要自注意力計算的方法，其特征在于，步驟3具體包括以下步驟：

步驟3.1、選擇損失函數為交叉熵損失函數：

步驟3.2、加載預訓練模型，訓練新的attention-based網絡；

步驟3.3、設置預訓練模型后接的全連接網絡節點個數為1024；

步驟3.4、Dropout值設置為0.8；

步驟3.5、觀察Loss和Accuracy，當Loss與Accuracy收斂時停止迭代。

5.根據權利要求1所述的一種改進中文自動文本摘要自注意力計算的方法，其特征在于，步驟4具體包括以下步驟：

步驟4.1、對于每一個input做embedding，得到n個embedding矩陣后分別計算attention；

步驟4.2、使用相同的embedding，換成空洞隨機窗口attention計算矩陣計算attention。

6.根據權利要求1所述的一種改進中文自動文本摘要自注意力計算的方法，其特征在于，步驟5具體包括以下步驟：

步驟5.1、使用ROUGE-N評分作為兩種attention計算矩陣得到的最終結果的優劣；

步驟5.2、對比兩種attention矩陣模型訓練結果的ROUGE-N評分，得到最終結論。