[發(fā)明專利]基于主題感知的分層多注意網絡的文本分類方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210301878.3
• 申請日: 2022-03-25
• 公開（公告）號: CN114676254A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設計）人: 姜也;王宜敏
• 申請（專利權）人: 青島科技大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06F40/289
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 祖之強

1.基于主題感知的分層多注意網絡的文本分類方法，其特征在于，包括：

獲取待分類的文本信息；

依據獲取的文本信息，以及預設的文本分類模型，得到分類結果；

其中，所述文本分類模型以分層結構的形式構建了多個注意機制，將句子級和文檔級的輸入分別轉換為句子和文檔編碼器；首先，在所述文本分類模型的層次結構中將多頭自注意力與卷積神經網絡相結合；然后，通過交互學習文檔編碼器中自注意塊前后的句子級表示；最后，通過組合由主題模型生成的主題分布豐富文檔表示。

2.如權利要求1所述的基于主題感知的分層多注意網絡的文本分類方法，其特征在于，利用軟注意順序編碼句子級和文檔級表示的重要性。

3.如權利要求1所述的基于主題感知的分層多注意網絡的文本分類方法，其特征在于，通過聚合多個具有不同窗口大小的卷積層增強特征提取。

4.如權利要求1所述的基于主題感知的分層多注意網絡的文本分類方法，其特征在于，利用協(xié)同注意機制交互式地學習具有不同抽象級別的句子表示，并在文檔編碼器中豐富文檔級表示。

5.如權利要求1所述的基于主題感知的分層多注意網絡的文本分類方法，其特征在于，通過融合來自主題詞分布的全局共現(xiàn)信息和來自LDA模型生成的文檔-主題分布的每個文檔主題概率，擴展詞級和文檔級輸入的特征表示。

6.如權利要求1所述的基于主題感知的分層多注意網絡的文本分類方法，其特征在于，自注意機制通過將每個條目與同一序列中的所有條目進行比較來關注序列中的每個位置；自注意的輸出序列包含每個條目的信息以及它與所有條目的關系；通過全連接層計算每個入口位置的查詢、鍵和值向量；從序列的不同部分學習注意力權重。

7.如權利要求6所述的基于主題感知的分層多注意網絡的文本分類方法，其特征在于，利用卷積層和池化層使自注意網絡從查詢、鍵和值向量中獲得表達表示，以增強特征提取的能力。

8.基于主題感知的分層多注意網絡的文本分類系統(tǒng)，其特征在于，包括：

數據采集模塊，被配置為：獲取待分類的文本信息；

分類模塊，被配置為：依據獲取的文本信息，以及預設的文本分類模型，得到分類結果；

其中，所述文本分類模型以分層結構的形式構建了多個注意機制，將句子級和文檔級的輸入分別轉換為句子和文檔編碼器；首先，在所述文本分類模型的層次結構中將多頭自注意力與卷積神經網絡相結合；然后，通過交互學習文檔編碼器中自注意塊前后的句子級表示；最后，通過組合由主題模型生成的主題分布豐富文檔表示。

9.一種電子設備，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)了如權利要求1-7任一項所述的基于主題感知的分層多注意網絡的文本分類方法中的步驟。

10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)了如權利要求1-7任一項所述的基于主題感知的分層多注意網絡的文本分類方法中的步驟。