[發明專利]基于注意力的文本分類方法、裝置及計算機可讀介質

在審

• 申請號: 202210208152.5
• 申請日: 2022-03-04
• 公開（公告）號: CN114579743A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 馬伯睿;朱亞杰;王章定;魏德山;王波;王聚洋
• 申請（專利權）人: 合眾新能源汽車有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/33;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 杜娟;駱希聰

本申請涉及一種基于注意力的文本分類方法及裝置，該方法包括：S11獲取待分類文本；S12將待分類文本映射成詞向量，將詞向量作為卷積核篩選單元的輸入數據；S13初始化卷積核篩選單元的卷積核；S14根據輸入數據生成注意力向量，注意力向量表示各個通道的權重；S15根據注意力向量對卷積核進行加權聚合，生成聚合卷積核；S16使用聚合卷積核對輸入數據進行卷積，獲得卷積后的特征圖向量；S17將特征圖向量作為輸入數據，重復執行M次步驟S13?S16，將最后一次獲得的特征圖向量作為卷積核篩選單元的輸出向量；S18將輸出向量作全連接后進行歸一化處理，得到待分類文本的分類結果。本申請將卷積計算由多次減少為一次，減少了卷積后的特征圖數量，降低了計算復雜度。

技術領域

本申請主要涉及計算機技術領域，具體地涉及一種基于注意力的文本分類方法、裝置及計算機可讀介質。

背景技術

在車載語音對話中，車機的語音系統需要根據用戶的語音來識別用戶的意圖。例如，說“播放愛我中華”，該句子對應的分類是“音樂”，所要執行的動作是“播放”，所要播放的內容是歌曲“愛我中華”；說“導航到全聚德”，該句子對應的分類是“地圖導航”，所要執行的動作是“導航”，所要到達的終點是“全聚德”等。當人聽到這些句子時，可以根據已有的知識很快得知該句子的含義。但是對于機器來說，其本身并不具備這些知識，想要從一句語句中獲得用戶的意圖，需要通過大量的數據進行訓練和學習，才能獲得正確的分類結果或識別結果。目前，在車載語音對話的識別中，可以采用卷積神經網絡模型來進行文本分類，以獲知用戶的意圖，并執行相應的命令。

目前卷積神經網絡的主流方式為將獲得的文本向量化表示，然后通過卷積計算的方式提取出輸入文本的特征圖，最終將特征圖輸入全連接網絡來建立特征圖與類別之間的關系映射。為了提高分類的準確性，往往會采取增加多個不同的靜態卷積核進行計算。這導致了在每一次采用了此設計的卷積神經網絡進行分類時往往要進行上百次的卷積運算，同時，大量的卷積運算會產生大量的特征圖，繼而導致后續建立映射的全連接網絡計算量巨大，消耗大量的算力與時間。

申請內容

本申請所要解決的技術問題是提供一種基于注意力的文本分類方法、裝置及存儲介質，解決多個卷積核卷積后導致大量冗余特征圖的問題。

本申請提供一種基于注意力的文本分類方法，方法包括采用下面的步驟建立分類模型：

步驟S11：獲取待分類文本，待分類文本包括至少一個詞語；

步驟S12：將待分類文本映射成詞向量，將詞向量作為卷積核篩選單元的輸入數據，詞向量的維度為C×H×W，其中，C為通道數，H為總高度，W為總寬度，C、H、W都為正整數；

步驟S13：初始化卷積核篩選單元的卷積核；

步驟S14：根據輸入數據生成注意力向量，注意力向量表示各個通道的權重；

步驟S15：根據注意力向量對卷積核進行加權聚合，生成聚合卷積核；

步驟S16：使用聚合卷積核對輸入數據進行卷積，獲得卷積后的特征圖向量；

步驟S17：將特征圖向量作為輸入數據，重復執行M次步驟S13-S16，M是大于1的正整數，將最后一次獲得的特征圖向量作為卷積核篩選單元的輸出向量；

步驟S18：將輸出向量作全連接后進行歸一化處理，得到待分類文本的分類結果。

在本申請的一實施例中，步驟S14包括：

步驟S21：根據輸入數據生成輸入數據的全局特征向量；以及

步驟S22：根據全局特征向量生成注意力向量。

在本申請的一實施例中，步驟S21包括：對輸入數據進行全局池化，獲得全局特征向量。