[發明專利]基于注意力的文本分類方法、裝置及計算機可讀介質

在審

• 申請號: 202210208152.5
• 申請日: 2022-03-04
• 公開（公告）號: CN114579743A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 馬伯睿;朱亞杰;王章定;魏德山;王波;王聚洋
• 申請（專利權）人: 合眾新能源汽車有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/33;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 杜娟;駱希聰

1.一種基于注意力的文本分類方法，其特征在于，包括采用下面的步驟建立分類模型：

步驟S11：獲取待分類文本，所述待分類文本包括至少一個詞語；

步驟S12：將所述待分類文本映射成詞向量，將所述詞向量作為卷積核篩選單元的輸入數據，所述詞向量的維度為C×H×W，其中，C為通道數，H為總高度，W為總寬度，C、H、W都為正整數；

步驟S13：初始化所述卷積核篩選單元的卷積核；

步驟S14：根據所述輸入數據生成注意力向量，所述注意力向量表示各個通道的權重；

步驟S15：根據所述注意力向量對所述卷積核進行加權聚合，生成聚合卷積核；

步驟S16：使用所述聚合卷積核對所述輸入數據進行卷積，獲得卷積后的特征圖向量；

步驟S17：將所述特征圖向量作為所述輸入數據，重復執行M次所述步驟S13-S16，M是大于1的正整數，將最后一次獲得的所述特征圖向量作為所述卷積核篩選單元的輸出向量；以及

步驟S18：將所述輸出向量作全連接后進行歸一化處理，得到所述待分類文本的分類結果。

2.如權利要求1所述的文本分類方法，其特征在于，所述步驟S14包括：

步驟S21：根據所述輸入數據生成所述輸入數據的全局特征向量；以及

步驟S22：根據所述全局特征向量生成所述注意力向量。

3.如權利要求2所述的文本分類方法，其特征在于，所述步驟S21包括：對所述輸入數據進行全局池化，獲得所述全局特征向量。

4.如權利要求3所述的文本分類方法，其特征在于，采用全局平均池化對所述輸入數據進行全局池化，所述全局平均池化的公式為：

其中，w表示所述輸入數據，u表示所述全局特征向量，GAP表示全局平均池化函數，w(i,j)是所述輸入數據中高度為i、寬度為j的詞向量。

5.如權利要求2所述的文本分類方法，其特征在于，所述步驟S22包括：

步驟S31：將所述全局特征向量輸入至第一全連接層中，獲得第一隱藏層函數；

步驟S32：將所述第一隱藏層函數輸入至第二全連接層中，獲得所述注意力向量，所述注意力向量的大小為N*1，其中，N是所述卷積核的個數。

6.如權利要求5所述的文本分類方法，其特征在于，在所述步驟S31中，采用下面的公式獲得所述第一隱藏層函數：

h₁＝FC(u)＝δ(W₁u+b₁)

其中，h1表示所述第一隱藏層函數，FC表示全連接函數，u表示所述全局特征向量，δ為ReLU激活函數，W₁為第一權重矩陣，b₁為第一偏置；

在所述步驟S32中，采用下面的公式獲得所述注意力向量：

h₂＝FC(h₁)＝σ(W₂h₁+b₂)

其中，h₂表示所述注意力向量，σ為Sigmoid激活函數，W₂為第二權重矩陣，b₂為第二偏置。

7.如權利要求6所述的文本分類方法，其特征在于，所述步驟S15包括采用下面的公式根據所述注意力向量對所述卷積核進行加權聚合，生成聚合卷積核：

K_att＝h₂K

K＝{k₁,k₂,…k_N}

其中，K表示所述卷積核，其中包括N個卷積核k₁-k_N，K_att表示根據所述注意力向量h₂和卷積核K乘積獲得的注意力卷積核，K_agg表示N個所述注意力卷積核相加所獲得的所述聚合卷積核。