[發明專利]基于SFM-DCNN的層次特征文本分類方法和系統

有效

• 申請號: 202010097431.X
• 申請日: 2020-02-17
• 公開（公告）號: CN111400492B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 余本功;王胡燕;朱夢迪;汲浩敏
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

1.一種基于SFM-DCNN的層次特征文本分類方法，其特征在于，

所述方法由計算機執行，包括以下步驟：

文本預處理獲取待分類文本；

基于BERT模型獲取所述待分類文本的語義特征句向量；

基于深度卷積神經網絡獲取所述語義特征句向量的多通道層次特征，包括：

基于深度卷積神經網絡的卷積循環塊對所述語義特征句向量進行特征提取，得到深層語義特征；基于多通道深度卷積神經網絡的卷積循環塊對所述深層語義特征進行強化，得到多通道層次特征；通過深度卷積神經網絡對所述多通道層次特征進行最大池化，得到最大特征；

基于softmax分類器對所述最大特征進行歸一化處理，獲取待分類文本的分類結果；

其中，在執行基于深度卷積神經網絡的卷積循環塊對所述深層語義特征進行強化，得到多通道層次特征步驟之前，所述方法還包括：

對深度卷積神經網絡進行預激活，預激活的公式如下：

其中：

C_k表示深度卷積神經網絡中每個雙層卷積循環塊的第一個卷積層輸出；

表示預激活后的深度卷積神經網絡中每個雙層卷積循環塊的第一個卷積層輸出；

BN表示標準化；

f表示relu激活函數。

2.如權利要求1所述的基于SFM-DCNN的層次特征文本分類方法，其特征在于，所述基于BERT模型獲取所述待分類文本的語義特征句向量，包括：

對所述待分類文本進行編碼；

對編碼后的待分類文本進行深層語義編碼，獲取語義特征句向量。

3.如權利要求1所述的基于SFM-DCNN的層次特征文本分類方法，其特征在于，最大特征的獲取方法包括：

將多通道層次特征進行拼接，得到待分類文本的最終語義特征；

對所述最終語義特征進行最大池化，得到最大特征。

4.如權利要求1～3任一項所述的基于SFM-DCNN的層次特征文本分類方法，其特征在于，所述基于softmax分類器對所述最大特征進行歸一化處理，包括：

經過softmax分類器進行歸一化來預測文本類別標簽其計算公式如下：

其中：

表示預測的文本類別標簽；

W⁰表示待分類文本的權重參數；

Q表示最大特征；

b⁰表示偏置項參數；

y表示由softmax得到每個類的估計概率。

5.如權利要求2所述的基于SFM-DCNN的層次特征文本分類方法，其特征在于，所述對所述待分類文本進行編碼，包括：

使用BERT模型中的WordPiece對待分類文本進行拆解，細分到語素級別，得到字符向量；

將字符嵌入后的待分類文本中的當前詞所在位置映射成一個低維稠密的位置向量；

對當前詞所在句子的序列編碼，將一個句子拆分成多個句段，每個句子都對應一個分句特征向量；

將字符向量、位置向量和分句特征向量進行拼接，得到編碼后待分類文本的向量表示。