[發明專利]一種基于表征增強與融合的文本分類方法

在審

• 申請號: 202010668999.2
• 申請日: 2020-07-13
• 公開（公告）號: CN111813939A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 劉峰;陳一飛
• 申請（專利權）人: 南京睿暉數據技術有限公司;陳一飛
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京業騰知識產權代理事務所(特殊普通合伙) 32321
• 代理人: 繆友益

1.一種基于表征增強與融合的文本分類方法，其特征在于，包括構建基于表征增強與融合的文本分類模型，該模型包括對數據表征層、表征增強層、表征抽象層，分類層和融合層的處理步驟：

A.在數據表征層采用至少兩種詞向量表征方法將輸入文本的離散文字轉換為連續特征向量，得到至少兩種表征向量，形成至少兩個獨立的文本分類子模型；

B.在表征增強層將擾動加入各表征向量中，得到各表征增強向量；

C.在表征抽象層對各表征增強向量進一步提取和抽象，得到各抽象表征向量；

D.在分類層對各抽象表征向量進行分類，得到各輸出文本標簽；

E.在融合層綜合各個輸出文本標簽，得到最終的文本標簽。

2.根據權利要求1所述的基于表征增強與融合的文本分類方法，其特征在于，輸入文本在數據表征層的處理步驟為，采用三種詞向量表征方法為輸入文本生成三種表征向量：

1)使用預訓練的詞嵌入表征模型一，將輸入文本中的每個離散文字映射到一個嵌入詞向量，得到第一種表征向量，并形成第一個文本分類子模型；

2)使用預訓練的詞嵌入表征模型二，將輸入文本中的每個離散文字映射到一個嵌入詞向量，得到第二種表征向量，并形成第二個文本分類子模型；

3)使用預訓練的詞嵌入表征模型三，將輸入文本中的每個離散文字映射到一個嵌入詞向量，得到第三種表征向量，并形成第三個文本分類子模型。

3.根據權利要求1所述的基于表征增強與融合的文本分類方法，其特征在于，表征向量在表征增強層的處理步驟為，利用表征增強器FA-FGM將擾動加到各表征向量中；

其中，擾動為

式中，j為文本分類子模型種類，θ^j表示文本分類子模型的所有可訓練參數，E(d)^j表示輸入文本在文本分類子模型中相應的詞嵌入表征向量，y是輸入文本的類別標注，J(θ^j,E(d)^j,y)是訓練該文本分類子模型神經網絡的代價函數，J為代價函數，sign是一個符號函數，∈是模型的超級參數；

表征向量混合擾動ΔE^j后，產生表征增強向量X(d)^j，其中，X(d)^j＝E(d)^j+ΔE^j。

4.根據權利要求3所述的基于表征增強與融合的文本分類方法，其特征在于，表征增強向量在表征抽象層通過BiLSTM-CNN網絡獲得表征的進一步提取和抽象，得到全連接層的輸入，其中BiLSTM-CNN網絡包括BiLSTM網絡和CNN神經網絡。

5.根據權利要求4所述的基于表征增強與融合的文本分類方法，其特征在于，全連接層的輸入在分類層的處理步驟為使用SoftMax函數進行分類，得到最終的網絡輸出標簽

6.根據權利要求5所述的基于表征增強與融合的文本分類方法，其特征在于，每個獨立文本分類子模型均是單獨訓練的，其步驟為：

1)將每個獨立文本分類子模型的目標代價函數J在中定義；其中，s是總樣本數，y為文本對應的類型標簽，y_(q)是樣本q的期望輸出，是文本標簽，θ^j表示文本分類子模型的所有可訓練參數：

2)之后將所有可訓練參數θ^j使用Adam優化方法反向傳播更新，其中需要更新的網絡參數為其中為每個BiLSTM網絡參數，為每個CNN網絡參數，為每個全連接網絡參數；

3)重復上述優化迭代直到目標域收斂。

7.根據權利要求6所述的基于表征增強與融合的文本分類方法，其特征在于，每個獨立文本分類子模型的網絡輸出標簽在融合層采用投票方式，在少數服從多數的原則下，產生最終的文本標簽。