[發明專利]一種基于深度學習的文本分類方法

在審

• 申請號: 202011153557.0
• 申請日: 2020-10-26
• 公開（公告）號: CN112269876A
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 周末;宋玉蓉;宋波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 彭雄

1.一種基于深度學習的文本分類方法，其特征在于，包括以下步驟：

步驟1，用Bert預訓練模型將文本處理成向量形式；

步驟2，構建D-BGRU模型：

RNN是一種利用時間步長對序列進行建模的神經網絡，其結構特征決定了每一時刻的隱藏層與之前所有的輸入都有關，采用限制循環神經單元中的信息流長度為k的DRNN模型，通過指定一個固定大小的數值k使得循環神經單元每一時段的表示只與前k-1個輸入和當前輸入有關從而限制循環單元的信息流動性，通過這種方式既可以降低計算整個文檔的龐大負擔也可以對關鍵信息進行捕獲；

采用雙向門控循環單元BGRU作為循環處理單元，得到D-BGRU模型；

步驟3，通過D-BGRU模型提取文本上下文語義特征信息：

h_t＝D-BGRU(x_t,x_t-1,x_t-2,…,x_t-k+1)

其中，h_t表示每一時刻的隱藏狀態，D-BGRU表示本文提出的D-BGRU模型，給定一個n維輸入(x₁,x₂,…,x_n)，其中，x_t是詞向量，t＝1,2,…,n；在t時刻：BGRU的輸出由兩個相反方向的GRU共同組合決定，具體的計算公式如下：

其中，和分別表示GRU向前傳播的輸出和向后傳播的輸出；y表示BGRU的輸出；W表示權重矩陣；b表示偏置向量；σ表示SoftMax函數；

步驟4，通過注意力機制對重要信息進行加大權重分配，進一步優化文本表示，計算公式如下：

其中，Attention(Q,K,V)表示注意力機制，d_k表示K向量的維度，h_t表示每一時刻的隱藏狀態，表示上一層的輸出狀態，Q、K、V∈Rⁿ是BGRU的n維輸出向量；

步驟5，將特征向量輸入到多層感知機中，進一步提取隱藏狀態，

其中，h_t表示每一時刻的隱藏狀態，表示上一層的輸出狀態，MLP表示多層感知機；

步驟6，最大池化層保留重要特征，輸入到SoftMax層中得到最終的分類結果：

其中，h_t表示每一時刻的隱藏狀態，表示上一層的輸出狀態，Max-pooling表示最大池化層操作；

步驟7，SoftMax分類器對分類結果進行預測：使用的化器Adam，在每個網絡層后都加入了Dropout函數，通過在每一次的迭代中隨機丟棄部分訓練參數來提高模型的泛化能力。

2.根據權利要求1所述基于深度學習的文本分類方法，其特征在于：步驟4中注意力機制本質是一個query(Q)到一系列key(K)—value(V)鍵值對的映射，首先將query和每個key通過點積、拼接或感知器的相似度函數計算得到權重；其次通過SoftMax函數對計算得出的權重進行歸一化處理；最后將權重和與之相對應的value加權求和得出最后的attention，其中，計算自注意力的第一步是從每個編碼器的輸入向量上創建3個向量；對于每個單詞，創建一個query(Q)向量，一個key(K)向量和一個value(V)向量；attention表示注意力層，當K＝Q＝V時，即稱為自注意力機制，處理文本時會直接將一個句子中任意兩個單詞通過一個計算步驟直接聯系起來，獲取句子內部的詞語依賴關系、句子的內部結構以及同一個句子中單詞之間的一些句法特征或者語義特征，更有利于獲取遠距離相互依賴的特征。

3.根據權利要求2所述基于深度學習的文本分類方法，其特征在于：步驟7中SoftMax分類器：

其中，p表示目標預測的概率，Y＝j表示目標預測為j類，X表示目標的輸入向量，θ表示模型訓練學到的參數。

4.根據權利要求3所述基于深度學習的文本分類方法，其特征在于：數值k＝3。