[發明專利]提取文本關鍵字的方法及裝置

有效

• 申請號: 202010115271.7
• 申請日: 2020-02-25
• 公開（公告）號: CN113378556B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 趙安;肖蕓榕;于超
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/289;G06F16/35
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張瑞志

1.一種提取文本關鍵字的方法，其特征在于，包括：

獲取待提取關鍵字的目標文本；

利用卷積神經網絡模型對所述目標文本進行分類，獲得分類結果，所述卷積神經網絡模型用于對所述目標文本進行分類；所述分類結果包括各類別對應的概率預測結果；

基于所述分類結果，提取對所述分類結果的影響程度最大的前N個分詞，作為所述目標文本的關鍵字，所述目標文本包括若干個分詞，所述N為大于零的整數；

所述卷積神經網絡模型包括卷積層，所述卷積層包括多個卷積核；所述基于所述分類結果，提取對所述分類結果的影響程度最大的前N個分詞，作為所述目標文本的關鍵字，包括：

確定所述卷積層中各個所述卷積核，對最大的前M個所述概率預測結果的影響程度，所述M為大于零的整數；

提取影響程度最大的前N個卷積核，作為目標卷積核；

將各個所述目標卷積核對應的目標分詞作為所述目標文本的關鍵字，每個所述目標卷積核對應的目標分詞為所述目標卷積核的卷積最大值位置所對應的分詞。

2.如權利要求1所述的方法，其特征在于，所述卷積神經網絡模型還包括輸入層，池化層和全連接層；

所述利用卷積神經網絡模型對所述目標文本進行分類，獲得分類結果，包括：

將所述目標文本轉換成詞向量矩陣；

將所述詞向量矩陣經過所述輸入層輸入所述卷積層和池化層，所述池化層輸出各個所述卷積核對應的卷積最大值；

各個所述卷積核對應的卷積最大值輸入所述全連接層，獲得各類別對應的概率預測結果。

3.如權利要求1所述的方法，其特征在于，所述卷積神經網絡模型還包括輸入層，注意力模塊，池化層和全連接層；

所述利用卷積神經網絡模型對所述目標文本進行分類，獲得分類結果，包括：

將所述目標文本的文本內容轉換成詞向量矩陣；將所述目標文本的文本標題轉換成標題向量；

將所述詞向量矩陣和所述標題向量經過所述輸入層輸入所述注意力模塊，所述注意力模塊利用所述標題向量對所述詞向量矩陣進行加權處理，輸出加權后的詞向量矩陣；

將加權后的所述詞向量矩陣輸入所述卷積層和池化層，所述池化層輸出各個所述卷積核對應的卷積最大值；

各個所述卷積核對應的卷積最大值輸入所述全連接層，獲得各類別對應的概率預測結果。

4.如權利要求2或3所述的方法，其特征在于，所述將所述目標文本轉換成詞向量矩陣，包括：

對所述目標文本進行分詞處理，得到所述目標文本包括的若干個分詞；

將所述若干個分詞中的每個分詞轉換成詞向量；

將所述若干個分詞中各個分詞對應的詞向量拼接成詞向量矩陣；

或，所述將所述目標文本轉換成詞向量矩陣，包括：

對所述目標文本進行分詞處理，得到所述目標文本包括的若干個單詞項；

計算所述若干個單詞項中任一相連單詞項的點互信息，若所述點互信息大于或等于預設閾值，則提取該相連單詞項作為詞組；所述相連單詞項包括至少兩個相連的單詞項；

將所述若干個單詞項中的部分或全部單詞項，和每個所述詞組，作為所述目標文本包括的分詞；將每個所述分詞轉換成詞向量；

將各個所述分詞對應的詞向量拼接成詞向量矩陣；

或，所述將所述目標文本轉換成詞向量矩陣，包括：

對所述目標文本進行分詞處理，得到所述目標文本包括的若干個單詞項；

若確定所述若干個單詞項中任一相連單詞項存在于預設的詞向量數據庫，則提取該相連單詞項作為詞組，所述相連單詞項包括至少兩個相連的單詞項；

將所述若干個單詞項中存在于所述詞向量數據庫中的單詞項，和每個所述詞組，作為所述目標文本包括的分詞，利用所述詞向量數據庫將每個所述分詞轉換成詞向量，所述詞向量數據庫存儲所述分詞與所述詞向量的對應關系；

將各個所述分詞對應的詞向量拼接成詞向量矩陣。

5.如權利要求2或3所述的方法，其特征在于，在訓練所述卷積神經網絡模型的過程中，對所述卷積層的輸出添加L1范數，對所述全連接層的輸出添加L2范數和丟棄Dropout正則化。